小风的城
我心自有明月在，不堕地狱不跪佛
目 录CONTENT
大模型-小风的城
以下是
大模型
相关的文章
-
置顶 大模型 RAG 本地知识库 RAG（Retrieval-Augmented Generation）是一种结合信息检索和生成模型的技术，通过从外部知识库中检索关键信息来提高大模型的生成质量和准确性。其主要流程包括索引、检索和生成三个步骤。与直接使用大语言模型相比，RAG具有时效数据更新、私域数据支持以及长期记忆等优势。搭建一个完整的RAG系统需要大语言模型、信息检索模型和RAG框架三大模块。其中，推荐的大语言模型有DeepSeek-R1-Distill-Qwen-32B-Q4_K_M和Qwen2.5-VL-32B-Q4_K_M；信息检索模型则包含语义向量模型（如bge-m3、bge-large-zh-v1.5）和重排模型（如bge-reranker-v2-m3）。RAG框架用于连接这些组件，实现全流程任务处理，常见的框架有OpenWebUI和Dify。针对不同规模的知识库需求，可以选择适合的RAG架构部署方案。此外，文章还详细介绍了在Linux和Windows系统上安装配置Ollama、Xinference及OpenWebUI的方法，以及如何管理运行相关模型和服务。 -
大模型 API 管理器 OneAPI 是一款大模型 API 接口管理与分发工具，能够将不同大模型厂商或自部署大模型的 API 接口统一转换为标准的 OpenAI API 格式，方便用户通过统一接口访问所有大模型服务。其支持单机及多机部署模式，并提供了基于 SQLite、MySQL 以及 MySQL + Redis 的多种数据库配置选项，分别适用于个人、小型团队到大型团队的不同规模和并发需求。安装部署过程中，用户需根据具体需求选择合适的数据库类型并通过 Docker Compose 进行一键安装启动。此外，OneAPI 提供了丰富的环境变量配置项以满足个性化设置需求，如时区、主题、会话密钥等，并支持通过 Nginx 配置代理以增强安全性与性能。在使用上，用户可通过令牌方式调用大模型服务，同时系统也提供了渠道管理、充值、用户分组等功能来实现精细化运营。对于常见问题，文档中详细解答了额度计算方法、渠道测试错误处理等关键点。
-
智能财务问答机器人 本项目基于大模型和RAG技术搭建了智能财务问答机器人，有效解决了财务咨询服务中的知识整理困难、用户提问模糊、人工回复耗时等问题。通过构建多层次知识存储体系、实现多模态交互能力以及开发智能体工作流，系统能够提供24小时全天候服务，显著提升了咨询效率。项目采用VLLM框架部署多个大模型，并联合多种数据库（如MySQL、Weaviate、Neo4j）进行知识管理与检索。同时，通过ASR、TTS和OCR技术扩展了系统的多模态交互能力。在优化过程中，通过文档分块、多路召回、提示词工程及模型微调等手段进一步提高了系统的准确性和响应速度。最终，该系统达到了全面的知识覆盖和高效的问答处理效果，获得了用户的高度认可。未来改进方向包括优化多Agent协作机制，以实现更复杂的财务业务自动化处理。
-
