小风的城
我心自有明月在，不堕地狱不跪佛
目 录CONTENT
AI-小风的城
以下是
AI
相关的文章
-
置顶 大模型 RAG 本地知识库 RAG（Retrieval-Augmented Generation）是一种结合信息检索和生成模型的技术，通过从外部知识库中检索关键信息来提高大模型的生成质量和准确性。其主要流程包括索引、检索和生成三个步骤。与直接使用大语言模型相比，RAG具有时效数据更新、私域数据支持以及长期记忆等优势。搭建一个完整的RAG系统需要大语言模型、信息检索模型和RAG框架三大模块。其中，推荐的大语言模型有DeepSeek-R1-Distill-Qwen-32B-Q4_K_M和Qwen2.5-VL-32B-Q4_K_M；信息检索模型则包含语义向量模型（如bge-m3、bge-large-zh-v1.5）和重排模型（如bge-reranker-v2-m3）。RAG框架用于连接这些组件，实现全流程任务处理，常见的框架有OpenWebUI和Dify。针对不同规模的知识库需求，可以选择适合的RAG架构部署方案。此外，文章还详细介绍了在Linux和Windows系统上安装配置Ollama、Xinference及OpenWebUI的方法，以及如何管理运行相关模型和服务。 -
-
-
AI 开发通用 Docker 镜像包 本文详细介绍了如何构建、验证、导出和使用一个基于Docker的通用AI开发镜像。首先，通过编写Dockerfile安装必要的软件包如CUDA、FFmpeg、Miniconda等，并配置Supervisor进行服务管理；然后利用docker-compose.yml文件定义服务配置并构建镜像。接着，通过启动容器来验证镜像中各项工具是否正常工作。为便于迁移，文章还提供了将镜像导出为tar文件的方法及在目标服务器上重新导入和运行该镜像的步骤。此外，对于需要进一步定制化的项目，文中指导了如何基于已有的通用镜像创建特定于项目的定制化镜像，包括进入容器内部进行额外软件安装或配置更改，以及最后提交这些更改形成新的镜像版本。整个过程涵盖了从基础环境搭建到高级应用部署的完整流程。
-
HuggingFace 资源下载 本文介绍了如何从HuggingFace网站下载项目文件或单个文件，包括翻墙和免翻墙两种方法。首先，通过安装必要的Python库`huggingface_hub`来准备环境，并编写一个名为`huggingface_download.py`的脚本用于下载指定项目的整个文件夹或特定文件。该脚本支持参数化配置如项目地址、保存路径等。对于需要访问外网的情况，提供了直接使用HuggingFace官方API进行下载的方法；而对于国内用户，则推荐使用镜像站点`https://hf-mirror.com/`以避免网络限制。此外，还提供了一个名为`hfd.sh`的Shell脚本，它利用aria2或者wget工具实现高效下载，并支持多种选项如排除/包含模式、线程数调整等，以便于定制化下载需求。最后，文章展示了如何设置环境变量以及使用这两个脚本来分别下载模型和数据集的具体命令示例。
