小风的城
我心自有明月在，不堕地狱不跪佛
目 录CONTENT
AI-小风的城
以下是
AI
相关的文章
-
置顶 大模型 RAG 本地知识库 RAG（Retrieval-Augmented Generation）是一种结合信息检索和生成模型的技术，通过从外部知识库中检索关键信息来提高大模型的生成质量和准确性。其主要流程包括索引、检索和生成三个步骤。与直接使用大语言模型相比，RAG具有时效数据更新、私域数据支持以及长期记忆等优势。搭建一个完整的RAG系统需要大语言模型、信息检索模型和RAG框架三大模块。其中，推荐的大语言模型有DeepSeek-R1-Distill-Qwen-32B-Q4_K_M和Qwen2.5-VL-32B-Q4_K_M；信息检索模型则包含语义向量模型（如bge-m3、bge-large-zh-v1.5）和重排模型（如bge-reranker-v2-m3）。RAG框架用于连接这些组件，实现全流程任务处理，常见的框架有OpenWebUI和Dify。针对不同规模的知识库需求，可以选择适合的RAG架构部署方案。此外，文章还详细介绍了在Linux和Windows系统上安装配置Ollama、Xinference及OpenWebUI的方法，以及如何管理运行相关模型和服务。 -
-
-
AI 开发通用 Docker 镜像包 本文详细介绍了如何构建、验证和使用基于Docker的通用镜像包，特别适用于AI开发环境。首先，文章说明了构建镜像所需的环境（Docker v20+ 和 Docker-Compose v2.0+），并提供了详细的Dockerfile配置示例，包括安装基础工具集、开发编译工具链、系统调试工具、网络工具、文本/终端工具等，并集成FFmpeg和Miniconda。接着，通过docker-compose.yml文件定义服务配置，完成镜像构建后进行验证，确保CUDA、FFmpeg、Conda等工具正常工作。此外，还介绍了如何导出镜像为tar文件以及如何在目标服务器上导入和运行该镜像。最后，展示了如何进一步定制项目镜像，包括在容器内安装Redis或MySQL等数据库服务，并提供了一个完整的流程来创建和使用这些定制镜像。附录部分则补充了NVIDIA Container Toolkit的在线与离线安装方法。
-
HuggingFace 资源下载 本文介绍了如何从HuggingFace网站下载项目文件或单个文件，包括翻墙和免翻墙两种方法。首先，通过安装必要的Python库`huggingface_hub`来准备环境，并编写一个名为`huggingface_download.py`的脚本用于下载指定项目的整个文件夹或特定文件。该脚本支持参数化配置如项目地址、保存路径等。对于需要访问外网的情况，提供了直接使用HuggingFace官方API进行下载的方法；而对于国内用户，则推荐使用镜像站点`https://hf-mirror.com/`以避免网络限制。此外，还提供了一个名为`hfd.sh`的Shell脚本，它利用aria2或者wget工具实现高效下载，并支持多种选项如排除/包含模式、线程数调整等，以便于定制化下载需求。最后，文章展示了如何设置环境变量以及使用这两个脚本来分别下载模型和数据集的具体命令示例。
