这次我们来看一个本地知识库的部署方案核心是利用 Ollama 和 Dify 这两款开源工具实现零成本、低门槛的私有化 AI 应用搭建。对于想体验大模型能力又担心数据安全和 API 成本的开发者或个人用户这个组合非常值得一试。简单来说Ollama 负责在本地运行和管理开源大语言模型LLM而 Dify 则提供了一个可视化的 AI 应用开发与编排平台。将它们结合你就能在个人电脑上创建一个具备知识库问答、对话机器人等能力的私有服务整个过程无需联网调用外部 API所有数据都在本地处理。最值得关注的几个特点是硬件门槛低支持 CPU 推理显存要求取决于所选模型、部署过程标准化有清晰的 Docker 或命令行部署方式、功能开箱即用Dify 提供了直观的 Web 界面。本文将带你从零开始完成 Ollama 模型服务部署、Dify 环境安装、知识库创建到最终问答应用测试的全流程。如果你对本地部署 AI、构建私有知识库感兴趣这篇教程可以直接跟着操作。1. 核心能力速览在深入部署细节前我们先通过下表快速了解这个技术栈的核心能力和要求帮助你判断是否适合你的环境。能力项说明项目类型本地化 AI 应用开发与部署平台核心组件Ollama (本地模型服务) Dify (AI 应用编排平台)主要功能本地大模型对话、私有知识库问答、可视化工作流编排、应用 API 发布推荐硬件支持 CPU 推理GPU 可加速。内存建议 8GB 以上磁盘空间 10GB 用于存放模型。显存/内存占用取决于所选模型。例如qwen2.5:7b模型在 CPU 模式下主要占用内存使用 GPU 推理则会占用相应显存。支持平台Windows (WSL2/Docker Desktop)、macOS、Linux启动方式Ollama命令行服务DifyDocker Compose 一键启动或源码部署是否支持 API是。Ollama 提供模型 APIDify 提供应用 API均可用于二次开发。是否支持批量任务是。通过 Dify 工作流或自定义脚本可对知识库文档进行批量处理与问答。适合场景个人学习与测试、企业内部知识库助手、开发原型验证、对数据隐私要求高的场景2. 适用场景与使用边界了解一个工具适合做什么、不适合做什么能帮你更好地规划使用方式。这个方案最适合谁AI 初学者/爱好者想低成本体验大模型和 RAG检索增强生成技术了解本地部署的全流程。中小团队/个人开发者需要为特定领域如法律、医疗、技术文档构建一个安全的、内部的问答助手且不希望数据流出内网。原型验证者在采购商业 LLM API 或云服务前希望先在本地验证 AI 应用的想法和效果。它能解决什么问题数据隐私与安全所有模型、数据、计算均在本地杜绝了敏感信息通过 API 外泄的风险。零 API 成本一次部署无限次使用无需为每一次对话或 Token 付费。定制化知识库可以将公司内部文档、个人笔记、专业资料等上传构建专属的智能问答系统。开发效率提升Dify 的可视化界面降低了 AI 应用开发的门槛无需编写大量代码即可组装工作流。需要注意的使用边界性能限制本地模型的推理速度和质量通常低于云端顶级商用模型如 GPT-4。对于高并发或实时性要求极高的场景此方案可能不适用。知识时效性本地模型的知识截止于其训练数据。对于需要最新信息的问答需结合联网搜索插件或定期更新知识库。硬件依赖虽然支持 CPU但处理大量文档或复杂问题时响应速度可能较慢。GPU 能显著提升体验。合规与版权上传至知识库的文档请确保你拥有相应的使用权或已获得授权避免侵犯他人知识产权。3. 环境准备与前置条件开始部署前请确保你的系统满足以下基本条件。这是保证后续步骤顺利的基础。操作系统Windows 10/11 (建议使用 WSL2)、macOS 或 Linux 发行版如 Ubuntu 20.04。本文将以Linux/Windows WSL2环境为例进行说明。Docker 环境这是运行 Dify 最推荐的方式。你需要安装并启动 Docker Engine 以及 Docker Compose。检查是否安装打开终端运行docker --version和docker-compose --version确认能输出版本号。若未安装请访问 Docker 官网下载对应系统的 Docker DesktopWindows/macOS或按照官方文档安装 Docker EngineLinux。网络与磁盘网络部署过程需要从 Docker Hub、GitHub 等拉取镜像和代码请确保网络通畅。拉取模型也需要良好网络。磁盘空间预留至少 10GB 的可用空间用于存放 Docker 镜像、Dify 数据和 Ollama 模型文件。可选GPU 支持如果你有 NVIDIA GPU 并希望使用 GPU 加速 Ollama 推理需要提前安装好 NVIDIA 显卡驱动和 NVIDIA Container Toolkit用于 Docker GPU 支持。CPU 模式可跳过此步。4. 安装部署与启动方式我们将按照先 Ollama后 Dify的顺序进行部署。Ollama 作为模型后端Dify 作为应用前端。4.1 部署 Ollama 本地模型服务Ollama 的安装非常简洁它负责拉取和管理模型并提供一个类 OpenAI 的 API 接口。安装 OllamaLinux/macOS在终端中执行以下命令。curl -fsSL https://ollama.com/install.sh | shWindows直接访问 Ollama 官网 下载安装程序并运行。启动 Ollama 服务 安装完成后Ollama 服务通常会自动启动。你可以通过以下命令检查状态或手动启动。# 查看服务状态 (Linux/macOS) sudo systemctl status ollama # 启动服务 (如果未运行) sudo systemctl start ollama在 Windows 上安装后会在后台运行你可以在任务管理器中看到ollama进程。拉取并运行一个大语言模型 Ollama 支持众多开源模型。我们选择一个中等尺寸、性能不错的模型作为起点例如qwen2.5:7b。# 在终端中执行这会下载模型并启动一个交互式对话按 CtrlD 退出 ollama run qwen2.5:7b首次运行会下载模型耗时取决于网络和模型大小7B 模型约 4-5GB。下载完成后你会进入一个对话界面可以输入问题测试。这证明 Ollama 和模型都已正常工作。验证 API 服务 Ollama 默认在11434端口提供 HTTP API。打开另一个终端使用curl测试curl http://localhost:11434/api/generate -d { model: qwen2.5:7b, prompt: 你好请介绍一下你自己。, stream: false }如果看到返回一段 JSON 格式的文本回答说明 API 服务正常。请记住这个地址http://localhost:11434稍后需要在 Dify 中配置。4.2 部署 Dify 应用平台我们将使用 Docker Compose 方式部署 Dify这是最省心、隔离性最好的方法。获取 Dify 部署文件 创建一个工作目录并下载docker-compose.yml配置文件。# 创建一个目录用于存放 dify 相关文件 mkdir dify cd dify # 从官方仓库下载 docker-compose 文件 curl -o docker-compose.yml https://raw.githubusercontent.com/langgenius/dify/main/docker/docker-compose.yaml你也可以从 Dify 的 GitHub 仓库 Release 页面下载对应版本的压缩包里面包含部署文件。关键步骤配置环境变量 在dify目录下创建一个名为.env的文件用于配置关键参数。重点是需要指定 Ollama 的地址。# 创建 .env 文件 touch .env # 使用文本编辑器如 vim, nano, 或 VS Code编辑 .env 文件 # 添加以下核心配置将以下内容填入.env文件# 设置 Dify 的访问 URL本地测试用 localhost APP_URLhttp://localhost # 设置加密密钥请务必修改为随机字符串 SECRET_KEYyour-secret-key-please-change-this # 设置数据库密码 DB_PASSWORDdify_2024_postgres # 设置 Redis 密码 REDIS_PASSWORDdify_2024_redis # 重点配置 Ollama 作为模型供应商 MODEL_PROVIDERSopenai,anthropic,ollama # 重点配置 Ollama 的 API 地址就是上一步测试的地址 OLLAMA_API_BASE_URLhttp://host.docker.internal:11434/v1 # 如果 Docker 运行在 Linux 原生环境可能需要改为 http://localhost:11434/v1 # 如果 Docker 运行在 Windows WSL2 内可能需要改为 http://WSL的IP:11434/v1注意OLLAMA_API_BASE_URL的配置是打通 Ollama 和 Dify 的关键。host.docker.internal是 Docker 容器访问宿主机服务的特殊域名在 Windows/macOS 的 Docker Desktop 下通常有效。如果遇到连接问题请参考本文第 8 节的排查方法。启动 Dify 服务 在包含docker-compose.yml和.env文件的目录下执行启动命令。docker-compose up -d这个命令会拉取 PostgreSQL、Redis、Nginx 和 Dify 自身的镜像并启动所有容器。首次运行需要下载多个镜像请耐心等待。看到所有容器状态变为Up即表示启动成功。# 查看容器状态 docker-compose ps访问 Dify Web 界面 启动完成后打开浏览器访问http://localhost。你应该能看到 Dify 的登录/注册页面。首次使用需要创建一个管理员账户。5. 功能测试与效果验证现在Ollama 和 Dify 都已就绪。我们将完成最关键的一步在 Dify 中配置 Ollama 模型并创建一个真实的本地知识库问答应用。5.1 在 Dify 中配置 Ollama 模型提供商登录 Dify使用你刚创建的管理员账户登录。进入模型配置在左侧导航栏点击「模型供应商」-「模型配置」。添加 Ollama 提供商点击「添加模型供应商」选择「Ollama」。在配置页面API 密钥可以留空Ollama 本地服务通常无需密钥。API 地址填写我们在.env文件中配置的地址例如http://host.docker.internal:11434/v1。这里 Dify 会自动读取环境变量通常无需修改。点击「保存」。添加具体模型在「模型配置」页面点击「添加模型」。模型名称填写你在 Ollama 中拉取的模型名例如qwen2.5:7b。这个名称必须与 Ollama 中的模型名完全一致。模型类型选择「文本生成」。模型供应商选择刚才添加的「Ollama」。其他参数如上下文长度、价格可按需调整本地部署价格可设为 0。点击「保存」。状态显示为「正常」即表示模型连接成功。5.2 创建并测试一个简单的文本生成应用在构建知识库前先测试基础对话功能是否畅通。创建应用在 Dify 首页点击「创建新应用」选择「对话型应用」输入名称如“本地模型测试”。配置提示词进入应用后在「提示词编排」页面系统已有一个简单的对话流程。你可以直接使用默认配置。选择模型在右侧的「模型」区域选择我们刚才添加的qwen2.5:7b (Ollama)。对话测试点击右上角的「发布」按钮然后切换到「对话」标签页。在底部的输入框发送一个问题例如“请写一首关于春天的五言绝句”。观察回复速度和内容质量。如果成功收到回复说明 Dify 到 Ollama 的整个链路已打通。5.3 构建本地知识库并进行问答测试这是本教程的核心目标。创建知识库在 Dify 左侧导航栏点击「知识库」-「创建知识库」。输入知识库名称如“我的技术笔记”选择嵌入模型Dify 内置了text-embedding模型本地可用无需额外配置。点击「创建」。上传文档并处理进入创建好的知识库点击「上传文件」。准备一份用于测试的文档建议从简单的纯文本或 Markdown 文件开始例如一篇技术博客的.txt或.md文件。Dify 支持.txt,.md,.pdf,.docx,.pptx,.html等多种格式。选择文件上传。上传后Dify 会自动对文档进行「分段」和「索引」处理。这个过程会将文本切片并通过嵌入模型转换为向量存入向量数据库部署时已自动配置好。在「文档处理」设置中可以调整分段规则、索引方式等高级参数初次使用保持默认即可。创建基于知识库的问答应用返回「应用」页面创建新的「对话型应用」或修改之前的应用。在「提示词编排」页面找到「上下文」区域点击「添加」-「知识库」。选择你刚创建的「我的技术笔记」知识库。可以配置检索模式如「多路召回」、相似度阈值等。保存并发布应用。效果验证切换到「对话」页现在你的提问将优先从知识库中检索相关信息来生成答案。测试用例1知识库内问题提问一个在你上传文档中明确有答案的问题。例如如果你的文档是关于“Docker 命令”的可以问“如何查看 Docker 容器日志”。模型应该能结合知识库内容给出准确回答。测试用例2知识库外问题提问一个与知识库无关的问题如“今天的天气怎么样”。此时系统可能根据模型自身知识回答或者提示“根据已有信息无法回答”。通过对比测试你可以直观感受到 RAG 技术如何增强模型在特定领域的回答能力。6. 接口 API 与批量任务Dify 不仅提供 Web 界面还对外暴露了完整的 API方便你将构建的 AI 应用集成到自己的系统或进行批量处理。6.1 调用 Dify 应用 API获取 API 密钥在 Dify 中进入你的应用页面。点击右上角「发布」旁边的「API 访问」按钮。在弹出窗口中你可以看到「应用 ID」和「API 密钥」。点击「创建新的密钥」可以生成一个。API 调用示例 假设你创建了一个基于知识库的问答应用可以使用curl或 Python 进行调用。# 使用 curl 调用对话 API curl -X POST \ http://localhost/v1/chat-messages \ -H Authorization: Bearer YOUR_APP_API_KEY \ -H Content-Type: application/json \ -d { inputs: {}, query: 如何安装 Ollama, response_mode: blocking, conversation_id: , user: test_user_001 }# 使用 Python requests 库调用 import requests import json url http://localhost/v1/chat-messages headers { Authorization: Bearer YOUR_APP_API_KEY, Content-Type: application/json } payload { inputs: {}, query: 如何安装 Ollama, response_mode: blocking, conversation_id: , user: test_user_001 } response requests.post(url, headersheaders, jsonpayload) if response.status_code 200: result response.json() print(回答, result.get(answer)) print(参考来源, result.get(retriever_resources)) else: print(请求失败, response.status_code, response.text)调用成功后返回的 JSON 会包含模型生成的answer以及从知识库检索到的retriever_resources引用来源。6.2 批量任务处理对于知识库的构建和维护批量操作是常见需求。批量上传文档Dify 的 Web 界面支持多文件同时上传。对于大量文件可以考虑编写脚本通过 Dify 的「知识库文档相关 API」进行批量上传和索引。批量问答测试你可以准备一个包含多个测试问题的 CSV 或 JSON 文件然后编写脚本循环调用上述的对话 API收集回答并评估效果用于优化提示词或知识库质量。使用工作流进行批量处理Dify 的「工作流」功能更强大可以设计复杂的自动化流程。例如你可以创建一个工作流定时读取某个文件夹下的新文档自动上传到指定知识库并进行索引完成后发送通知。7. 资源占用与性能观察本地部署的性能和资源消耗是大家关心的重点。以下是一些观察和优化方向。Ollama 模型推理资源占用CPU 模式运行qwen2.5:7b这类模型推理时主要占用 CPU 和内存。内存占用可能在 4-8GB 左右具体取决于模型大小和并发请求。可以通过系统任务管理器或htop命令观察。GPU 模式如果 Ollama 配置了 GPU 支持启动时添加--gpu参数或配置环境变量推理会使用 GPU 显存。7B 模型通常需要 6-8GB 显存。使用nvidia-smi命令可以实时查看显存占用和利用率。观察命令# 查看 Ollama 进程资源占用 (Linux/macOS) ps aux | grep ollama # 或使用 top/htop top -p $(pgrep ollama)Dify 服务资源占用Dify 由多个 Docker 容器组成App, Worker, Nginx, PostgreSQL, Redis。整体内存占用约 1-2GB。PostgreSQL 和 Redis 是主要内存消耗者。可以使用docker stats命令查看各个容器的实时 CPU、内存使用情况。docker stats --format table {{.Name}}\t{{.CPUPerc}}\t{{.MemUsage}} dify-web-server-1 dify-worker-1 dify-postgres-1 dify-redis-1性能优化建议选择合适的模型如果硬件资源有限可以尝试更小的模型如llama3.2:3b或qwen2.5:1.5b牺牲一些效果换取更快的速度和更低的资源消耗。调整推理参数在 Dify 的模型配置或应用提示词中可以调整max_tokens最大生成长度、temperature创造性等参数这些都会影响推理时间和资源占用。优化知识库索引知识库文档分段过大或过小都会影响检索速度和答案质量。在知识库设置中尝试不同的「分段处理」规则。升级硬件最直接的方式是增加内存对于 CPU 推理或使用性能更强的 GPU。8. 常见问题与排查方法部署过程中可能会遇到一些问题下表汇总了常见现象及解决方法。问题现象可能原因排查方式解决方案Ollama 启动失败或ollama run报错1. 端口11434被占用。2. 模型文件损坏或下载不完整。3. 权限问题Linux。1.netstat -tlnp | grep 11434查看端口。2. 查看 Ollama 日志journalctl -u ollama -f。3. 检查~/.ollama目录权限。1. 杀死占用进程或修改 Ollama 配置换端口。2. 删除~/.ollama/models下对应模型文件夹重新拉取。3. 使用sudo运行或调整目录权限。Dify 启动时docker-compose up报错1..env文件缺失或格式错误。2. 端口冲突80, 5432, 6379。3. 磁盘空间不足。1. 检查dify目录下是否有.env文件。2.docker-compose logs查看具体错误日志。3.df -h查看磁盘空间。1. 确保.env文件存在且内容正确。2. 修改docker-compose.yml中的端口映射如80:80改为8080:80。3. 清理磁盘或更换目录。Dify 无法连接 Ollama (模型状态异常)1..env中OLLAMA_API_BASE_URL配置错误。2. Docker 网络问题容器无法访问宿主机服务。3. Ollama 服务未启动。1. 在 Dify 容器内执行curl OLLAMA_API_BASE_URL测试连通性。2. 在宿主机执行curl localhost:11434/api/tags测试 Ollama。3. 检查 Ollama 进程状态。1.Windows/macOS Docker Desktop尝试使用http://host.docker.internal:11434/v1。2.Linux 或 WSL2尝试使用宿主机的真实 IP如http://192.168.x.x:11434/v1。3. 确保 Ollama 服务正在运行。知识库文档处理失败或索引慢1. 文档格式复杂或包含大量图片。2. 嵌入模型加载或计算慢。3. 向量数据库Weaviate初始化问题。1. 查看 Dify 工作流日志。2. 尝试上传一个简单的.txt文件测试。3. 观察dify-worker容器的 CPU 占用。1. 将复杂文档如 PDF转换为纯文本或 Markdown 再上传。2. 对于大量文档分批上传。3. 检查 Docker 宿主机的资源是否充足。应用对话响应慢或超时1. 模型推理速度慢CPU模式。2. 知识库检索文档过多。3. 网络延迟如果 Ollama 和 Dify 不在同一主机。1. 观察 Ollama 的推理日志和资源占用。2. 在 Dify 知识库设置中减少「召回数量」或提高「相似度阈值」。3. 使用ping或curl测试网络。1. 考虑使用更小模型或启用 GPU。2. 优化知识库文档分段和质量。3. 确保 Ollama 和 Dify 部署在同一台机器上并使用localhost或内部网络通信。Dify Web 界面访问localhost失败1. Docker 容器未成功启动。2. 宿主机防火墙阻止了端口。3. 端口被其他程序占用。1.docker-compose ps检查容器状态。2.docker-compose logs nginx查看 Nginx 日志。3.netstat -tlnp | grep :80检查端口。1. 根据日志修复错误后重启。2. 关闭防火墙或放行端口如 80, 443。3. 修改docker-compose.yml中 Nginx 的端口映射如8080:80然后访问http://localhost:8080。9. 最佳实践与使用建议为了让你的本地知识库系统运行得更稳定、高效这里有一些经验之谈。从简单开始第一次部署时使用一个较小的模型如 3B 或 7B和一份简单的文本文档作为知识库。这能帮你快速验证整个流程避免因模型过大或文档复杂而陷入调试困境。模型与知识库分离管理Ollama 可以管理多个模型Dify 可以管理多个知识库和应用。建议为不同的用途创建不同的模型配置和知识库方便隔离和测试。重视文档预处理知识库的效果很大程度上取决于原始文档的质量。上传前尽量对文档进行清洗和格式化去除无关广告、统一编码、合理分章节。结构清晰的 Markdown 文件通常能获得最好的索引和检索效果。定期备份你的核心资产是向量化的知识库和精心调校的 AI 应用。定期备份 Dify 的数据库PostgreSQL和配置文件。Docker 部署的数据通常保存在命名的 Volume 或./storage目录下请确保这些数据有备份策略。安全考虑虽然部署在本地但如果你将 Dify 的APP_URL设置为公网 IP 并暴露端口服务就可能被外部访问。务必设置强密码并考虑使用 Nginx 反向代理添加 HTTPS 加密和基础认证。合规使用确保上传到知识库的所有文档内容均符合法律法规并拥有合法的使用权。使用模型生成的内容特别是可能对外发布的请进行人工审核。通过以上步骤你应该已经成功在本地搭建起了一个功能完整的 AI 知识库系统。这个方案的优势在于其可控性和隐私性虽然效果可能不及顶尖的商用 API但对于特定领域的深度问答、内部资料检索等场景它提供了一个完全自主、零持续成本的解决方案。接下来你可以尝试更复杂的 Dify 工作流将多个模型和工具串联起来或者探索如何将这套系统集成到你的其他业务应用中。
零成本本地部署AI知识库：Ollama与Dify开源方案实践指南
发布时间：2026/7/1 3:24:49
这次我们来看一个本地知识库的部署方案核心是利用 Ollama 和 Dify 这两款开源工具实现零成本、低门槛的私有化 AI 应用搭建。对于想体验大模型能力又担心数据安全和 API 成本的开发者或个人用户这个组合非常值得一试。简单来说Ollama 负责在本地运行和管理开源大语言模型LLM而 Dify 则提供了一个可视化的 AI 应用开发与编排平台。将它们结合你就能在个人电脑上创建一个具备知识库问答、对话机器人等能力的私有服务整个过程无需联网调用外部 API所有数据都在本地处理。最值得关注的几个特点是硬件门槛低支持 CPU 推理显存要求取决于所选模型、部署过程标准化有清晰的 Docker 或命令行部署方式、功能开箱即用Dify 提供了直观的 Web 界面。本文将带你从零开始完成 Ollama 模型服务部署、Dify 环境安装、知识库创建到最终问答应用测试的全流程。如果你对本地部署 AI、构建私有知识库感兴趣这篇教程可以直接跟着操作。1. 核心能力速览在深入部署细节前我们先通过下表快速了解这个技术栈的核心能力和要求帮助你判断是否适合你的环境。能力项说明项目类型本地化 AI 应用开发与部署平台核心组件Ollama (本地模型服务) Dify (AI 应用编排平台)主要功能本地大模型对话、私有知识库问答、可视化工作流编排、应用 API 发布推荐硬件支持 CPU 推理GPU 可加速。内存建议 8GB 以上磁盘空间 10GB 用于存放模型。显存/内存占用取决于所选模型。例如qwen2.5:7b模型在 CPU 模式下主要占用内存使用 GPU 推理则会占用相应显存。支持平台Windows (WSL2/Docker Desktop)、macOS、Linux启动方式Ollama命令行服务DifyDocker Compose 一键启动或源码部署是否支持 API是。Ollama 提供模型 APIDify 提供应用 API均可用于二次开发。是否支持批量任务是。通过 Dify 工作流或自定义脚本可对知识库文档进行批量处理与问答。适合场景个人学习与测试、企业内部知识库助手、开发原型验证、对数据隐私要求高的场景2. 适用场景与使用边界了解一个工具适合做什么、不适合做什么能帮你更好地规划使用方式。这个方案最适合谁AI 初学者/爱好者想低成本体验大模型和 RAG检索增强生成技术了解本地部署的全流程。中小团队/个人开发者需要为特定领域如法律、医疗、技术文档构建一个安全的、内部的问答助手且不希望数据流出内网。原型验证者在采购商业 LLM API 或云服务前希望先在本地验证 AI 应用的想法和效果。它能解决什么问题数据隐私与安全所有模型、数据、计算均在本地杜绝了敏感信息通过 API 外泄的风险。零 API 成本一次部署无限次使用无需为每一次对话或 Token 付费。定制化知识库可以将公司内部文档、个人笔记、专业资料等上传构建专属的智能问答系统。开发效率提升Dify 的可视化界面降低了 AI 应用开发的门槛无需编写大量代码即可组装工作流。需要注意的使用边界性能限制本地模型的推理速度和质量通常低于云端顶级商用模型如 GPT-4。对于高并发或实时性要求极高的场景此方案可能不适用。知识时效性本地模型的知识截止于其训练数据。对于需要最新信息的问答需结合联网搜索插件或定期更新知识库。硬件依赖虽然支持 CPU但处理大量文档或复杂问题时响应速度可能较慢。GPU 能显著提升体验。合规与版权上传至知识库的文档请确保你拥有相应的使用权或已获得授权避免侵犯他人知识产权。3. 环境准备与前置条件开始部署前请确保你的系统满足以下基本条件。这是保证后续步骤顺利的基础。操作系统Windows 10/11 (建议使用 WSL2)、macOS 或 Linux 发行版如 Ubuntu 20.04。本文将以Linux/Windows WSL2环境为例进行说明。Docker 环境这是运行 Dify 最推荐的方式。你需要安装并启动 Docker Engine 以及 Docker Compose。检查是否安装打开终端运行docker --version和docker-compose --version确认能输出版本号。若未安装请访问 Docker 官网下载对应系统的 Docker DesktopWindows/macOS或按照官方文档安装 Docker EngineLinux。网络与磁盘网络部署过程需要从 Docker Hub、GitHub 等拉取镜像和代码请确保网络通畅。拉取模型也需要良好网络。磁盘空间预留至少 10GB 的可用空间用于存放 Docker 镜像、Dify 数据和 Ollama 模型文件。可选GPU 支持如果你有 NVIDIA GPU 并希望使用 GPU 加速 Ollama 推理需要提前安装好 NVIDIA 显卡驱动和 NVIDIA Container Toolkit用于 Docker GPU 支持。CPU 模式可跳过此步。4. 安装部署与启动方式我们将按照先 Ollama后 Dify的顺序进行部署。Ollama 作为模型后端Dify 作为应用前端。4.1 部署 Ollama 本地模型服务Ollama 的安装非常简洁它负责拉取和管理模型并提供一个类 OpenAI 的 API 接口。安装 OllamaLinux/macOS在终端中执行以下命令。curl -fsSL https://ollama.com/install.sh | shWindows直接访问 Ollama 官网 下载安装程序并运行。启动 Ollama 服务 安装完成后Ollama 服务通常会自动启动。你可以通过以下命令检查状态或手动启动。# 查看服务状态 (Linux/macOS) sudo systemctl status ollama # 启动服务 (如果未运行) sudo systemctl start ollama在 Windows 上安装后会在后台运行你可以在任务管理器中看到ollama进程。拉取并运行一个大语言模型 Ollama 支持众多开源模型。我们选择一个中等尺寸、性能不错的模型作为起点例如qwen2.5:7b。# 在终端中执行这会下载模型并启动一个交互式对话按 CtrlD 退出 ollama run qwen2.5:7b首次运行会下载模型耗时取决于网络和模型大小7B 模型约 4-5GB。下载完成后你会进入一个对话界面可以输入问题测试。这证明 Ollama 和模型都已正常工作。验证 API 服务 Ollama 默认在11434端口提供 HTTP API。打开另一个终端使用curl测试curl http://localhost:11434/api/generate -d { model: qwen2.5:7b, prompt: 你好请介绍一下你自己。, stream: false }如果看到返回一段 JSON 格式的文本回答说明 API 服务正常。请记住这个地址http://localhost:11434稍后需要在 Dify 中配置。4.2 部署 Dify 应用平台我们将使用 Docker Compose 方式部署 Dify这是最省心、隔离性最好的方法。获取 Dify 部署文件 创建一个工作目录并下载docker-compose.yml配置文件。# 创建一个目录用于存放 dify 相关文件 mkdir dify cd dify # 从官方仓库下载 docker-compose 文件 curl -o docker-compose.yml https://raw.githubusercontent.com/langgenius/dify/main/docker/docker-compose.yaml你也可以从 Dify 的 GitHub 仓库 Release 页面下载对应版本的压缩包里面包含部署文件。关键步骤配置环境变量 在dify目录下创建一个名为.env的文件用于配置关键参数。重点是需要指定 Ollama 的地址。# 创建 .env 文件 touch .env # 使用文本编辑器如 vim, nano, 或 VS Code编辑 .env 文件 # 添加以下核心配置将以下内容填入.env文件# 设置 Dify 的访问 URL本地测试用 localhost APP_URLhttp://localhost # 设置加密密钥请务必修改为随机字符串 SECRET_KEYyour-secret-key-please-change-this # 设置数据库密码 DB_PASSWORDdify_2024_postgres # 设置 Redis 密码 REDIS_PASSWORDdify_2024_redis # 重点配置 Ollama 作为模型供应商 MODEL_PROVIDERSopenai,anthropic,ollama # 重点配置 Ollama 的 API 地址就是上一步测试的地址 OLLAMA_API_BASE_URLhttp://host.docker.internal:11434/v1 # 如果 Docker 运行在 Linux 原生环境可能需要改为 http://localhost:11434/v1 # 如果 Docker 运行在 Windows WSL2 内可能需要改为 http://WSL的IP:11434/v1注意OLLAMA_API_BASE_URL的配置是打通 Ollama 和 Dify 的关键。host.docker.internal是 Docker 容器访问宿主机服务的特殊域名在 Windows/macOS 的 Docker Desktop 下通常有效。如果遇到连接问题请参考本文第 8 节的排查方法。启动 Dify 服务 在包含docker-compose.yml和.env文件的目录下执行启动命令。docker-compose up -d这个命令会拉取 PostgreSQL、Redis、Nginx 和 Dify 自身的镜像并启动所有容器。首次运行需要下载多个镜像请耐心等待。看到所有容器状态变为Up即表示启动成功。# 查看容器状态 docker-compose ps访问 Dify Web 界面 启动完成后打开浏览器访问http://localhost。你应该能看到 Dify 的登录/注册页面。首次使用需要创建一个管理员账户。5. 功能测试与效果验证现在Ollama 和 Dify 都已就绪。我们将完成最关键的一步在 Dify 中配置 Ollama 模型并创建一个真实的本地知识库问答应用。5.1 在 Dify 中配置 Ollama 模型提供商登录 Dify使用你刚创建的管理员账户登录。进入模型配置在左侧导航栏点击「模型供应商」-「模型配置」。添加 Ollama 提供商点击「添加模型供应商」选择「Ollama」。在配置页面API 密钥可以留空Ollama 本地服务通常无需密钥。API 地址填写我们在.env文件中配置的地址例如http://host.docker.internal:11434/v1。这里 Dify 会自动读取环境变量通常无需修改。点击「保存」。添加具体模型在「模型配置」页面点击「添加模型」。模型名称填写你在 Ollama 中拉取的模型名例如qwen2.5:7b。这个名称必须与 Ollama 中的模型名完全一致。模型类型选择「文本生成」。模型供应商选择刚才添加的「Ollama」。其他参数如上下文长度、价格可按需调整本地部署价格可设为 0。点击「保存」。状态显示为「正常」即表示模型连接成功。5.2 创建并测试一个简单的文本生成应用在构建知识库前先测试基础对话功能是否畅通。创建应用在 Dify 首页点击「创建新应用」选择「对话型应用」输入名称如“本地模型测试”。配置提示词进入应用后在「提示词编排」页面系统已有一个简单的对话流程。你可以直接使用默认配置。选择模型在右侧的「模型」区域选择我们刚才添加的qwen2.5:7b (Ollama)。对话测试点击右上角的「发布」按钮然后切换到「对话」标签页。在底部的输入框发送一个问题例如“请写一首关于春天的五言绝句”。观察回复速度和内容质量。如果成功收到回复说明 Dify 到 Ollama 的整个链路已打通。5.3 构建本地知识库并进行问答测试这是本教程的核心目标。创建知识库在 Dify 左侧导航栏点击「知识库」-「创建知识库」。输入知识库名称如“我的技术笔记”选择嵌入模型Dify 内置了text-embedding模型本地可用无需额外配置。点击「创建」。上传文档并处理进入创建好的知识库点击「上传文件」。准备一份用于测试的文档建议从简单的纯文本或 Markdown 文件开始例如一篇技术博客的.txt或.md文件。Dify 支持.txt,.md,.pdf,.docx,.pptx,.html等多种格式。选择文件上传。上传后Dify 会自动对文档进行「分段」和「索引」处理。这个过程会将文本切片并通过嵌入模型转换为向量存入向量数据库部署时已自动配置好。在「文档处理」设置中可以调整分段规则、索引方式等高级参数初次使用保持默认即可。创建基于知识库的问答应用返回「应用」页面创建新的「对话型应用」或修改之前的应用。在「提示词编排」页面找到「上下文」区域点击「添加」-「知识库」。选择你刚创建的「我的技术笔记」知识库。可以配置检索模式如「多路召回」、相似度阈值等。保存并发布应用。效果验证切换到「对话」页现在你的提问将优先从知识库中检索相关信息来生成答案。测试用例1知识库内问题提问一个在你上传文档中明确有答案的问题。例如如果你的文档是关于“Docker 命令”的可以问“如何查看 Docker 容器日志”。模型应该能结合知识库内容给出准确回答。测试用例2知识库外问题提问一个与知识库无关的问题如“今天的天气怎么样”。此时系统可能根据模型自身知识回答或者提示“根据已有信息无法回答”。通过对比测试你可以直观感受到 RAG 技术如何增强模型在特定领域的回答能力。6. 接口 API 与批量任务Dify 不仅提供 Web 界面还对外暴露了完整的 API方便你将构建的 AI 应用集成到自己的系统或进行批量处理。6.1 调用 Dify 应用 API获取 API 密钥在 Dify 中进入你的应用页面。点击右上角「发布」旁边的「API 访问」按钮。在弹出窗口中你可以看到「应用 ID」和「API 密钥」。点击「创建新的密钥」可以生成一个。API 调用示例 假设你创建了一个基于知识库的问答应用可以使用curl或 Python 进行调用。# 使用 curl 调用对话 API curl -X POST \ http://localhost/v1/chat-messages \ -H Authorization: Bearer YOUR_APP_API_KEY \ -H Content-Type: application/json \ -d { inputs: {}, query: 如何安装 Ollama, response_mode: blocking, conversation_id: , user: test_user_001 }# 使用 Python requests 库调用 import requests import json url http://localhost/v1/chat-messages headers { Authorization: Bearer YOUR_APP_API_KEY, Content-Type: application/json } payload { inputs: {}, query: 如何安装 Ollama, response_mode: blocking, conversation_id: , user: test_user_001 } response requests.post(url, headersheaders, jsonpayload) if response.status_code 200: result response.json() print(回答, result.get(answer)) print(参考来源, result.get(retriever_resources)) else: print(请求失败, response.status_code, response.text)调用成功后返回的 JSON 会包含模型生成的answer以及从知识库检索到的retriever_resources引用来源。6.2 批量任务处理对于知识库的构建和维护批量操作是常见需求。批量上传文档Dify 的 Web 界面支持多文件同时上传。对于大量文件可以考虑编写脚本通过 Dify 的「知识库文档相关 API」进行批量上传和索引。批量问答测试你可以准备一个包含多个测试问题的 CSV 或 JSON 文件然后编写脚本循环调用上述的对话 API收集回答并评估效果用于优化提示词或知识库质量。使用工作流进行批量处理Dify 的「工作流」功能更强大可以设计复杂的自动化流程。例如你可以创建一个工作流定时读取某个文件夹下的新文档自动上传到指定知识库并进行索引完成后发送通知。7. 资源占用与性能观察本地部署的性能和资源消耗是大家关心的重点。以下是一些观察和优化方向。Ollama 模型推理资源占用CPU 模式运行qwen2.5:7b这类模型推理时主要占用 CPU 和内存。内存占用可能在 4-8GB 左右具体取决于模型大小和并发请求。可以通过系统任务管理器或htop命令观察。GPU 模式如果 Ollama 配置了 GPU 支持启动时添加--gpu参数或配置环境变量推理会使用 GPU 显存。7B 模型通常需要 6-8GB 显存。使用nvidia-smi命令可以实时查看显存占用和利用率。观察命令# 查看 Ollama 进程资源占用 (Linux/macOS) ps aux | grep ollama # 或使用 top/htop top -p $(pgrep ollama)Dify 服务资源占用Dify 由多个 Docker 容器组成App, Worker, Nginx, PostgreSQL, Redis。整体内存占用约 1-2GB。PostgreSQL 和 Redis 是主要内存消耗者。可以使用docker stats命令查看各个容器的实时 CPU、内存使用情况。docker stats --format table {{.Name}}\t{{.CPUPerc}}\t{{.MemUsage}} dify-web-server-1 dify-worker-1 dify-postgres-1 dify-redis-1性能优化建议选择合适的模型如果硬件资源有限可以尝试更小的模型如llama3.2:3b或qwen2.5:1.5b牺牲一些效果换取更快的速度和更低的资源消耗。调整推理参数在 Dify 的模型配置或应用提示词中可以调整max_tokens最大生成长度、temperature创造性等参数这些都会影响推理时间和资源占用。优化知识库索引知识库文档分段过大或过小都会影响检索速度和答案质量。在知识库设置中尝试不同的「分段处理」规则。升级硬件最直接的方式是增加内存对于 CPU 推理或使用性能更强的 GPU。8. 常见问题与排查方法部署过程中可能会遇到一些问题下表汇总了常见现象及解决方法。问题现象可能原因排查方式解决方案Ollama 启动失败或ollama run报错1. 端口11434被占用。2. 模型文件损坏或下载不完整。3. 权限问题Linux。1.netstat -tlnp | grep 11434查看端口。2. 查看 Ollama 日志journalctl -u ollama -f。3. 检查~/.ollama目录权限。1. 杀死占用进程或修改 Ollama 配置换端口。2. 删除~/.ollama/models下对应模型文件夹重新拉取。3. 使用sudo运行或调整目录权限。Dify 启动时docker-compose up报错1..env文件缺失或格式错误。2. 端口冲突80, 5432, 6379。3. 磁盘空间不足。1. 检查dify目录下是否有.env文件。2.docker-compose logs查看具体错误日志。3.df -h查看磁盘空间。1. 确保.env文件存在且内容正确。2. 修改docker-compose.yml中的端口映射如80:80改为8080:80。3. 清理磁盘或更换目录。Dify 无法连接 Ollama (模型状态异常)1..env中OLLAMA_API_BASE_URL配置错误。2. Docker 网络问题容器无法访问宿主机服务。3. Ollama 服务未启动。1. 在 Dify 容器内执行curl OLLAMA_API_BASE_URL测试连通性。2. 在宿主机执行curl localhost:11434/api/tags测试 Ollama。3. 检查 Ollama 进程状态。1.Windows/macOS Docker Desktop尝试使用http://host.docker.internal:11434/v1。2.Linux 或 WSL2尝试使用宿主机的真实 IP如http://192.168.x.x:11434/v1。3. 确保 Ollama 服务正在运行。知识库文档处理失败或索引慢1. 文档格式复杂或包含大量图片。2. 嵌入模型加载或计算慢。3. 向量数据库Weaviate初始化问题。1. 查看 Dify 工作流日志。2. 尝试上传一个简单的.txt文件测试。3. 观察dify-worker容器的 CPU 占用。1. 将复杂文档如 PDF转换为纯文本或 Markdown 再上传。2. 对于大量文档分批上传。3. 检查 Docker 宿主机的资源是否充足。应用对话响应慢或超时1. 模型推理速度慢CPU模式。2. 知识库检索文档过多。3. 网络延迟如果 Ollama 和 Dify 不在同一主机。1. 观察 Ollama 的推理日志和资源占用。2. 在 Dify 知识库设置中减少「召回数量」或提高「相似度阈值」。3. 使用ping或curl测试网络。1. 考虑使用更小模型或启用 GPU。2. 优化知识库文档分段和质量。3. 确保 Ollama 和 Dify 部署在同一台机器上并使用localhost或内部网络通信。Dify Web 界面访问localhost失败1. Docker 容器未成功启动。2. 宿主机防火墙阻止了端口。3. 端口被其他程序占用。1.docker-compose ps检查容器状态。2.docker-compose logs nginx查看 Nginx 日志。3.netstat -tlnp | grep :80检查端口。1. 根据日志修复错误后重启。2. 关闭防火墙或放行端口如 80, 443。3. 修改docker-compose.yml中 Nginx 的端口映射如8080:80然后访问http://localhost:8080。9. 最佳实践与使用建议为了让你的本地知识库系统运行得更稳定、高效这里有一些经验之谈。从简单开始第一次部署时使用一个较小的模型如 3B 或 7B和一份简单的文本文档作为知识库。这能帮你快速验证整个流程避免因模型过大或文档复杂而陷入调试困境。模型与知识库分离管理Ollama 可以管理多个模型Dify 可以管理多个知识库和应用。建议为不同的用途创建不同的模型配置和知识库方便隔离和测试。重视文档预处理知识库的效果很大程度上取决于原始文档的质量。上传前尽量对文档进行清洗和格式化去除无关广告、统一编码、合理分章节。结构清晰的 Markdown 文件通常能获得最好的索引和检索效果。定期备份你的核心资产是向量化的知识库和精心调校的 AI 应用。定期备份 Dify 的数据库PostgreSQL和配置文件。Docker 部署的数据通常保存在命名的 Volume 或./storage目录下请确保这些数据有备份策略。安全考虑虽然部署在本地但如果你将 Dify 的APP_URL设置为公网 IP 并暴露端口服务就可能被外部访问。务必设置强密码并考虑使用 Nginx 反向代理添加 HTTPS 加密和基础认证。合规使用确保上传到知识库的所有文档内容均符合法律法规并拥有合法的使用权。使用模型生成的内容特别是可能对外发布的请进行人工审核。通过以上步骤你应该已经成功在本地搭建起了一个功能完整的 AI 知识库系统。这个方案的优势在于其可控性和隐私性虽然效果可能不及顶尖的商用 API但对于特定领域的深度问答、内部资料检索等场景它提供了一个完全自主、零持续成本的解决方案。接下来你可以尝试更复杂的 Dify 工作流将多个模型和工具串联起来或者探索如何将这套系统集成到你的其他业务应用中。
![华为OD机试2025C卷-字符串变换最小次数[100分]（ Java _ Python3 _ C++ _ C语言 _ JsNode _ Go）实现100%通过率](http://pic.xiahunao.cn/yaotu/华为OD机试2025C卷-字符串变换最小次数[100分]（ Java _ Python3 _ C++ _ C语言 _ JsNode _ Go）实现100%通过率)
![华为OD机试2025C卷-内存资源分配[100分]（ Java _ Python3 _ C++ _ C语言 _ JsNode _ Go）实现100%通过率](http://pic.xiahunao.cn/yaotu/华为OD机试2025C卷-内存资源分配[100分]（ Java _ Python3 _ C++ _ C语言 _ JsNode _ Go）实现100%通过率)