前言最近研究了一下Dify这个AI应用引擎感觉功能还是很强大的特别是流程编排、RAG检索、模型管理、知识库维护等内置了各种国内外的厂商模型可以根据自己的业务需求来选择模型进行处理而且模型可以借助Ollama来私有化部署。与其对等的产品还有FastGPT字节的Coze不过目前开源的只有Dify和FastGPT下面来介绍一下Ollama和Dify怎么私有化部署到自己的电脑或服务器吧。提示如果想要私有化部署的首先要保证自己的电脑或服务器的硬件资源跟得上具体配置推荐可以参考一下表格模型版本CPU内存GPU显卡推荐1.5B4核8GB非必需4GBRTX1650RTX20607B、8B8核16GB8GBRTX3070RTX406014B12核32GB16GBRTX4090RTX508032B16核64GB24GBA100 40GB70B32核128GB多卡2×A100 80GB671B64核512GB多卡8×A100/H100声明以上配置仅供参考安装Ollama1下载Ollama进入https://ollama.com/选择Download目前支持三种系统macos、Linux、Windows根据自己的需求来下载因为我是Windows系统所以下载的就是Windows如果你想部署到Linux服务器就点击Linux会有专门的Shell脚本直接在服务器运行即可下载完后直接点击install安装安装过程非常简单等待安装完成即可。打开cmd命令框输入ollama --version验证一下2修改模型下载路径因为Ollama默认下载模型的路径是在C盘如果模型太大放到C盘也是不合适的所以我们需要修改一下下载模型的目录。右键此电脑进入属性进入高级系统设置点击环境变量在系统变量中添加变量OLLAMA_MODELS后面的路径根据自己的情况设置只要不是C盘就行设置完后确定保存重启电脑保证系统环境变量能够生效。3下载模型一切就绪就可以下载模型了使用命令ollama run 模型名称 就可以进行下载模型。我电脑安装的是deepseek-r1:7b的模型需要下载4G多大概下了1-2个小时。提示可能因为下载人数过多的原因下载会掉网速如果网速太低了使用Ctrl C取消下载然后立马ollama run 模型名称接着下载就会基于之前的下载进度继续下载并且网速还会恢复到初始重复如此直到下载结束。可以通过ollama list命令查看所有下载好的模型对下载好的模型输入ollama run 模型名称 就可以运行了下载安装Dify官网https://dify.ai/zhGitHub地址https://github.com/langgenius/dify1下载Dify访问GitHub地址在Code中点击Download zip包下载完成后解压项目打开项目找到docker文件夹进入将.env.example文件改名为.env并使用记事本或文本工具打开.env在最后一行加入下面的代码# 启用自定义模型CUSTOM_MODEL_ENABLEDture# 指定Ollama的API地址根据部署环境调整IPOLLAMA_API_BASE_URLhost.docker.internal:114342使用Docker命令进行部署因为Dify是通过docker来安装的所以不管你是Linux服务器或者Mac还是Windows必须要有docker环境。这里安装docker就不再描述了。可以参考以下文章在docker文件夹下进入cmd命令框执行下面命令docker compose up-ddocker会自动拉取Dify项目所需要的所有镜像资源过程会比较慢大家耐心等待。提示因为需要拉取国外的docker镜像所以最好要挂一个梯子翻墙VPN3访问Dify安装部署完毕以后我们可以访问浏览器 http://localhost/install初次进入会让你设置一个admin管理员的账号根据提示设置即可然后进入系统。进入系统后我们以后就可以在工作室这个页签进行新建空白应用来构建我们的智能体。4引入Ollama模型打开设置在模型供应商中可以添加各个厂商的模型因为我们是自定义模型所以找到Ollama添加进来。5新建对话应用下面我们就新建一个最基本的对话应用也是最简单的。点击创建空白应用在右上角就可以看到有个模型选择框可以选择ollama这就是我们本地自己搭建的模型也就是用的本地资源进行跑结果。不过你也可以选择其他厂商的API服务只需要在模型设置中填写各个厂商模型的API key即可可以前往各厂商模型开放平台进行申请API key一般都是很好申请的会根据你请求的tokens来进行计费不过都很便宜和他问话测试一下这时候你就会听到电脑的风扇开始呼呼的叫起来了_如果觉得调试好了就可以在右上角的发布里进行运行界面或者嵌入网站中以及可以生产访问的API提供给后端请求。搭建知识库在知识库中点击创建知识库可以导入已有的文本支持的格式可以看下图的提示这里我上传一个员工管理手册点击下一步进入配置界面注意这里我是提前下载好了一个Text Embedding的模型所以索引方式这里才能选择如果没有此类模型这里是禁止选择的需要去下载一个如果用厂商的API服务也可以。可以在预览中进行查看分段的结果来根据分段长度进行相应的调整。点击保持并处理进行下一步等待嵌入处理完成以后就可以前往文档看到自己维护的知识库回到咱们之前创建的LLM小助手在上下文中就可以选择刚才维护的知识库文档了。选择后我们直接问它可以发现它把刚才维护的知识库中的内容也回答出来了。在引用中可以看到会根据文章的匹配度进行从上到下进行排序工作流编排接下来聊一下重头戏就是Dify的工作流编排就类似于生产汽车的流水线每个环节都各司其职不再人来干预直接交给AI来进行完成咱们只需要等待结果即可。目前Dify提供了两种工作流编排一种是长对话的形式而另一种就是单轮的自动化任务也就是只执行一次就结束了。如果你想基于对话形式的还是使用第一个如果只是处理一次任务类型的使用第二种。下面这个就是我自己配置的智能文档助手的工作流编排图可以识别文档和图片结合用户提问来回答。注意这里面所用到模型都是API调用的因为我电脑硬件不足的原因7b模型没有那么的智能所以我只能用服务提供者调用满血版的deepseek-r1模型来回答问题另外因为deepseek模型不支持解析图片所以图片识别用的是Qwen-QVQ-72b的模型它是可以解析图片的最后来跑一下测试一下效果我这里上传了三个文件分别是word文档和两张图片是Java中最经典的面试题bean的循环依赖问题看看AI是怎么将这几个文件总结的最后的最后感谢你们的阅读和喜欢作为一位在一线互联网行业奋斗多年的老兵我深知在这个瞬息万变的技术领域中持续学习和进步的重要性。为了帮助更多热爱技术、渴望成长的朋友我特别整理了一份涵盖大模型领域的宝贵资料集。这些资料不仅是我多年积累的心血结晶也是我在行业一线实战经验的总结。这些学习资料不仅深入浅出而且非常实用让大家系统而高效地掌握AI大模型的各个知识点。如果你愿意花时间沉下心来学习相信它们一定能为你提供实质性的帮助。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】大模型知识脑图为了成为更好的 AI大模型 开发者这里为大家提供了总的路线图。它的用处就在于你可以按照上面的知识点去找对应的学习资源保证自己学得较为全面。经典书籍阅读阅读AI大模型经典书籍可以帮助读者提高技术水平开拓视野掌握核心技术提高解决问题的能力同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说阅读经典书籍是非常有必要的。实战案例光学理论是没用的要学会跟着一起敲要动手实操才能将自己的所学运用到实际当中去这时候可以搞点实战案例来学习。面试资料我们学习AI大模型必然是想找到高薪的工作下面这些面试题都是总结当前最新、最热、最高频的面试题并且每道题都有详细的答案面试前刷完这套面试题资料小小offer不在话下640套AI大模型报告合集这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】 Ollama + DeepSeek + Dify私有化部署自己的AI Agent，收藏这一篇就够了！！
前言最近研究了一下Dify这个AI应用引擎感觉功能还是很强大的特别是流程编排、RAG检索、模型管理、知识库维护等内置了各种国内外的厂商模型可以根据自己的业务需求来选择模型进行处理而且模型可以借助Ollama来私有化部署。与其对等的产品还有FastGPT字节的Coze不过目前开源的只有Dify和FastGPT下面来介绍一下Ollama和Dify怎么私有化部署到自己的电脑或服务器吧。提示如果想要私有化部署的首先要保证自己的电脑或服务器的硬件资源跟得上具体配置推荐可以参考一下表格模型版本CPU内存GPU显卡推荐1.5B4核8GB非必需4GBRTX1650RTX20607B、8B8核16GB8GBRTX3070RTX406014B12核32GB16GBRTX4090RTX508032B16核64GB24GBA100 40GB70B32核128GB多卡2×A100 80GB671B64核512GB多卡8×A100/H100声明以上配置仅供参考安装Ollama1下载Ollama进入https://ollama.com/选择Download目前支持三种系统macos、Linux、Windows根据自己的需求来下载因为我是Windows系统所以下载的就是Windows如果你想部署到Linux服务器就点击Linux会有专门的Shell脚本直接在服务器运行即可下载完后直接点击install安装安装过程非常简单等待安装完成即可。打开cmd命令框输入ollama --version验证一下2修改模型下载路径因为Ollama默认下载模型的路径是在C盘如果模型太大放到C盘也是不合适的所以我们需要修改一下下载模型的目录。右键此电脑进入属性进入高级系统设置点击环境变量在系统变量中添加变量OLLAMA_MODELS后面的路径根据自己的情况设置只要不是C盘就行设置完后确定保存重启电脑保证系统环境变量能够生效。3下载模型一切就绪就可以下载模型了使用命令ollama run 模型名称 就可以进行下载模型。我电脑安装的是deepseek-r1:7b的模型需要下载4G多大概下了1-2个小时。提示可能因为下载人数过多的原因下载会掉网速如果网速太低了使用Ctrl C取消下载然后立马ollama run 模型名称接着下载就会基于之前的下载进度继续下载并且网速还会恢复到初始重复如此直到下载结束。可以通过ollama list命令查看所有下载好的模型对下载好的模型输入ollama run 模型名称 就可以运行了下载安装Dify官网https://dify.ai/zhGitHub地址https://github.com/langgenius/dify1下载Dify访问GitHub地址在Code中点击Download zip包下载完成后解压项目打开项目找到docker文件夹进入将.env.example文件改名为.env并使用记事本或文本工具打开.env在最后一行加入下面的代码# 启用自定义模型CUSTOM_MODEL_ENABLEDture# 指定Ollama的API地址根据部署环境调整IPOLLAMA_API_BASE_URLhost.docker.internal:114342使用Docker命令进行部署因为Dify是通过docker来安装的所以不管你是Linux服务器或者Mac还是Windows必须要有docker环境。这里安装docker就不再描述了。可以参考以下文章在docker文件夹下进入cmd命令框执行下面命令docker compose up-ddocker会自动拉取Dify项目所需要的所有镜像资源过程会比较慢大家耐心等待。提示因为需要拉取国外的docker镜像所以最好要挂一个梯子翻墙VPN3访问Dify安装部署完毕以后我们可以访问浏览器 http://localhost/install初次进入会让你设置一个admin管理员的账号根据提示设置即可然后进入系统。进入系统后我们以后就可以在工作室这个页签进行新建空白应用来构建我们的智能体。4引入Ollama模型打开设置在模型供应商中可以添加各个厂商的模型因为我们是自定义模型所以找到Ollama添加进来。5新建对话应用下面我们就新建一个最基本的对话应用也是最简单的。点击创建空白应用在右上角就可以看到有个模型选择框可以选择ollama这就是我们本地自己搭建的模型也就是用的本地资源进行跑结果。不过你也可以选择其他厂商的API服务只需要在模型设置中填写各个厂商模型的API key即可可以前往各厂商模型开放平台进行申请API key一般都是很好申请的会根据你请求的tokens来进行计费不过都很便宜和他问话测试一下这时候你就会听到电脑的风扇开始呼呼的叫起来了_如果觉得调试好了就可以在右上角的发布里进行运行界面或者嵌入网站中以及可以生产访问的API提供给后端请求。搭建知识库在知识库中点击创建知识库可以导入已有的文本支持的格式可以看下图的提示这里我上传一个员工管理手册点击下一步进入配置界面注意这里我是提前下载好了一个Text Embedding的模型所以索引方式这里才能选择如果没有此类模型这里是禁止选择的需要去下载一个如果用厂商的API服务也可以。可以在预览中进行查看分段的结果来根据分段长度进行相应的调整。点击保持并处理进行下一步等待嵌入处理完成以后就可以前往文档看到自己维护的知识库回到咱们之前创建的LLM小助手在上下文中就可以选择刚才维护的知识库文档了。选择后我们直接问它可以发现它把刚才维护的知识库中的内容也回答出来了。在引用中可以看到会根据文章的匹配度进行从上到下进行排序工作流编排接下来聊一下重头戏就是Dify的工作流编排就类似于生产汽车的流水线每个环节都各司其职不再人来干预直接交给AI来进行完成咱们只需要等待结果即可。目前Dify提供了两种工作流编排一种是长对话的形式而另一种就是单轮的自动化任务也就是只执行一次就结束了。如果你想基于对话形式的还是使用第一个如果只是处理一次任务类型的使用第二种。下面这个就是我自己配置的智能文档助手的工作流编排图可以识别文档和图片结合用户提问来回答。注意这里面所用到模型都是API调用的因为我电脑硬件不足的原因7b模型没有那么的智能所以我只能用服务提供者调用满血版的deepseek-r1模型来回答问题另外因为deepseek模型不支持解析图片所以图片识别用的是Qwen-QVQ-72b的模型它是可以解析图片的最后来跑一下测试一下效果我这里上传了三个文件分别是word文档和两张图片是Java中最经典的面试题bean的循环依赖问题看看AI是怎么将这几个文件总结的最后的最后感谢你们的阅读和喜欢作为一位在一线互联网行业奋斗多年的老兵我深知在这个瞬息万变的技术领域中持续学习和进步的重要性。为了帮助更多热爱技术、渴望成长的朋友我特别整理了一份涵盖大模型领域的宝贵资料集。这些资料不仅是我多年积累的心血结晶也是我在行业一线实战经验的总结。这些学习资料不仅深入浅出而且非常实用让大家系统而高效地掌握AI大模型的各个知识点。如果你愿意花时间沉下心来学习相信它们一定能为你提供实质性的帮助。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】大模型知识脑图为了成为更好的 AI大模型 开发者这里为大家提供了总的路线图。它的用处就在于你可以按照上面的知识点去找对应的学习资源保证自己学得较为全面。经典书籍阅读阅读AI大模型经典书籍可以帮助读者提高技术水平开拓视野掌握核心技术提高解决问题的能力同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说阅读经典书籍是非常有必要的。实战案例光学理论是没用的要学会跟着一起敲要动手实操才能将自己的所学运用到实际当中去这时候可以搞点实战案例来学习。面试资料我们学习AI大模型必然是想找到高薪的工作下面这些面试题都是总结当前最新、最热、最高频的面试题并且每道题都有详细的答案面试前刷完这套面试题资料小小offer不在话下640套AI大模型报告合集这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】