文章目录一、 环境配置概述1. Docker大名鼎鼎的“集装箱”技术 它的三大核心特性Docker 的三大核心概念Docker 的运行底层与架构对比❌ 传统虚拟机架构笨重、资源浪费✅ Docker 容器架构轻量、极致高效常用命令速览 完整运转流程从一行命令到应用上线2.Ollama本地大模型的“一键运行器”Ollama 是什么为什么选择 Ollama—— 核心优势安装指南全平台Ollama 常用命令表格二本地接入和API接入1.本地部署2.接入API大模型Dify 是一个非常强大且流行的开源大语言模型LLM应用开发平台通常被称为LLMOps 平台。其核心目的在于让开发者甚至是不懂代码的业务人员能够以极快的速度把复杂的 AI 模型变成真正可落地的应用程序。一、 环境配置概述具体的安装步骤可以参考官方文档或网络教程。本章节重点在于帮助你理清为了运行 Dify我们下载的这些核心组件到底是在帮我们做什么1. Docker大名鼎鼎的“集装箱”技术Docker 是一个应用容器引擎它的核心作用是解决“在我的电脑上运行得好好的为什么到你的电脑上就报错”的环境不一致问题。 它的三大核心特性打包一切它把一个软件以及运行这个软件所需的全部依赖比如特定版本的 Python、数据库、系统插件等全部打包在一起做成一个静态的“镜像”Image。到处运行只要你的电脑上安装了 Docker你就可以直接运行这个镜像它会变成一个独立的“容器”Container。无论是 Windows、Mac 还是 Linux 服务器运行效果完全一模一样。完全隔离每个容器都是独立的。你可以在电脑上同时运行 10 个不同版本的数据库它们绝不会发生冲突安全且干净。Docker 的三大核心概念核心概念本质定义形象比喻状态特征镜像 (Image)包含运行软件所需一切的只读模板。包括精简操作系统、环境配置、代码等。月饼模具或 建筑设计图纸静态的、死的东西。不能直接运行无法直接与之交互。容器 (Container)镜像的运行实例。在镜像上加了一个“可写层”是真正跑起来的程序。压出来的月饼或 照着图纸盖好的房子动态的、活的。可启动、停止、删除。容器间彼此独立修改容器不影响镜像。镜像仓库 (Registry)存放和分享各类镜像的集中营。手机 App Store或 模具批发市场托管服务。可以从中拉取Pull别人做好的镜像或推送Push自己的镜像。知名仓库Docker Hub是全球最大的官方公开仓库。国内常用的有阿里云、腾讯云等提供的镜像加速仓库。Docker 的运行底层与架构对比Docker 容器直接运行在宿主机也就是你的物理电脑或服务器的操作系统内核上它与传统的虚拟机有着本质的区别。❌ 传统虚拟机架构笨重、资源浪费如果你在 Windows 上通过 VMware 装了一个 Ubuntu 虚拟机它的层级是物理电脑➔Windows 系统➔VMware 软件➔虚拟出的硬件➔完整的 Ubuntu 操作系统含独立内核➔你的程序缺点哪怕你只想跑一个 10MB 的小程序你都要为它虚拟出一整套完整的操作系统白白浪费几个 GB 的内存和大量的 CPU 资源。启动它就像重新开一次机一样慢。✅ Docker 容器架构轻量、极致高效Docker 极其聪明它不虚拟任何硬件也不自带操作系统内核。它直接共享复用你物理电脑的操作系统内核物理电脑➔宿主机操作系统如 Linux➔Docker 引擎利用 Namespaces 隔离与 Cgroups 限制➔容器程序 零碎依赖优点Docker 只是在你的系统里“圈了一块地”来实现环境隔离不虚拟硬件不重写内核。因此容器启动只需要0.几秒且几乎不消耗额外的内存❓Windows / Mac 怎么用 Linux 内核当你安装 Docker Desktop桌面版时Docker 会在后台默默运行一个极其微型的 Linux 虚拟机只占用极少资源所有的容器其实都是在这个微型 Linux 上运行的以此实现跨平台。常用命令速览分类命令说明镜像相关docker images列出本地所有镜像docker pull 镜像名:标签从仓库拉取镜像标签默认 latestdocker push 镜像名:标签将镜像推送到远程仓库docker rmi 镜像ID或名称删除本地镜像docker build -t 名称:标签 路径根据 Dockerfile 构建镜像docker tag 源镜像 目标镜像给镜像打标签容器相关docker ps列出运行中的容器加-a查看所有docker run 镜像名创建并启动容器常用参数-d后台-p端口映射-v挂载卷--name命名docker start/stop/restart 容器名启动/停止/重启容器docker rm 容器名删除容器加-f强制删除运行中的docker exec -it 容器名 命令在运行中的容器内执行命令如bashdocker logs 容器名查看容器日志加-f实时跟踪docker inspect 容器名或镜像名查看容器/镜像的详细信息JSON 格式仓库相关docker login登录到 Docker Hub 或私有仓库docker logout退出登录docker search 关键词在 Docker Hub 上搜索镜像系统/清理docker version显示 Docker 版本信息docker info显示 Docker 系统信息docker system prune清理未使用的容器、网络、镜像加-a更彻底docker container prune删除所有停止的容器docker image prune删除未使用的镜像卷与网络docker volume ls列出所有卷docker network ls列出所有网络docker network create 名称创建自定义网络组合命令docker-compose up -d后台启动 docker-compose.yml 定义的服务docker-compose down停止并删除服务相关的容器、网络加-v删除卷docker-compose logs -f查看组合日志 提示大部分命令可通过--help查看详细参数例如docker run --help。 完整运转流程从一行命令到应用上线当我们输入一行运行命令时Docker 底层是如何将上述概念串联起来的【 用户输入命令docker run nginx 】 │ ▼ 【1. 本地检查 】 ┌─────────────┴─────────────┐(否)(是)硬盘里有 Nginx 镜像吗 │ │ ▼ ▼ 【2. 仓库拉取 】 【3. 实例化容器 】 从 Docker Hub 下载 以镜像为模具在内存中 Nginx 镜像到本地 ────────瞬间“啪”地捏出一个容器 │ ▼ 【4. 应用成功运行 】 网站服务秒级上线2.Ollama本地大模型的“一键运行器”Ollama 是什么如果说前面介绍的 Docker 是“跑任何应用的集装箱”那Ollama 就是专门为大语言模型LLM打造的“一键运行器”。Ollama 是一款开源的本地大语言模型部署工具旨在简化 LLM 的运行和管理。通过简单的命令行操作你就能在自己的电脑上运行 Llama 3、Qwen通义千问、Mistral、DeepSeek 等主流开源大模型无需复杂的环境配置。它支持 Windows、macOS 和 Linux 跨平台运行安装后通过 Ollama 内置的 REST API 就能轻松接入其他应用。为什么选择 Ollama—— 核心优势对于想要在本地尝试大模型的开发者来说Ollama 相比传统部署方式有明显优势优势说明开箱即用无需手动配置 Python 环境、CUDA 或 PyTorch 等深度学习框架Ollama 内置了所有运行依赖零代码部署通过单行命令即可完成模型的下载与运行真正实现“一行命令跑 LLM”资源友好最低仅需 4GB 内存即可运行基础模型普通笔记本也能流畅体验隐私安全所有计算均在本地完成数据无需上传云端适合处理敏感信息离线可用下载好模型后拔掉网线也能和 AI 聊天API 集成提供标准 REST API 接口默认端口11434可像调用云端 API 一样快速接入 Dify 等应用安装指南全平台操作系统安装方式Windows访问 ollama.com 下载安装包.msi双击运行确保勾选“添加到 PATH”macOS访问官网下载 .zip 文件解压后将 Ollama 拖入“应用程序”文件夹双击运行Linux执行一键安装脚本curl -fsSL https://ollama.com/install.sh安装完成后打开终端Windows 用 CMD 或 PowerShell执行以下命令验证ollama--version若能正常输出版本号如ollama version 0.1.15说明安装成功。Ollama 常用命令表格分类命令说明模型操作ollama pull 模型名从仓库拉取模型到本地如ollama pull llama3ollama run 模型名运行模型自动下载若本地无并进入交互式对话ollama list或ollama ls列出本地已下载的所有模型ollama ps查看当前正在运行的模型ollama show 模型名显示模型的详细信息参数、模板等ollama cp 源模型 目标模型复制模型可用于基于原模型创建自定义版本ollama rm 模型名删除本地模型释放磁盘空间服务管理ollama serve启动 Ollama API 服务后台运行监听11434端口ollama stop 模型名停止正在运行的模型自定义模型ollama create 模型名 -f 配置文件通过 Modelfile 创建自定义模型ollama push 模型名将自己创建的模型推送到仓库辅助命令ollama --version显示 Ollama 版本信息ollama --help显示所有命令的帮助信息首次运行提示当你第一次执行ollama run llama3时系统会自动下载模型文件大小通常 3-15GB下载进度条走完后即可进入交互对话。你也可以在 Ollama 官方模型库 查看所有可用模型。二本地接入和API接入在配置完Docker之后我们就可以通过http://localhost/apps在浏览器中看到Dify了。但是现在我们还没有接入大模型所以在设置里面需要手动配置模型供应商。1.本地部署我们下载的Ollama 负责在本地“跑起”大模型Dify 负责“用好”大模型。在Ollama中已经下载了一个大模型通常选择较小的模型比较好。如下图在右下角选择模型之后在聊天框中输入第一次对话就会自动下载或者在命令窗口执行 Ollama run 模型名第一次也会自动下载在模型供应商中下载Ollama并在弹窗中填入模型名称和URL模型名称你在 Ollama 中实际下载并运行的模型精确名称。模型类型点击下拉菜单根据你这个模型的用途进行选择。如果是普通的聊天、对话、推理模型如 Llama, Qwen, DeepSeek选LLM凭据名称给这个连接起一个辨识用的别名。基础 URL你的部署场景推荐填写的基础 URL同机直接运行Dify 和 Ollama 都直接在系统运行未使用 Dockerhttp://localhost:11434或http://127.0.0.1:11434Docker 部署 DifyOllama 安装在Windows / Mac宿主机上http://host.docker.internal:11434Docker 部署 DifyOllama 安装在Linux宿主机上http://172.17.0.1:11434跨设备/局域网访问Ollama 在另一台电脑或服务器上http://Ollama服务器的局域网IP:11434例如http://192.168.31.50:11434上下文长度该模型单次对话能处理的最大 Token 数量。配置好后就可以在dify中创建一个空白应用来测试了2.接入API大模型在阿里云百炼中大部分模型都有免费额度我们可以创建一个API key并像上面下载Ollama那样下载通义的供应商。其它都一样API key就填我们复制的那个。自此我们已经在本地部署了Dify并且学会了如何通过本地和API接入大模型。接下来我们就要了解【 提示词和知识库】学习如何通过它们来让ai生成的回答更加准确。
【Dify】环境配置和接入大模型
发布时间：2026/5/16 15:01:16
文章目录一、 环境配置概述1. Docker大名鼎鼎的“集装箱”技术 它的三大核心特性Docker 的三大核心概念Docker 的运行底层与架构对比❌ 传统虚拟机架构笨重、资源浪费✅ Docker 容器架构轻量、极致高效常用命令速览 完整运转流程从一行命令到应用上线2.Ollama本地大模型的“一键运行器”Ollama 是什么为什么选择 Ollama—— 核心优势安装指南全平台Ollama 常用命令表格二本地接入和API接入1.本地部署2.接入API大模型Dify 是一个非常强大且流行的开源大语言模型LLM应用开发平台通常被称为LLMOps 平台。其核心目的在于让开发者甚至是不懂代码的业务人员能够以极快的速度把复杂的 AI 模型变成真正可落地的应用程序。一、 环境配置概述具体的安装步骤可以参考官方文档或网络教程。本章节重点在于帮助你理清为了运行 Dify我们下载的这些核心组件到底是在帮我们做什么1. Docker大名鼎鼎的“集装箱”技术Docker 是一个应用容器引擎它的核心作用是解决“在我的电脑上运行得好好的为什么到你的电脑上就报错”的环境不一致问题。 它的三大核心特性打包一切它把一个软件以及运行这个软件所需的全部依赖比如特定版本的 Python、数据库、系统插件等全部打包在一起做成一个静态的“镜像”Image。到处运行只要你的电脑上安装了 Docker你就可以直接运行这个镜像它会变成一个独立的“容器”Container。无论是 Windows、Mac 还是 Linux 服务器运行效果完全一模一样。完全隔离每个容器都是独立的。你可以在电脑上同时运行 10 个不同版本的数据库它们绝不会发生冲突安全且干净。Docker 的三大核心概念核心概念本质定义形象比喻状态特征镜像 (Image)包含运行软件所需一切的只读模板。包括精简操作系统、环境配置、代码等。月饼模具或 建筑设计图纸静态的、死的东西。不能直接运行无法直接与之交互。容器 (Container)镜像的运行实例。在镜像上加了一个“可写层”是真正跑起来的程序。压出来的月饼或 照着图纸盖好的房子动态的、活的。可启动、停止、删除。容器间彼此独立修改容器不影响镜像。镜像仓库 (Registry)存放和分享各类镜像的集中营。手机 App Store或 模具批发市场托管服务。可以从中拉取Pull别人做好的镜像或推送Push自己的镜像。知名仓库Docker Hub是全球最大的官方公开仓库。国内常用的有阿里云、腾讯云等提供的镜像加速仓库。Docker 的运行底层与架构对比Docker 容器直接运行在宿主机也就是你的物理电脑或服务器的操作系统内核上它与传统的虚拟机有着本质的区别。❌ 传统虚拟机架构笨重、资源浪费如果你在 Windows 上通过 VMware 装了一个 Ubuntu 虚拟机它的层级是物理电脑➔Windows 系统➔VMware 软件➔虚拟出的硬件➔完整的 Ubuntu 操作系统含独立内核➔你的程序缺点哪怕你只想跑一个 10MB 的小程序你都要为它虚拟出一整套完整的操作系统白白浪费几个 GB 的内存和大量的 CPU 资源。启动它就像重新开一次机一样慢。✅ Docker 容器架构轻量、极致高效Docker 极其聪明它不虚拟任何硬件也不自带操作系统内核。它直接共享复用你物理电脑的操作系统内核物理电脑➔宿主机操作系统如 Linux➔Docker 引擎利用 Namespaces 隔离与 Cgroups 限制➔容器程序 零碎依赖优点Docker 只是在你的系统里“圈了一块地”来实现环境隔离不虚拟硬件不重写内核。因此容器启动只需要0.几秒且几乎不消耗额外的内存❓Windows / Mac 怎么用 Linux 内核当你安装 Docker Desktop桌面版时Docker 会在后台默默运行一个极其微型的 Linux 虚拟机只占用极少资源所有的容器其实都是在这个微型 Linux 上运行的以此实现跨平台。常用命令速览分类命令说明镜像相关docker images列出本地所有镜像docker pull 镜像名:标签从仓库拉取镜像标签默认 latestdocker push 镜像名:标签将镜像推送到远程仓库docker rmi 镜像ID或名称删除本地镜像docker build -t 名称:标签 路径根据 Dockerfile 构建镜像docker tag 源镜像 目标镜像给镜像打标签容器相关docker ps列出运行中的容器加-a查看所有docker run 镜像名创建并启动容器常用参数-d后台-p端口映射-v挂载卷--name命名docker start/stop/restart 容器名启动/停止/重启容器docker rm 容器名删除容器加-f强制删除运行中的docker exec -it 容器名 命令在运行中的容器内执行命令如bashdocker logs 容器名查看容器日志加-f实时跟踪docker inspect 容器名或镜像名查看容器/镜像的详细信息JSON 格式仓库相关docker login登录到 Docker Hub 或私有仓库docker logout退出登录docker search 关键词在 Docker Hub 上搜索镜像系统/清理docker version显示 Docker 版本信息docker info显示 Docker 系统信息docker system prune清理未使用的容器、网络、镜像加-a更彻底docker container prune删除所有停止的容器docker image prune删除未使用的镜像卷与网络docker volume ls列出所有卷docker network ls列出所有网络docker network create 名称创建自定义网络组合命令docker-compose up -d后台启动 docker-compose.yml 定义的服务docker-compose down停止并删除服务相关的容器、网络加-v删除卷docker-compose logs -f查看组合日志 提示大部分命令可通过--help查看详细参数例如docker run --help。 完整运转流程从一行命令到应用上线当我们输入一行运行命令时Docker 底层是如何将上述概念串联起来的【 用户输入命令docker run nginx 】 │ ▼ 【1. 本地检查 】 ┌─────────────┴─────────────┐(否)(是)硬盘里有 Nginx 镜像吗 │ │ ▼ ▼ 【2. 仓库拉取 】 【3. 实例化容器 】 从 Docker Hub 下载 以镜像为模具在内存中 Nginx 镜像到本地 ────────瞬间“啪”地捏出一个容器 │ ▼ 【4. 应用成功运行 】 网站服务秒级上线2.Ollama本地大模型的“一键运行器”Ollama 是什么如果说前面介绍的 Docker 是“跑任何应用的集装箱”那Ollama 就是专门为大语言模型LLM打造的“一键运行器”。Ollama 是一款开源的本地大语言模型部署工具旨在简化 LLM 的运行和管理。通过简单的命令行操作你就能在自己的电脑上运行 Llama 3、Qwen通义千问、Mistral、DeepSeek 等主流开源大模型无需复杂的环境配置。它支持 Windows、macOS 和 Linux 跨平台运行安装后通过 Ollama 内置的 REST API 就能轻松接入其他应用。为什么选择 Ollama—— 核心优势对于想要在本地尝试大模型的开发者来说Ollama 相比传统部署方式有明显优势优势说明开箱即用无需手动配置 Python 环境、CUDA 或 PyTorch 等深度学习框架Ollama 内置了所有运行依赖零代码部署通过单行命令即可完成模型的下载与运行真正实现“一行命令跑 LLM”资源友好最低仅需 4GB 内存即可运行基础模型普通笔记本也能流畅体验隐私安全所有计算均在本地完成数据无需上传云端适合处理敏感信息离线可用下载好模型后拔掉网线也能和 AI 聊天API 集成提供标准 REST API 接口默认端口11434可像调用云端 API 一样快速接入 Dify 等应用安装指南全平台操作系统安装方式Windows访问 ollama.com 下载安装包.msi双击运行确保勾选“添加到 PATH”macOS访问官网下载 .zip 文件解压后将 Ollama 拖入“应用程序”文件夹双击运行Linux执行一键安装脚本curl -fsSL https://ollama.com/install.sh安装完成后打开终端Windows 用 CMD 或 PowerShell执行以下命令验证ollama--version若能正常输出版本号如ollama version 0.1.15说明安装成功。Ollama 常用命令表格分类命令说明模型操作ollama pull 模型名从仓库拉取模型到本地如ollama pull llama3ollama run 模型名运行模型自动下载若本地无并进入交互式对话ollama list或ollama ls列出本地已下载的所有模型ollama ps查看当前正在运行的模型ollama show 模型名显示模型的详细信息参数、模板等ollama cp 源模型 目标模型复制模型可用于基于原模型创建自定义版本ollama rm 模型名删除本地模型释放磁盘空间服务管理ollama serve启动 Ollama API 服务后台运行监听11434端口ollama stop 模型名停止正在运行的模型自定义模型ollama create 模型名 -f 配置文件通过 Modelfile 创建自定义模型ollama push 模型名将自己创建的模型推送到仓库辅助命令ollama --version显示 Ollama 版本信息ollama --help显示所有命令的帮助信息首次运行提示当你第一次执行ollama run llama3时系统会自动下载模型文件大小通常 3-15GB下载进度条走完后即可进入交互对话。你也可以在 Ollama 官方模型库 查看所有可用模型。二本地接入和API接入在配置完Docker之后我们就可以通过http://localhost/apps在浏览器中看到Dify了。但是现在我们还没有接入大模型所以在设置里面需要手动配置模型供应商。1.本地部署我们下载的Ollama 负责在本地“跑起”大模型Dify 负责“用好”大模型。在Ollama中已经下载了一个大模型通常选择较小的模型比较好。如下图在右下角选择模型之后在聊天框中输入第一次对话就会自动下载或者在命令窗口执行 Ollama run 模型名第一次也会自动下载在模型供应商中下载Ollama并在弹窗中填入模型名称和URL模型名称你在 Ollama 中实际下载并运行的模型精确名称。模型类型点击下拉菜单根据你这个模型的用途进行选择。如果是普通的聊天、对话、推理模型如 Llama, Qwen, DeepSeek选LLM凭据名称给这个连接起一个辨识用的别名。基础 URL你的部署场景推荐填写的基础 URL同机直接运行Dify 和 Ollama 都直接在系统运行未使用 Dockerhttp://localhost:11434或http://127.0.0.1:11434Docker 部署 DifyOllama 安装在Windows / Mac宿主机上http://host.docker.internal:11434Docker 部署 DifyOllama 安装在Linux宿主机上http://172.17.0.1:11434跨设备/局域网访问Ollama 在另一台电脑或服务器上http://Ollama服务器的局域网IP:11434例如http://192.168.31.50:11434上下文长度该模型单次对话能处理的最大 Token 数量。配置好后就可以在dify中创建一个空白应用来测试了2.接入API大模型在阿里云百炼中大部分模型都有免费额度我们可以创建一个API key并像上面下载Ollama那样下载通义的供应商。其它都一样API key就填我们复制的那个。自此我们已经在本地部署了Dify并且学会了如何通过本地和API接入大模型。接下来我们就要了解【 提示词和知识库】学习如何通过它们来让ai生成的回答更加准确。
