30款热门AI模型一站整合DeepSeek/GLM/Qwen 随心用限时 5 折。 点击领海量免费额度对于喜欢在本地部署和运行大语言模型LLM的开发者来说Ollama 无疑是一个神器它让我们能够轻松地在个人电脑上体验各种开源模型。然而Ollama 自带的命令行交互方式对于习惯了 ChatGPT 那样直观、功能丰富的 Web 界面的用户来说体验上总有些割裂感。你是否也想过如果能给本地的 Ollama 模型套上一个媲美 ChatGPT 的现代化界面支持对话历史、文件上传、多模型切换甚至完全离线运行那该多好今天要介绍的Open WebUI正是为此而生。它是一个功能强大、可扩展、且完全自托管的 AI 平台专为离线环境设计能与 Ollama 无缝集成。简单来说它就是你本地 LLM 的“ChatGPT 级”前端。无论你是想搭建一个私人的 AI 助手还是需要一个团队内部的知识问答平台Open WebUI 都能提供企业级的界面和功能而所有数据都牢牢掌握在你自己的手中。本文将带你从零开始完整部署一套基于 Docker 的 Open WebUI Ollama 环境涵盖从基础安装、模型加载、界面使用到高级功能配置和常见问题排查的全流程。即使你是 Docker 新手也能跟着步骤一步步搭建成功。1. 核心概念与工具栈解析在开始动手之前我们有必要厘清几个核心概念和它们之间的关系这有助于理解整个系统的架构。1.1 什么是 OllamaOllama是一个用于在本地运行、管理和服务大型语言模型LLM的开源工具。它将模型权重、配置和数据打包成一个统一的“Modelfile”格式使得下载和运行像 Llama 3、Mistral、Gemma 等热门开源模型变得异常简单。你只需要一条命令ollama run llama3它就会自动处理剩下的所有事情。Ollama 本身提供了一个简单的 REST API默认在127.0.0.1:11434供其他应用程序调用。核心价值简化了本地 LLM 的部署和运行门槛是“本地 LLM 党”的基石工具。1.2 什么是 Open WebUIOpen WebUI(原名 Ollama WebUI) 是一个专为 AI 模型设计的、功能丰富的自托管 Web 用户界面。它的设计目标就是成为像 ChatGPT 那样友好且强大的前端但后端可以连接你自己的模型服务如 Ollama。你可以把它理解为一个“浏览器壳”它通过调用 Ollama 的 API 来与模型交互并将结果以美观的聊天界面呈现出来。它绝不仅仅是一个简单的聊天框其功能之丰富远超想象多模型对话同时与多个模型聊天比较它们的回答。完整的 Markdown LaTeX 渲染代码高亮、数学公式完美显示。本地 RAG检索增强生成上传文档PDF、Word、TXT等构建知识库让模型基于你的文档回答问题。语音/视频通话集成支持语音输入和输出。图像生成与编辑集成 DALL·E、ComfyUI 等图像生成引擎。插件系统通过插件扩展功能。用户管理与权限控制支持多用户、角色和权限管理。完全离线所有数据对话、文件、向量数据库均可存储在本地无需连接外部网络。核心价值为本地 LLM 提供了一个生产级、可定制、功能全面的用户交互界面。1.3 二者如何协同工作整个系统的架构非常清晰Ollama作为模型推理后端负责加载模型、进行文本生成等核心计算任务。Open WebUI作为交互前端与业务逻辑层提供 Web 界面处理用户请求调用 Ollama 的 API并管理对话历史、文件、插件等高级功能。用户通过浏览器访问 Open WebUI 的界面如http://localhost:3000所有操作都经由 Open WebUI 转发给后端的 Ollama 服务。这种前后端分离的架构使得两者可以独立更新和扩展非常灵活。2. 环境准备与安装规划我们将使用Docker来部署 Open WebUI这是官方推荐且最便捷的方式能有效避免复杂的 Python 环境依赖问题。Ollama 的安装则根据你的操作系统选择。2.1 系统与环境要求操作系统Windows 10/11, macOS, 或 Linux (如 Ubuntu 22.04)。Docker必须安装 Docker Engine 或 Docker Desktop。这是运行 Open WebUI 容器的前提。Ollama需要单独安装。我们将演示最常见的安装方式。硬件CPU现代多核处理器。内存至少 8GB运行 7B 参数模型建议 16GB 以上。存储至少 10GB 可用空间用于存放模型。GPU可选但强烈推荐NVIDIA GPU 可以极大加速推理。需要安装 NVIDIA 容器工具包nvidia-container-toolkit。2.2 安装 Docker如果你还没有安装 Docker请根据你的操作系统参考以下官方指南进行安装Windows / macOS: 下载并安装 Docker Desktop 。Linux (Ubuntu/Debian):# 卸载旧版本 sudo apt-get remove docker docker-engine docker.io containerd runc # 更新 apt 包索引并安装依赖 sudo apt-get update sudo apt-get install ca-certificates curl gnupg # 添加 Docker 官方 GPG 密钥 sudo install -m 0755 -d /etc/apt/keyrings curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg sudo chmod ar /etc/apt/keyrings/docker.gpg # 设置稳定版仓库 echo \ deb [arch$(dpkg --print-architecture) signed-by/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu \ $(. /etc/os-release echo $VERSION_CODENAME) stable | \ sudo tee /etc/apt/sources.list.d/docker.list /dev/null # 安装 Docker Engine sudo apt-get update sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin # 将当前用户加入 docker 组避免每次使用 sudo sudo usermod -aG docker $USER # 注销并重新登录使组更改生效安装完成后运行docker --version和docker run hello-world验证安装。2.3 安装 OllamaOllama 的安装非常简单几乎是一键完成。Linux/macOS:curl -fsSL https://ollama.com/install.sh | shWindows: 直接从 Ollama 官网 下载安装程序并运行。安装完成后打开终端或 PowerShell运行ollama --version检查是否安装成功。然后你可以先拉取一个模型试试水例如一个较小的模型ollama pull llama3.2:1b拉取完成后运行ollama run llama3.2:1b即可在命令行与模型对话。按CtrlD退出。重要提示首次拉取模型可能会比较慢尤其是从国内网络访问。你可以考虑配置镜像源来加速。在终端中设置环境变量Linux/macOSexport OLLAMA_HOST0.0.0.0 # 可选让 Ollama 监听所有网络接口 # 对于下载慢的问题可以尝试寻找可用的镜像源但请注意安全性。3. 部署 Open WebUI (Docker 方式)有了 Docker 和 Ollama我们现在来部署 Open WebUI。官方提供了多个 Docker 镜像标签我们将根据最常见的使用场景进行选择。3.1 场景一Ollama 与 Open WebUI 分别运行推荐这是最灵活、最清晰的部署方式。Ollama 作为一个独立服务运行在主机上Open WebUI 容器通过网络连接到它。优势Ollama 和 Open WebUI 可以独立管理、重启和升级。Ollama 的模型文件存储在主机上易于备份和管理。确保 Ollama 服务正在运行。 在终端执行ollama serve或直接运行一次ollama run命令Ollama 服务会自动在后台启动。默认监听127.0.0.1:11434。运行 Open WebUI 容器。 打开一个新的终端窗口执行以下 Docker 命令docker run -d \ -p 3000:8080 \ --add-hosthost.docker.internal:host-gateway \ -v open-webui:/app/backend/data \ --name open-webui \ --restart always \ ghcr.io/open-webui/open-webui:main命令参数详解-d: 后台运行容器。-p 3000:8080: 将主机的 3000 端口映射到容器的 8080 端口Open WebUI 服务端口。你可以在浏览器通过http://localhost:3000访问。--add-hosthost.docker.internal:host-gateway: 这是一个关键参数。它在容器内添加了一个主机名host.docker.internal并将其解析到宿主机的网关地址。这样容器内的 Open WebUI 就能通过http://host.docker.internal:11434访问到主机上运行的 Ollama 服务。-v open-webui:/app/backend/data: 将名为open-webui的 Docker 卷挂载到容器的/app/backend/data路径。这是必须的用于持久化存储 Open WebUI 的数据库、用户数据、上传的文件等。如果没有这个卷容器重启后所有数据都会丢失。--name open-webui: 为容器指定一个名称方便管理。--restart always: 设置容器总是自动重启例如系统重启后。ghcr.io/open-webui/open-webui:main: 使用的 Docker 镜像地址和标签。main标签代表稳定版。验证部署。 运行命令后使用docker ps查看容器是否正常运行。稍等片刻在浏览器中打开http://localhost:3000。 首次访问会进入注册页面创建一个管理员账户。登录后Open WebUI 会自动尝试连接http://host.docker.internal:11434的 Ollama。如果连接成功你会在界面左下角看到 Ollama 的状态为 “Connected”。3.2 场景二Ollama 运行在另一台服务器如果你的 Ollama 服务运行在另一台机器例如一台性能更强的 Linux 服务器上部署命令需要稍作调整。假设 Ollama 服务器的 IP 是192.168.1.100则运行 Open WebUI 的命令如下docker run -d \ -p 3000:8080 \ -e OLLAMA_BASE_URLhttp://192.168.1.100:11434 \ -v open-webui:/app/backend/data \ --name open-webui \ --restart always \ ghcr.io/open-webui/open-webui:main关键变化是使用了-e OLLAMA_BASE_URL环境变量直接指定了远端 Ollama 服务的完整地址。注意请确保 Ollama 服务器防火墙开放了 11434 端口并且 Ollama 服务监听地址包含该服务器的 IP默认只监听127.0.0.1。你可能需要在启动 Ollama 时设置OLLAMA_HOST0.0.0.0。3.3 场景三使用捆绑 Ollama 的镜像All-in-One对于想要最简化部署的用户Open WebUI 提供了:ollama标签的镜像它将 Open WebUI 和 Ollama 打包在同一个容器中。优势一条命令搞定所有适合快速体验。劣势Ollama 和 Open WebUI 生命周期绑定升级或管理稍显不便模型文件也存储在容器卷内。CPU 版本:docker run -d \ -p 3000:8080 \ -v ollama:/root/.ollama \ -v open-webui:/app/backend/data \ --name open-webui \ --restart always \ ghcr.io/open-webui/open-webui:ollamaGPU 支持版本需要 NVIDIA 容器工具包:docker run -d \ -p 3000:8080 \ --gpusall \ -v ollama:/root/.ollama \ -v open-webui:/app/backend/data \ --name open-webui \ --restart always \ ghcr.io/open-webui/open-webui:ollama使用此镜像后访问http://localhost:3000Open WebUI 会自动使用容器内的 Ollama 服务。4. Open WebUI 核心功能实战指南成功部署并登录后你将看到一个非常现代化的聊天界面。我们来探索一下它的核心功能。4.1 基础聊天与模型管理选择模型在聊天输入框上方或侧边栏你可以看到当前可用的模型列表。这取决于你的 Ollama 中拉取了哪些模型。点击模型名称可以切换。开始对话直接在输入框打字按Enter或点击发送按钮。模型回复会以流式传输的方式显示支持完整的 Markdown 渲染。对话历史左侧边栏会保存所有的对话会话你可以随时点击回溯。拉取新模型如果列表里没有你想要的模型你可以直接在 Open WebUI 中拉取。点击模型选择下拉框输入模型名称如qwen2.5:7bOpen WebUI 会调用 Ollama 的 API 在后台进行拉取。你也可以在主机终端用ollama pull命令拉取。4.2 本地 RAG基于文档的智能问答这是 Open WebUI 的杀手级功能之一。你可以上传本地文档让它成为模型的“知识库”。创建知识库点击左侧导航栏的知识库(Knowledge Base) 图标。点击 新建知识库输入一个名称如My-Docs。在知识库设置中选择向量数据库首次使用会默认创建 SQLite 向量库和文本分割策略。上传文档进入你创建的知识库。点击上传文档支持 PDF, DOCX, TXT, PPTX, Markdown 等多种格式。上传后Open WebUI 会自动在后台进行文本提取、分块、向量化并存入向量数据库。在聊天中使用知识库新建或进入一个聊天会话。在聊天输入框上方找到并点击知识库按钮或使用#命令。选择你刚才创建的知识库如My-Docs。现在你的提问将首先从知识库中检索相关片段并将这些片段作为上下文提供给模型从而生成更精准、基于你文档内容的回答。4.3 插件与工具扩展Open WebUI 支持强大的插件系统可以为其添加新功能。浏览插件市场在设置Settings中找到插件(Plugins) 或市场(Marketplace) 选项。这里列出了可用的插件例如Web Search网络搜索、Calculator计算器等。安装与配置点击插件旁的“安装”按钮。安装后通常需要在插件的设置页面配置必要的 API 密钥或参数例如Web Search 需要配置 SearXNG 实例或 Serper API Key。在聊天中启用安装并配置好后在聊天界面你可以通过符号来调用特定的插件或工具。例如输入web_search然后提问模型就会在生成回答前先使用网络搜索插件获取最新信息。4.4 用户与权限管理如果你打算与团队共享使用Open WebUI 提供了完善的 RBAC基于角色的访问控制系统。创建用户以管理员身份登录进入设置-用户管理。分配角色可以创建不同的角色如admin,user,guest并为角色分配细粒度的权限例如能否创建知识库、能否安装插件、能否查看使用统计等。用户组可以将用户分组便于批量管理权限。4.5 系统设置与配置在设置中你可以进行多项重要配置Ollama 连接检查或修改 Ollama 服务器的地址 (OLLAMA_BASE_URL)。模型设置配置默认模型、上下文长度、温度等生成参数。外观切换明暗主题。文件存储配置上传文件的存储位置本地或 S3 等云存储。5. 高级配置与优化5.1 使用 GPU 加速如果你有 NVIDIA GPU 并已安装好驱动和nvidia-container-toolkit可以显著提升模型推理速度。对于分离部署场景场景一确保主机上的 Ollama 能使用 GPU。通常安装好 CUDA 和nvidia-container-toolkit后Ollama 会自动检测并使用 GPU。运行ollama run llama3时观察 GPU 占用率即可确认。Open WebUI 容器本身不负责推理所以无需为其配置 GPU。但如果你使用了图像生成等需要 GPU 的插件则可能需要。对于 All-in-One 部署场景场景三必须使用--gpusall参数来运行容器如前面命令所示这样容器内的 Ollama 才能访问到宿主机的 GPU。5.2 配置持久化与备份数据持久化至关重要我们已经通过-v参数挂载了卷。查看卷数据Docker 卷默认存储在 Docker 的存储目录。你可以使用docker volume inspect open-webui查看卷的具体位置以便进行备份。备份最简单的备份方式是直接备份整个 Docker 卷目录。或者定期导出 Open WebUI 内的对话历史如果支持。迁移在新机器上只需重新创建同名的 Docker 卷或使用--mount指定备份的目录然后运行相同的docker run命令数据就会恢复。5.3 使用 Docker Compose 管理对于更复杂的部署例如同时需要数据库、Redis等使用docker-compose.yml文件是更优雅的方式。创建一个docker-compose.yml文件version: 3.8 services: open-webui: image: ghcr.io/open-webui/open-webui:main container_name: open-webui ports: - 3000:8080 extra_hosts: - host.docker.internal:host-gateway volumes: - open-webui-data:/app/backend/data environment: # - OLLAMA_BASE_URLhttp://host.docker.internal:11434 # 默认即为此值 # - OPENAI_API_KEYsk-xxx # 如果你也需要连接 OpenAI restart: unless-stopped # 如果需要 GPU取消注释下面几行 # deploy: # resources: # reservations: # devices: # - driver: nvidia # count: all # capabilities: [gpu] volumes: open-webui-data:然后在文件所在目录运行docker-compose up -d即可启动。6. 常见问题与故障排查在部署和使用过程中你可能会遇到一些问题。以下是常见问题的排查思路。6.1 Open WebUI 无法连接 Ollama这是最常见的问题通常表现为 Open WebUI 界面左下角显示 “Disconnected” 或连接错误。问题现象可能原因排查与解决思路连接失败提示Connection refused或超时1. Ollama 服务未运行。2. Docker 容器网络配置错误无法访问主机服务。3. Ollama 未监听正确的主机地址。1. 在主机运行ollama serve或ollama run确保服务启动。用curl http://127.0.0.1:11434/api/tags测试 API 是否可达。2. 确保 Docker 命令中包含--add-hosthost.docker.internal:host-gateway。在容器内执行docker exec open-webui curl http://host.docker.internal:11434/api/tags测试连通性。3. 检查 Ollama 的环境变量OLLAMA_HOST。对于 Docker 网络可能需要设置为0.0.0.0。修改~/.ollama/ollama环境文件或启动时指定。连接成功但模型列表为空1. Ollama 中没有拉取任何模型。2. Open WebUI 缓存问题。1. 在主机终端运行ollama list确认已有模型。如果没有运行ollama pull llama3.2:3b拉取一个。2. 在 Open WebUI 设置中尝试“重新扫描模型”或刷新页面。终极解决方案Linux 特有如果上述--add-host方法无效可以尝试使用 Docker 的host网络模式让容器与主机共享网络命名空间。docker run -d \ --networkhost \ -v open-webui:/app/backend/data \ -e OLLAMA_BASE_URLhttp://127.0.0.1:11434 \ --name open-webui \ --restart always \ ghcr.io/open-webui/open-webui:main注意使用--networkhost后端口映射-p参数失效Open WebUI 将直接使用主机的 8080 端口访问地址变为http://localhost:8080。6.2 模型加载或响应速度慢检查硬件资源使用htop、nvidia-smi等工具查看 CPU、内存、GPU 使用率。模型推理是计算密集型任务资源不足会导致卡顿。选择合适的模型如果你的硬件配置一般如只有 8GB 内存不要尝试运行 70B 参数的大模型。从 3B、7B 参数的模型开始。使用量化模型Ollama 拉取的模型通常是经过量化的如q4_K_M这能在几乎不损失太多精度的情况下大幅降低内存占用和提升速度。例如llama3.2:3b默认就是量化版本。确认 GPU 是否启用运行ollama run llama3.2时观察任务管理器或nvidia-smi看 GPU 是否被调用。6.3 上传文件或创建知识库失败权限问题确保 Docker 卷有正确的写入权限。可以尝试在主机上检查卷挂载点的所有者。存储空间不足检查 Docker 卷所在磁盘的空间。文件格式不支持确认上传的文件格式在支持列表中。复杂的 PDF 或扫描件可能解析失败可以尝试转换为纯文本或简单的 PDF。6.4 如何更新 Open WebUI 和 Ollama更新 Open WebUI 容器# 停止并删除旧容器 docker stop open-webui docker rm open-webui # 拉取最新的镜像 docker pull ghcr.io/open-webui/open-webui:main # 用相同的命令重新运行容器数据卷会保留 docker run -d ... # 使用你最初的完整命令更新 Ollama根据你的安装方式在主机上运行更新命令。Linux/macOS:ollama --version会提示更新或重新运行安装脚本。Windows: 重新运行安装程序。7. 生产环境最佳实践与安全建议如果你计划将 Open WebUI 用于团队或小型生产环境以下几点至关重要强化安全修改默认端口不要使用3000等常见端口可以映射到8080或其他高位端口。设置强密码为管理员和用户账户设置复杂密码。启用 HTTPS使用反向代理如 Nginx, Caddy为 Open WebUI 配置 SSL/TLS 证书避免通信明文传输。防火墙规则仅允许可信 IP 地址访问 Open WebUI 和 Ollama 的服务端口。定期更新关注 Open WebUI 和 Ollama 的安全更新及时修补漏洞。数据管理定期备份卷制定计划定期备份 Docker 卷open-webui和 Ollama 的模型目录默认在~/.ollama。监控磁盘空间模型文件和向量数据库会占用大量空间需要监控磁盘使用情况。分离存储考虑将数据库如配置 PostgreSQL和文件存储如配置 S3从容器中分离出来提高可靠性和可扩展性。性能与资源资源限制为 Docker 容器设置 CPU 和内存限制防止单个服务耗尽主机资源。例如--cpus 2 --memory 4g。模型管理只拉取和加载必要的模型。不用的模型可以使用ollama rm model-name删除以释放空间。使用反向代理使用 Nginx 等反向代理可以提供负载均衡、缓存、压缩等功能提升并发访问能力。网络隔离为 Ollama 和 Open WebUI 创建专用的 Docker 自定义网络而不是使用默认的bridge可以增强网络隔离和安全性。docker network create ai-network # 运行 Ollama 容器如果也用 Docker 运行 # 运行 Open WebUI 容器时加入该网络并使用容器名作为主机名通信通过本文的详细讲解你应该已经能够成功在本地部署一套功能强大、完全离线的 ChatGPT 替代方案。Open WebUI 与 Ollama 的组合为开发者、研究者和隐私敏感用户提供了一个极其优秀的本地 AI 解决方案。从简单的对话到复杂的基于文档的 RAG 应用这套栈都能胜任。 30款热门AI模型一站整合DeepSeek/GLM/Qwen 随心用限时 5 折。 点击领海量免费额度
基于Docker部署Open WebUI与Ollama：打造本地ChatGPT级AI平台
发布时间：2026/7/6 11:46:18
30款热门AI模型一站整合DeepSeek/GLM/Qwen 随心用限时 5 折。 点击领海量免费额度对于喜欢在本地部署和运行大语言模型LLM的开发者来说Ollama 无疑是一个神器它让我们能够轻松地在个人电脑上体验各种开源模型。然而Ollama 自带的命令行交互方式对于习惯了 ChatGPT 那样直观、功能丰富的 Web 界面的用户来说体验上总有些割裂感。你是否也想过如果能给本地的 Ollama 模型套上一个媲美 ChatGPT 的现代化界面支持对话历史、文件上传、多模型切换甚至完全离线运行那该多好今天要介绍的Open WebUI正是为此而生。它是一个功能强大、可扩展、且完全自托管的 AI 平台专为离线环境设计能与 Ollama 无缝集成。简单来说它就是你本地 LLM 的“ChatGPT 级”前端。无论你是想搭建一个私人的 AI 助手还是需要一个团队内部的知识问答平台Open WebUI 都能提供企业级的界面和功能而所有数据都牢牢掌握在你自己的手中。本文将带你从零开始完整部署一套基于 Docker 的 Open WebUI Ollama 环境涵盖从基础安装、模型加载、界面使用到高级功能配置和常见问题排查的全流程。即使你是 Docker 新手也能跟着步骤一步步搭建成功。1. 核心概念与工具栈解析在开始动手之前我们有必要厘清几个核心概念和它们之间的关系这有助于理解整个系统的架构。1.1 什么是 OllamaOllama是一个用于在本地运行、管理和服务大型语言模型LLM的开源工具。它将模型权重、配置和数据打包成一个统一的“Modelfile”格式使得下载和运行像 Llama 3、Mistral、Gemma 等热门开源模型变得异常简单。你只需要一条命令ollama run llama3它就会自动处理剩下的所有事情。Ollama 本身提供了一个简单的 REST API默认在127.0.0.1:11434供其他应用程序调用。核心价值简化了本地 LLM 的部署和运行门槛是“本地 LLM 党”的基石工具。1.2 什么是 Open WebUIOpen WebUI(原名 Ollama WebUI) 是一个专为 AI 模型设计的、功能丰富的自托管 Web 用户界面。它的设计目标就是成为像 ChatGPT 那样友好且强大的前端但后端可以连接你自己的模型服务如 Ollama。你可以把它理解为一个“浏览器壳”它通过调用 Ollama 的 API 来与模型交互并将结果以美观的聊天界面呈现出来。它绝不仅仅是一个简单的聊天框其功能之丰富远超想象多模型对话同时与多个模型聊天比较它们的回答。完整的 Markdown LaTeX 渲染代码高亮、数学公式完美显示。本地 RAG检索增强生成上传文档PDF、Word、TXT等构建知识库让模型基于你的文档回答问题。语音/视频通话集成支持语音输入和输出。图像生成与编辑集成 DALL·E、ComfyUI 等图像生成引擎。插件系统通过插件扩展功能。用户管理与权限控制支持多用户、角色和权限管理。完全离线所有数据对话、文件、向量数据库均可存储在本地无需连接外部网络。核心价值为本地 LLM 提供了一个生产级、可定制、功能全面的用户交互界面。1.3 二者如何协同工作整个系统的架构非常清晰Ollama作为模型推理后端负责加载模型、进行文本生成等核心计算任务。Open WebUI作为交互前端与业务逻辑层提供 Web 界面处理用户请求调用 Ollama 的 API并管理对话历史、文件、插件等高级功能。用户通过浏览器访问 Open WebUI 的界面如http://localhost:3000所有操作都经由 Open WebUI 转发给后端的 Ollama 服务。这种前后端分离的架构使得两者可以独立更新和扩展非常灵活。2. 环境准备与安装规划我们将使用Docker来部署 Open WebUI这是官方推荐且最便捷的方式能有效避免复杂的 Python 环境依赖问题。Ollama 的安装则根据你的操作系统选择。2.1 系统与环境要求操作系统Windows 10/11, macOS, 或 Linux (如 Ubuntu 22.04)。Docker必须安装 Docker Engine 或 Docker Desktop。这是运行 Open WebUI 容器的前提。Ollama需要单独安装。我们将演示最常见的安装方式。硬件CPU现代多核处理器。内存至少 8GB运行 7B 参数模型建议 16GB 以上。存储至少 10GB 可用空间用于存放模型。GPU可选但强烈推荐NVIDIA GPU 可以极大加速推理。需要安装 NVIDIA 容器工具包nvidia-container-toolkit。2.2 安装 Docker如果你还没有安装 Docker请根据你的操作系统参考以下官方指南进行安装Windows / macOS: 下载并安装 Docker Desktop 。Linux (Ubuntu/Debian):# 卸载旧版本 sudo apt-get remove docker docker-engine docker.io containerd runc # 更新 apt 包索引并安装依赖 sudo apt-get update sudo apt-get install ca-certificates curl gnupg # 添加 Docker 官方 GPG 密钥 sudo install -m 0755 -d /etc/apt/keyrings curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg sudo chmod ar /etc/apt/keyrings/docker.gpg # 设置稳定版仓库 echo \ deb [arch$(dpkg --print-architecture) signed-by/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu \ $(. /etc/os-release echo $VERSION_CODENAME) stable | \ sudo tee /etc/apt/sources.list.d/docker.list /dev/null # 安装 Docker Engine sudo apt-get update sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin # 将当前用户加入 docker 组避免每次使用 sudo sudo usermod -aG docker $USER # 注销并重新登录使组更改生效安装完成后运行docker --version和docker run hello-world验证安装。2.3 安装 OllamaOllama 的安装非常简单几乎是一键完成。Linux/macOS:curl -fsSL https://ollama.com/install.sh | shWindows: 直接从 Ollama 官网 下载安装程序并运行。安装完成后打开终端或 PowerShell运行ollama --version检查是否安装成功。然后你可以先拉取一个模型试试水例如一个较小的模型ollama pull llama3.2:1b拉取完成后运行ollama run llama3.2:1b即可在命令行与模型对话。按CtrlD退出。重要提示首次拉取模型可能会比较慢尤其是从国内网络访问。你可以考虑配置镜像源来加速。在终端中设置环境变量Linux/macOSexport OLLAMA_HOST0.0.0.0 # 可选让 Ollama 监听所有网络接口 # 对于下载慢的问题可以尝试寻找可用的镜像源但请注意安全性。3. 部署 Open WebUI (Docker 方式)有了 Docker 和 Ollama我们现在来部署 Open WebUI。官方提供了多个 Docker 镜像标签我们将根据最常见的使用场景进行选择。3.1 场景一Ollama 与 Open WebUI 分别运行推荐这是最灵活、最清晰的部署方式。Ollama 作为一个独立服务运行在主机上Open WebUI 容器通过网络连接到它。优势Ollama 和 Open WebUI 可以独立管理、重启和升级。Ollama 的模型文件存储在主机上易于备份和管理。确保 Ollama 服务正在运行。 在终端执行ollama serve或直接运行一次ollama run命令Ollama 服务会自动在后台启动。默认监听127.0.0.1:11434。运行 Open WebUI 容器。 打开一个新的终端窗口执行以下 Docker 命令docker run -d \ -p 3000:8080 \ --add-hosthost.docker.internal:host-gateway \ -v open-webui:/app/backend/data \ --name open-webui \ --restart always \ ghcr.io/open-webui/open-webui:main命令参数详解-d: 后台运行容器。-p 3000:8080: 将主机的 3000 端口映射到容器的 8080 端口Open WebUI 服务端口。你可以在浏览器通过http://localhost:3000访问。--add-hosthost.docker.internal:host-gateway: 这是一个关键参数。它在容器内添加了一个主机名host.docker.internal并将其解析到宿主机的网关地址。这样容器内的 Open WebUI 就能通过http://host.docker.internal:11434访问到主机上运行的 Ollama 服务。-v open-webui:/app/backend/data: 将名为open-webui的 Docker 卷挂载到容器的/app/backend/data路径。这是必须的用于持久化存储 Open WebUI 的数据库、用户数据、上传的文件等。如果没有这个卷容器重启后所有数据都会丢失。--name open-webui: 为容器指定一个名称方便管理。--restart always: 设置容器总是自动重启例如系统重启后。ghcr.io/open-webui/open-webui:main: 使用的 Docker 镜像地址和标签。main标签代表稳定版。验证部署。 运行命令后使用docker ps查看容器是否正常运行。稍等片刻在浏览器中打开http://localhost:3000。 首次访问会进入注册页面创建一个管理员账户。登录后Open WebUI 会自动尝试连接http://host.docker.internal:11434的 Ollama。如果连接成功你会在界面左下角看到 Ollama 的状态为 “Connected”。3.2 场景二Ollama 运行在另一台服务器如果你的 Ollama 服务运行在另一台机器例如一台性能更强的 Linux 服务器上部署命令需要稍作调整。假设 Ollama 服务器的 IP 是192.168.1.100则运行 Open WebUI 的命令如下docker run -d \ -p 3000:8080 \ -e OLLAMA_BASE_URLhttp://192.168.1.100:11434 \ -v open-webui:/app/backend/data \ --name open-webui \ --restart always \ ghcr.io/open-webui/open-webui:main关键变化是使用了-e OLLAMA_BASE_URL环境变量直接指定了远端 Ollama 服务的完整地址。注意请确保 Ollama 服务器防火墙开放了 11434 端口并且 Ollama 服务监听地址包含该服务器的 IP默认只监听127.0.0.1。你可能需要在启动 Ollama 时设置OLLAMA_HOST0.0.0.0。3.3 场景三使用捆绑 Ollama 的镜像All-in-One对于想要最简化部署的用户Open WebUI 提供了:ollama标签的镜像它将 Open WebUI 和 Ollama 打包在同一个容器中。优势一条命令搞定所有适合快速体验。劣势Ollama 和 Open WebUI 生命周期绑定升级或管理稍显不便模型文件也存储在容器卷内。CPU 版本:docker run -d \ -p 3000:8080 \ -v ollama:/root/.ollama \ -v open-webui:/app/backend/data \ --name open-webui \ --restart always \ ghcr.io/open-webui/open-webui:ollamaGPU 支持版本需要 NVIDIA 容器工具包:docker run -d \ -p 3000:8080 \ --gpusall \ -v ollama:/root/.ollama \ -v open-webui:/app/backend/data \ --name open-webui \ --restart always \ ghcr.io/open-webui/open-webui:ollama使用此镜像后访问http://localhost:3000Open WebUI 会自动使用容器内的 Ollama 服务。4. Open WebUI 核心功能实战指南成功部署并登录后你将看到一个非常现代化的聊天界面。我们来探索一下它的核心功能。4.1 基础聊天与模型管理选择模型在聊天输入框上方或侧边栏你可以看到当前可用的模型列表。这取决于你的 Ollama 中拉取了哪些模型。点击模型名称可以切换。开始对话直接在输入框打字按Enter或点击发送按钮。模型回复会以流式传输的方式显示支持完整的 Markdown 渲染。对话历史左侧边栏会保存所有的对话会话你可以随时点击回溯。拉取新模型如果列表里没有你想要的模型你可以直接在 Open WebUI 中拉取。点击模型选择下拉框输入模型名称如qwen2.5:7bOpen WebUI 会调用 Ollama 的 API 在后台进行拉取。你也可以在主机终端用ollama pull命令拉取。4.2 本地 RAG基于文档的智能问答这是 Open WebUI 的杀手级功能之一。你可以上传本地文档让它成为模型的“知识库”。创建知识库点击左侧导航栏的知识库(Knowledge Base) 图标。点击 新建知识库输入一个名称如My-Docs。在知识库设置中选择向量数据库首次使用会默认创建 SQLite 向量库和文本分割策略。上传文档进入你创建的知识库。点击上传文档支持 PDF, DOCX, TXT, PPTX, Markdown 等多种格式。上传后Open WebUI 会自动在后台进行文本提取、分块、向量化并存入向量数据库。在聊天中使用知识库新建或进入一个聊天会话。在聊天输入框上方找到并点击知识库按钮或使用#命令。选择你刚才创建的知识库如My-Docs。现在你的提问将首先从知识库中检索相关片段并将这些片段作为上下文提供给模型从而生成更精准、基于你文档内容的回答。4.3 插件与工具扩展Open WebUI 支持强大的插件系统可以为其添加新功能。浏览插件市场在设置Settings中找到插件(Plugins) 或市场(Marketplace) 选项。这里列出了可用的插件例如Web Search网络搜索、Calculator计算器等。安装与配置点击插件旁的“安装”按钮。安装后通常需要在插件的设置页面配置必要的 API 密钥或参数例如Web Search 需要配置 SearXNG 实例或 Serper API Key。在聊天中启用安装并配置好后在聊天界面你可以通过符号来调用特定的插件或工具。例如输入web_search然后提问模型就会在生成回答前先使用网络搜索插件获取最新信息。4.4 用户与权限管理如果你打算与团队共享使用Open WebUI 提供了完善的 RBAC基于角色的访问控制系统。创建用户以管理员身份登录进入设置-用户管理。分配角色可以创建不同的角色如admin,user,guest并为角色分配细粒度的权限例如能否创建知识库、能否安装插件、能否查看使用统计等。用户组可以将用户分组便于批量管理权限。4.5 系统设置与配置在设置中你可以进行多项重要配置Ollama 连接检查或修改 Ollama 服务器的地址 (OLLAMA_BASE_URL)。模型设置配置默认模型、上下文长度、温度等生成参数。外观切换明暗主题。文件存储配置上传文件的存储位置本地或 S3 等云存储。5. 高级配置与优化5.1 使用 GPU 加速如果你有 NVIDIA GPU 并已安装好驱动和nvidia-container-toolkit可以显著提升模型推理速度。对于分离部署场景场景一确保主机上的 Ollama 能使用 GPU。通常安装好 CUDA 和nvidia-container-toolkit后Ollama 会自动检测并使用 GPU。运行ollama run llama3时观察 GPU 占用率即可确认。Open WebUI 容器本身不负责推理所以无需为其配置 GPU。但如果你使用了图像生成等需要 GPU 的插件则可能需要。对于 All-in-One 部署场景场景三必须使用--gpusall参数来运行容器如前面命令所示这样容器内的 Ollama 才能访问到宿主机的 GPU。5.2 配置持久化与备份数据持久化至关重要我们已经通过-v参数挂载了卷。查看卷数据Docker 卷默认存储在 Docker 的存储目录。你可以使用docker volume inspect open-webui查看卷的具体位置以便进行备份。备份最简单的备份方式是直接备份整个 Docker 卷目录。或者定期导出 Open WebUI 内的对话历史如果支持。迁移在新机器上只需重新创建同名的 Docker 卷或使用--mount指定备份的目录然后运行相同的docker run命令数据就会恢复。5.3 使用 Docker Compose 管理对于更复杂的部署例如同时需要数据库、Redis等使用docker-compose.yml文件是更优雅的方式。创建一个docker-compose.yml文件version: 3.8 services: open-webui: image: ghcr.io/open-webui/open-webui:main container_name: open-webui ports: - 3000:8080 extra_hosts: - host.docker.internal:host-gateway volumes: - open-webui-data:/app/backend/data environment: # - OLLAMA_BASE_URLhttp://host.docker.internal:11434 # 默认即为此值 # - OPENAI_API_KEYsk-xxx # 如果你也需要连接 OpenAI restart: unless-stopped # 如果需要 GPU取消注释下面几行 # deploy: # resources: # reservations: # devices: # - driver: nvidia # count: all # capabilities: [gpu] volumes: open-webui-data:然后在文件所在目录运行docker-compose up -d即可启动。6. 常见问题与故障排查在部署和使用过程中你可能会遇到一些问题。以下是常见问题的排查思路。6.1 Open WebUI 无法连接 Ollama这是最常见的问题通常表现为 Open WebUI 界面左下角显示 “Disconnected” 或连接错误。问题现象可能原因排查与解决思路连接失败提示Connection refused或超时1. Ollama 服务未运行。2. Docker 容器网络配置错误无法访问主机服务。3. Ollama 未监听正确的主机地址。1. 在主机运行ollama serve或ollama run确保服务启动。用curl http://127.0.0.1:11434/api/tags测试 API 是否可达。2. 确保 Docker 命令中包含--add-hosthost.docker.internal:host-gateway。在容器内执行docker exec open-webui curl http://host.docker.internal:11434/api/tags测试连通性。3. 检查 Ollama 的环境变量OLLAMA_HOST。对于 Docker 网络可能需要设置为0.0.0.0。修改~/.ollama/ollama环境文件或启动时指定。连接成功但模型列表为空1. Ollama 中没有拉取任何模型。2. Open WebUI 缓存问题。1. 在主机终端运行ollama list确认已有模型。如果没有运行ollama pull llama3.2:3b拉取一个。2. 在 Open WebUI 设置中尝试“重新扫描模型”或刷新页面。终极解决方案Linux 特有如果上述--add-host方法无效可以尝试使用 Docker 的host网络模式让容器与主机共享网络命名空间。docker run -d \ --networkhost \ -v open-webui:/app/backend/data \ -e OLLAMA_BASE_URLhttp://127.0.0.1:11434 \ --name open-webui \ --restart always \ ghcr.io/open-webui/open-webui:main注意使用--networkhost后端口映射-p参数失效Open WebUI 将直接使用主机的 8080 端口访问地址变为http://localhost:8080。6.2 模型加载或响应速度慢检查硬件资源使用htop、nvidia-smi等工具查看 CPU、内存、GPU 使用率。模型推理是计算密集型任务资源不足会导致卡顿。选择合适的模型如果你的硬件配置一般如只有 8GB 内存不要尝试运行 70B 参数的大模型。从 3B、7B 参数的模型开始。使用量化模型Ollama 拉取的模型通常是经过量化的如q4_K_M这能在几乎不损失太多精度的情况下大幅降低内存占用和提升速度。例如llama3.2:3b默认就是量化版本。确认 GPU 是否启用运行ollama run llama3.2时观察任务管理器或nvidia-smi看 GPU 是否被调用。6.3 上传文件或创建知识库失败权限问题确保 Docker 卷有正确的写入权限。可以尝试在主机上检查卷挂载点的所有者。存储空间不足检查 Docker 卷所在磁盘的空间。文件格式不支持确认上传的文件格式在支持列表中。复杂的 PDF 或扫描件可能解析失败可以尝试转换为纯文本或简单的 PDF。6.4 如何更新 Open WebUI 和 Ollama更新 Open WebUI 容器# 停止并删除旧容器 docker stop open-webui docker rm open-webui # 拉取最新的镜像 docker pull ghcr.io/open-webui/open-webui:main # 用相同的命令重新运行容器数据卷会保留 docker run -d ... # 使用你最初的完整命令更新 Ollama根据你的安装方式在主机上运行更新命令。Linux/macOS:ollama --version会提示更新或重新运行安装脚本。Windows: 重新运行安装程序。7. 生产环境最佳实践与安全建议如果你计划将 Open WebUI 用于团队或小型生产环境以下几点至关重要强化安全修改默认端口不要使用3000等常见端口可以映射到8080或其他高位端口。设置强密码为管理员和用户账户设置复杂密码。启用 HTTPS使用反向代理如 Nginx, Caddy为 Open WebUI 配置 SSL/TLS 证书避免通信明文传输。防火墙规则仅允许可信 IP 地址访问 Open WebUI 和 Ollama 的服务端口。定期更新关注 Open WebUI 和 Ollama 的安全更新及时修补漏洞。数据管理定期备份卷制定计划定期备份 Docker 卷open-webui和 Ollama 的模型目录默认在~/.ollama。监控磁盘空间模型文件和向量数据库会占用大量空间需要监控磁盘使用情况。分离存储考虑将数据库如配置 PostgreSQL和文件存储如配置 S3从容器中分离出来提高可靠性和可扩展性。性能与资源资源限制为 Docker 容器设置 CPU 和内存限制防止单个服务耗尽主机资源。例如--cpus 2 --memory 4g。模型管理只拉取和加载必要的模型。不用的模型可以使用ollama rm model-name删除以释放空间。使用反向代理使用 Nginx 等反向代理可以提供负载均衡、缓存、压缩等功能提升并发访问能力。网络隔离为 Ollama 和 Open WebUI 创建专用的 Docker 自定义网络而不是使用默认的bridge可以增强网络隔离和安全性。docker network create ai-network # 运行 Ollama 容器如果也用 Docker 运行 # 运行 Open WebUI 容器时加入该网络并使用容器名作为主机名通信通过本文的详细讲解你应该已经能够成功在本地部署一套功能强大、完全离线的 ChatGPT 替代方案。Open WebUI 与 Ollama 的组合为开发者、研究者和隐私敏感用户提供了一个极其优秀的本地 AI 解决方案。从简单的对话到复杂的基于文档的 RAG 应用这套栈都能胜任。 30款热门AI模型一站整合DeepSeek/GLM/Qwen 随心用限时 5 折。 点击领海量免费额度
