现在企业接入大模型很多时候都是选择本地化部署目的是进行扩展和强化检索例外一个目的是构建个性化模型防止企业内部数据外泄。所以很多时候选择本地化部署模型为基座再在基座上做应用开发比如智能助手辅助编程智能体等接入千问3.5为例本地部署千问大模型操作文档使用 Ollama 部署 Qwen3.5环境准备操作系统Windows 10/11, macOS, 或 Linux硬件建议入门版 (7B/8B)至少 8GB 内存纯CPU或 6GB 显存GPU。进阶版 (14B-32B)建议 16GB-32GB 内存或 12GB 显存如RTX 3060 12G/4060Ti 16G。高性能版如需运行更大参数版本需更高显存或使用多卡。安装Ollama访问官网下载对应系统的安装包下载地址https://ollama.com安装操作Windows: 下载 .exe 安装包双击运行安装完成后会自动在后台运行。Mac: 下载 .dmg 文件拖入应用程序文件夹。Linux: 在终端执行官方一键脚本curl -fsSL https://ollama.com/install.sh | sh下载并运行qwen3.5打开终端Windows下为CMD或PowerShellMac/Linux为Terminal输入以下命令运行默认版本通常是7B或14B的4bit量化版适合大多数电脑ollama run qwen3.5系统会自动下载模型文件约几GB下载完成后即可直接对话。指定特定版本如果默认版本不合适可选择其他尺寸# 例如运行 32B 版本需要较大显存/内存ollama run qwen3.5:32b# 或者运行轻量版 7Bollama run qwen3.5:7b验证和使用当看到 提示符时表示模型已启动。你可以直接输入中文进行对话 请用Python写一个快速排序算法 解释一下量子纠缠输入 /bye 可退出对话。图形化界面使用1. 使用图形化界面 (WebUI)Ollama 启动后默认提供本地 API。你可以安装第三方前端工具来获得类似 ChatGPT 的界面Open WebUI (推荐): 功能最强支持插件、文档库。# 使用 Docker 安装 (需先安装Docker) docker run -d -p 3000:8080 --add-hosthost.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main安装后访问 http://localhost:3000在设置中将模型连接地址填为 http://host.docker.internal:11434即可选择 qwen3.5 进行对话。2. 编程调用 (Python 示例)先安装库pip install ollamaimport ollamaresponse ollama.chat(modelqwen3.5,messages[ { role: user, content: 你好请介绍一下2026年的AI发展趋势。, }, ]) print(response[message][content])
企业接入人工智能使用本地化部署大模型为第一步
发布时间：2026/7/8 19:20:35
现在企业接入大模型很多时候都是选择本地化部署目的是进行扩展和强化检索例外一个目的是构建个性化模型防止企业内部数据外泄。所以很多时候选择本地化部署模型为基座再在基座上做应用开发比如智能助手辅助编程智能体等接入千问3.5为例本地部署千问大模型操作文档使用 Ollama 部署 Qwen3.5环境准备操作系统Windows 10/11, macOS, 或 Linux硬件建议入门版 (7B/8B)至少 8GB 内存纯CPU或 6GB 显存GPU。进阶版 (14B-32B)建议 16GB-32GB 内存或 12GB 显存如RTX 3060 12G/4060Ti 16G。高性能版如需运行更大参数版本需更高显存或使用多卡。安装Ollama访问官网下载对应系统的安装包下载地址https://ollama.com安装操作Windows: 下载 .exe 安装包双击运行安装完成后会自动在后台运行。Mac: 下载 .dmg 文件拖入应用程序文件夹。Linux: 在终端执行官方一键脚本curl -fsSL https://ollama.com/install.sh | sh下载并运行qwen3.5打开终端Windows下为CMD或PowerShellMac/Linux为Terminal输入以下命令运行默认版本通常是7B或14B的4bit量化版适合大多数电脑ollama run qwen3.5系统会自动下载模型文件约几GB下载完成后即可直接对话。指定特定版本如果默认版本不合适可选择其他尺寸# 例如运行 32B 版本需要较大显存/内存ollama run qwen3.5:32b# 或者运行轻量版 7Bollama run qwen3.5:7b验证和使用当看到 提示符时表示模型已启动。你可以直接输入中文进行对话 请用Python写一个快速排序算法 解释一下量子纠缠输入 /bye 可退出对话。图形化界面使用1. 使用图形化界面 (WebUI)Ollama 启动后默认提供本地 API。你可以安装第三方前端工具来获得类似 ChatGPT 的界面Open WebUI (推荐): 功能最强支持插件、文档库。# 使用 Docker 安装 (需先安装Docker) docker run -d -p 3000:8080 --add-hosthost.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main安装后访问 http://localhost:3000在设置中将模型连接地址填为 http://host.docker.internal:11434即可选择 qwen3.5 进行对话。2. 编程调用 (Python 示例)先安装库pip install ollamaimport ollamaresponse ollama.chat(modelqwen3.5,messages[ { role: user, content: 你好请介绍一下2026年的AI发展趋势。, }, ]) print(response[message][content])
，小样本预测神器)
)
