DeepSeek 本地部署完全方案从环境搭建到推理优化一、前言为什么选择本地部署 DeepSeekDeepSeek 系列模型在 2026 年持续迭代V3 与 R1 版本在代码生成、逻辑推理、长文本理解等场景表现突出。虽然官方提供了在线 API 服务但本地部署仍有不可替代的优势数据隐私代码仓库、企业文档等敏感内容不出本地无速率限制批量推理、长时任务不受 API 配额约束离线可用断网环境依然正常工作深度定制可对接本地知识库、工作流引擎本文覆盖 DeepSeek 主流模型的本地部署全流程包括硬件选型、环境配置、量化推理、API 服务搭建与多端调用。二、硬件选型不同模型的显存需求DeepSeek 模型参数量跨度大从 1.3B 到 671B 不等显存需求差异显著。先确认你的硬件能跑哪个版本模型版本参数量FP16 显存需求INT4 量化后推荐显卡DeepSeek-V3671B (37B 激活)8×A100 80GB2×4090 24GB多卡/云服务器DeepSeek-R1671B (37B 激活)同上同上同上DeepSeek-V2.5236B (21B 激活)4×A100 80GB1×4090 24GB单卡可跑量化版DeepSeek-Coder-V2236B同上同上同上DeepSeek-V2-Lite16B32GB10GBRTX 3060 12GBDeepSeek-R1-Distill-Qwen-7B7B14GB5GBRTX 3060 12GBDeepSeek-R1-Distill-Qwen-1.5B1.5B3GB1.5GBGTX 1660 6GB关键结论8GB 显存可跑 1.5B 蒸馏版基础对话可用12GB 显存可跑 7B 蒸馏版或 16B 量化版体验较好24GB 显存可跑 236B 量化版接近完整体验多卡/云服务器可跑完整 671B 模型三、环境准备3.1 基础环境依赖版本要求安装方式Python3.10 - 3.12官网下载 / AnacondaCUDA Toolkit12.1NVIDIA 官网Git最新版winget install Git.GitNVIDIA 驱动 545GeForce Experience 更新3.2 创建虚拟环境# 使用 conda 创建环境conda create-ndeepseekpython3.10-yconda activate deepseek# 安装 PyTorchCUDA 12.1pipinstalltorch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu1213.3 验证 CUDA 可用importtorchprint(fCUDA available:{torch.cuda.is_available()})print(fGPU:{torch.cuda.get_device_name(0)})print(fVRAM:{torch.cuda.get_device_properties(0).total_mem/1024**3:.1f}GB)输出类似CUDA available: True GPU: NVIDIA GeForce RTX 4090 VRAM: 24.0 GB四、方案一Ollama 一键部署推荐新手Ollama 是目前最简单的本地大模型部署方案一行命令即可启动。4.1 安装 Ollama# Windows 直接下载安装包wingetinstallOllama.Ollama或从 ollama.com 下载安装包。4.2 拉取并运行模型# 7B 蒸馏版12GB 显存推荐ollama run deepseek-r1:7b# 1.5B 蒸馏版8GB 显存可用ollama run deepseek-r1:1.5b# 14B 蒸馏版24GB 显存推荐ollama run deepseek-r1:14b# DeepSeek-V3需 24GB 显存跑量化版ollama run deepseek-v3首次运行会自动下载模型7B 版约 4.7GB。4.3 API 服务模式Ollama 安装后默认在http://localhost:11434启动 API 服务# 测试 APIcurlhttp://localhost:11434/api/generate-d{ model: deepseek-r1:7b, prompt: 用Python写一个快速排序, stream: false }4.4 Python 调用示例importrequestsimportjson urlhttp://localhost:11434/api/generatepayload{model:deepseek-r1:7b,prompt:用Python实现二叉树的前序遍历,stream:False}responserequests.post(url,jsonpayload)resultresponse.json()print(result[response])五、方案二vLLM 高性能推理推荐进阶用户vLLM 适合需要高吞吐量、并发请求的场景支持连续批处理和 PagedAttention。5.1 安装 vLLMpipinstallvllm5.2 启动 OpenAI 兼容 API 服务# 启动 DeepSeek-R1-Distill-Qwen-7Bpython-mvllm.entrypoints.openai.api_server\--modeldeepseek-ai/DeepSeek-R1-Distill-Qwen-7B\--dtypehalf\--max-model-len4096\--port80005.3 兼容 OpenAI SDK 调用fromopenaiimportOpenAI clientOpenAI(base_urlhttp://localhost:8000/v1,api_keynot-needed# 本地部署无需真实 key)responseclient.chat.completions.create(modeldeepseek-ai/DeepSeek-R1-Distill-Qwen-7B,messages[{role:system,content:你是一个专业的Python开发助手。},{role:user,content:写一个异步爬虫框架的代码骨架}],temperature0.7,max_tokens2048)print(response.choices[0].message.content)5.4 性能调优参数参数作用建议值--max-model-len最大上下文长度根据显存调整默认 8192--gpu-memory-utilizationGPU 显存利用率0.9留 10% 给系统--tensor-parallel-size张量并行卡数多卡时设置如 2/4--quantization awqAWQ 4bit 量化显存不够时开启六、方案三llama.cpp CPU/GPU 混合推理llama.cpp 适合没有高端显卡、或需要在 CPU 上跑模型的场景。6.1 编译安装# 克隆仓库gitclone https://github.com/ggerganov/llama.cppcdllama.cpp# Windows CUDA 编译cmake-Bbuild-DGGML_CUDAON cmake--buildbuild--configRelease6.2 下载 GGUF 格式模型从 HuggingFace 下载量化模型量化格式体积7B精度损失适用场景Q8_0~7.7GB极小显存充足时首选Q5_K_M~5.1GB较小性价比最高Q4_K_M~4.4GB可接受显存紧张时选择Q2_K~3.1GB明显仅测试用6.3 运行推理# 纯 GPU 模式./build/bin/llama-cli\-mDeepSeek-R1-Distill-Qwen-7B-Q5_K_M.gguf\-ngl99\-c4096\--temp0.7# CPU GPU 混合GPU 层数可调./build/bin/llama-cli\-mDeepSeek-R1-Distill-Qwen-7B-Q5_K_M.gguf\-ngl20\-c4096-ngl参数控制卸载到 GPU 的层数显存不够可降低此值。七、对接 WebUIOpen WebUI 部署命令行交互体验差推荐部署 Open WebUI 获得类似 ChatGPT 的界面。7.1 Docker 一键部署搭配 Ollamadockerrun-d-p3000:8080\--add-hosthost.docker.internal:host-gateway\-vopen-webui:/app/backend/data\--nameopen-webui\ghcr.io/open-webui/open-webui:main7.2 访问与配置浏览器打开http://localhost:3000注册管理员账号本地使用随意填写设置 → 模型 → 自动检测到 Ollama 中的模型选择deepseek-r1:7b开始对话7.3 非 Docker 安装pipinstallopen-webui open-webui serve访问http://localhost:8080。八、多卡并行与显存优化8.1 多卡部署vLLM双卡 4090 部署 236B 量化版python-mvllm.entrypoints.openai.api_server\--modeldeepseek-ai/DeepSeek-V2.5\--quantizationawq\--tensor-parallel-size2\--max-model-len4096\--gpu-memory-utilization0.95\--port80008.2 低显存优化策略策略原理适用场景INT4/INT8 量化降低模型精度换取显存显存不足时的首选KV Cache 量化压缩注意力缓存长上下文场景PagedAttention分页管理 KV CachevLLM 默认启用CPU Offload部分层卸载到内存llama.cpp 支持降低 max-model-len缩短上下文窗口短对话场景九、常见问题排查问题原因解决方案CUDA out of memory显存不足换更大量化版本或降低max-model-len生成速度极慢1 token/s跑在 CPU 上或量化过低确认-ngl参数生效换 Q5 以上量化生成内容乱码/重复量化精度损失严重换 Q5_K_M 或 Q8_0 量化版本Ollama 下载超时HuggingFace 国内访问慢设置OLLAMA_HOST环境变量指向镜像vLLM 启动卡住模型下载中断删除~/.cache/huggingface/对应目录重试Open WebUI 连不上 OllamaDocker 网络隔离确认--add-hosthost.docker.internal:host-gateway十、选型决策树只想快速体验→ Ollama deepseek-r1:7b5 分钟搞定需要 API 对接业务→ vLLMOpenAI 协议兼容没有高端显卡→ llama.cpp Q4/Q5 量化CPU 也能跑想要 ChatGPT 界面→ Ollama Open WebUI企业级高并发→ vLLM 多卡 AWQ 量化十一、学习资源本地部署只是起点DeepSeek 的深度使用还涉及 Prompt 工程、Agent 工作流、RAG 知识库对接等方向。我整理了一份 DeepSeek 及 AIGC 全栈学习资源合集涵盖从入门到实战的完整路径。资源获取留言DeepSeek我会把整理好的教程索引与部署手册发给你。十二、总结DeepSeek 本地部署的核心思路根据硬件选模型根据场景选框架。新手用 Ollama 快速上手进阶用 vLLM 做服务化低配用 llama.cpp 弯道超车。三种方案都支持 OpenAI 兼容 API可以随时切换不必在一棵树上吊死。实际部署中遇到的问题欢迎评论区交流。声明本文涉及的技术资源均来源于开源社区公开分享仅供学习与技术研究使用。作者赛博仓鼠更新日期2026-06-25最后修订补充 Ollama 部署步骤与多卡并行方案
DeepSeek 本地部署完全方案：从环境搭建到推理优化
发布时间：2026/6/26 2:29:12
DeepSeek 本地部署完全方案从环境搭建到推理优化一、前言为什么选择本地部署 DeepSeekDeepSeek 系列模型在 2026 年持续迭代V3 与 R1 版本在代码生成、逻辑推理、长文本理解等场景表现突出。虽然官方提供了在线 API 服务但本地部署仍有不可替代的优势数据隐私代码仓库、企业文档等敏感内容不出本地无速率限制批量推理、长时任务不受 API 配额约束离线可用断网环境依然正常工作深度定制可对接本地知识库、工作流引擎本文覆盖 DeepSeek 主流模型的本地部署全流程包括硬件选型、环境配置、量化推理、API 服务搭建与多端调用。二、硬件选型不同模型的显存需求DeepSeek 模型参数量跨度大从 1.3B 到 671B 不等显存需求差异显著。先确认你的硬件能跑哪个版本模型版本参数量FP16 显存需求INT4 量化后推荐显卡DeepSeek-V3671B (37B 激活)8×A100 80GB2×4090 24GB多卡/云服务器DeepSeek-R1671B (37B 激活)同上同上同上DeepSeek-V2.5236B (21B 激活)4×A100 80GB1×4090 24GB单卡可跑量化版DeepSeek-Coder-V2236B同上同上同上DeepSeek-V2-Lite16B32GB10GBRTX 3060 12GBDeepSeek-R1-Distill-Qwen-7B7B14GB5GBRTX 3060 12GBDeepSeek-R1-Distill-Qwen-1.5B1.5B3GB1.5GBGTX 1660 6GB关键结论8GB 显存可跑 1.5B 蒸馏版基础对话可用12GB 显存可跑 7B 蒸馏版或 16B 量化版体验较好24GB 显存可跑 236B 量化版接近完整体验多卡/云服务器可跑完整 671B 模型三、环境准备3.1 基础环境依赖版本要求安装方式Python3.10 - 3.12官网下载 / AnacondaCUDA Toolkit12.1NVIDIA 官网Git最新版winget install Git.GitNVIDIA 驱动 545GeForce Experience 更新3.2 创建虚拟环境# 使用 conda 创建环境conda create-ndeepseekpython3.10-yconda activate deepseek# 安装 PyTorchCUDA 12.1pipinstalltorch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu1213.3 验证 CUDA 可用importtorchprint(fCUDA available:{torch.cuda.is_available()})print(fGPU:{torch.cuda.get_device_name(0)})print(fVRAM:{torch.cuda.get_device_properties(0).total_mem/1024**3:.1f}GB)输出类似CUDA available: True GPU: NVIDIA GeForce RTX 4090 VRAM: 24.0 GB四、方案一Ollama 一键部署推荐新手Ollama 是目前最简单的本地大模型部署方案一行命令即可启动。4.1 安装 Ollama# Windows 直接下载安装包wingetinstallOllama.Ollama或从 ollama.com 下载安装包。4.2 拉取并运行模型# 7B 蒸馏版12GB 显存推荐ollama run deepseek-r1:7b# 1.5B 蒸馏版8GB 显存可用ollama run deepseek-r1:1.5b# 14B 蒸馏版24GB 显存推荐ollama run deepseek-r1:14b# DeepSeek-V3需 24GB 显存跑量化版ollama run deepseek-v3首次运行会自动下载模型7B 版约 4.7GB。4.3 API 服务模式Ollama 安装后默认在http://localhost:11434启动 API 服务# 测试 APIcurlhttp://localhost:11434/api/generate-d{ model: deepseek-r1:7b, prompt: 用Python写一个快速排序, stream: false }4.4 Python 调用示例importrequestsimportjson urlhttp://localhost:11434/api/generatepayload{model:deepseek-r1:7b,prompt:用Python实现二叉树的前序遍历,stream:False}responserequests.post(url,jsonpayload)resultresponse.json()print(result[response])五、方案二vLLM 高性能推理推荐进阶用户vLLM 适合需要高吞吐量、并发请求的场景支持连续批处理和 PagedAttention。5.1 安装 vLLMpipinstallvllm5.2 启动 OpenAI 兼容 API 服务# 启动 DeepSeek-R1-Distill-Qwen-7Bpython-mvllm.entrypoints.openai.api_server\--modeldeepseek-ai/DeepSeek-R1-Distill-Qwen-7B\--dtypehalf\--max-model-len4096\--port80005.3 兼容 OpenAI SDK 调用fromopenaiimportOpenAI clientOpenAI(base_urlhttp://localhost:8000/v1,api_keynot-needed# 本地部署无需真实 key)responseclient.chat.completions.create(modeldeepseek-ai/DeepSeek-R1-Distill-Qwen-7B,messages[{role:system,content:你是一个专业的Python开发助手。},{role:user,content:写一个异步爬虫框架的代码骨架}],temperature0.7,max_tokens2048)print(response.choices[0].message.content)5.4 性能调优参数参数作用建议值--max-model-len最大上下文长度根据显存调整默认 8192--gpu-memory-utilizationGPU 显存利用率0.9留 10% 给系统--tensor-parallel-size张量并行卡数多卡时设置如 2/4--quantization awqAWQ 4bit 量化显存不够时开启六、方案三llama.cpp CPU/GPU 混合推理llama.cpp 适合没有高端显卡、或需要在 CPU 上跑模型的场景。6.1 编译安装# 克隆仓库gitclone https://github.com/ggerganov/llama.cppcdllama.cpp# Windows CUDA 编译cmake-Bbuild-DGGML_CUDAON cmake--buildbuild--configRelease6.2 下载 GGUF 格式模型从 HuggingFace 下载量化模型量化格式体积7B精度损失适用场景Q8_0~7.7GB极小显存充足时首选Q5_K_M~5.1GB较小性价比最高Q4_K_M~4.4GB可接受显存紧张时选择Q2_K~3.1GB明显仅测试用6.3 运行推理# 纯 GPU 模式./build/bin/llama-cli\-mDeepSeek-R1-Distill-Qwen-7B-Q5_K_M.gguf\-ngl99\-c4096\--temp0.7# CPU GPU 混合GPU 层数可调./build/bin/llama-cli\-mDeepSeek-R1-Distill-Qwen-7B-Q5_K_M.gguf\-ngl20\-c4096-ngl参数控制卸载到 GPU 的层数显存不够可降低此值。七、对接 WebUIOpen WebUI 部署命令行交互体验差推荐部署 Open WebUI 获得类似 ChatGPT 的界面。7.1 Docker 一键部署搭配 Ollamadockerrun-d-p3000:8080\--add-hosthost.docker.internal:host-gateway\-vopen-webui:/app/backend/data\--nameopen-webui\ghcr.io/open-webui/open-webui:main7.2 访问与配置浏览器打开http://localhost:3000注册管理员账号本地使用随意填写设置 → 模型 → 自动检测到 Ollama 中的模型选择deepseek-r1:7b开始对话7.3 非 Docker 安装pipinstallopen-webui open-webui serve访问http://localhost:8080。八、多卡并行与显存优化8.1 多卡部署vLLM双卡 4090 部署 236B 量化版python-mvllm.entrypoints.openai.api_server\--modeldeepseek-ai/DeepSeek-V2.5\--quantizationawq\--tensor-parallel-size2\--max-model-len4096\--gpu-memory-utilization0.95\--port80008.2 低显存优化策略策略原理适用场景INT4/INT8 量化降低模型精度换取显存显存不足时的首选KV Cache 量化压缩注意力缓存长上下文场景PagedAttention分页管理 KV CachevLLM 默认启用CPU Offload部分层卸载到内存llama.cpp 支持降低 max-model-len缩短上下文窗口短对话场景九、常见问题排查问题原因解决方案CUDA out of memory显存不足换更大量化版本或降低max-model-len生成速度极慢1 token/s跑在 CPU 上或量化过低确认-ngl参数生效换 Q5 以上量化生成内容乱码/重复量化精度损失严重换 Q5_K_M 或 Q8_0 量化版本Ollama 下载超时HuggingFace 国内访问慢设置OLLAMA_HOST环境变量指向镜像vLLM 启动卡住模型下载中断删除~/.cache/huggingface/对应目录重试Open WebUI 连不上 OllamaDocker 网络隔离确认--add-hosthost.docker.internal:host-gateway十、选型决策树只想快速体验→ Ollama deepseek-r1:7b5 分钟搞定需要 API 对接业务→ vLLMOpenAI 协议兼容没有高端显卡→ llama.cpp Q4/Q5 量化CPU 也能跑想要 ChatGPT 界面→ Ollama Open WebUI企业级高并发→ vLLM 多卡 AWQ 量化十一、学习资源本地部署只是起点DeepSeek 的深度使用还涉及 Prompt 工程、Agent 工作流、RAG 知识库对接等方向。我整理了一份 DeepSeek 及 AIGC 全栈学习资源合集涵盖从入门到实战的完整路径。资源获取留言DeepSeek我会把整理好的教程索引与部署手册发给你。十二、总结DeepSeek 本地部署的核心思路根据硬件选模型根据场景选框架。新手用 Ollama 快速上手进阶用 vLLM 做服务化低配用 llama.cpp 弯道超车。三种方案都支持 OpenAI 兼容 API可以随时切换不必在一棵树上吊死。实际部署中遇到的问题欢迎评论区交流。声明本文涉及的技术资源均来源于开源社区公开分享仅供学习与技术研究使用。作者赛博仓鼠更新日期2026-06-25最后修订补充 Ollama 部署步骤与多卡并行方案
