本地 LLM 生产部署实践：从 Ollama 到可维护架构

本地运行大语言模型已经不只是玩具实验。Ollama、LM Studio、vLLM、llama.cpp 等工具让团队可以在自己的机器或服务器上部署模型，用于客服、内部知识库、代码助手、批量处理和隐私敏感场景。但“能跑起来”和“能稳定生产使用”是两回事。生产部署需要考虑模型选择、硬件、并发、监控、限流、降级、更新和成本。这篇文章整理本地 LLM 生产部署的判断框架和落地步骤。什么时候适合本地部署本地部署最大的价值不是“免费”，而是可控。维度云 API本地部署计费方式按 token / 请求计费固定硬件和电费成本数据隐私数据经过供应商数据留在内网或本机可用性依赖网络和供应商可离线运行模型能力前沿模型更强取决于本地模型和硬件运维成本低高，需要维护适合本地部署的场景：高频、成本敏感的内部任务；隐私要求高的数据；离线或内网环境；固定、可预测的工作负载；可以接受非前沿模型能力的场景。不适合本地部署的场景：低频但高复杂度任务；必须使用最新前沿模型；流量波动很大；团队没有基础设施维护能力；对质量上限要求高于成本控制。从 Ollama 开始Ollama 是最适合开发者快速开始的本地 LLM 工具之一。安装和启动# macOSbrewinstallollama