Ollama 本地私有化大模型快速上手完整教程从环境准备到命令实操一、前言当下大模型应用普及但直接使用公有在线大模型存在企业数据泄露、隐私安全等致命问题如三星员工使用 ChatGPT 泄露内部资料事件私有化本地部署大模型成为企业、开发者刚需。Ollama 作为开源轻量化本地 LLM 运行工具跨平台、零复杂依赖、命令行易操作是新手本地跑大模型、开发聊天机器人的首选方案。本文结合课程实操内容完整梳理环境配置、大模型基础、Ollama 安装、全套命令、对话交互指令全流程。二、前期统一开发环境工具配置1. 必备工具清单 用途所有软件禁止安装至 C 盘安装路径无中文、无空格如需更换路径必须卸载重装。表格工具作用Typora/NotepadMarkdown 笔记、代码文本编辑课程文档记录Xmind思维导图梳理课程知识点Snipaste截图工具F1 快速截图Everything本地文件全局快速搜索2. Typora 基础语法markdown# 一级标题Ctrl1 ## 二级标题Ctrl2 * 无序列表 引用区块 代码块三、聊天机器人项目整体介绍1. 聊天机器人定义依托 NLP 自然语言处理技术支持文本 / 语音人机对话具备理解意图、多轮上下文、任务执行能力。核心特点自然语言理解提取用户意图、关键词对话管理维持多轮上下文连贯个性化交互根据历史记录定制回复多功能客服、教育、智能家居、健康咨询等。主流大模型助手DeepSeek、Kimi、通义千问、讯飞星火、豆包各有场景侧重长文本、语音、内容创作、代码等。2. 本课程项目需求与架构功能需求对话中英文交互、实时回复延迟≤3s界面Streamlit 搭建 Web 前端输入框 对话展示区整体架构后端Ollama 部署 Qwen 系列开源大模型负责推理生成前端Python Streamlit 快速构建可视化网页交互链路用户输入→前端传递至 Ollama 模型→推理返回结果页面渲染。四、大模型核心基础概念1. 大模型四大分类NLP 文本大模型处理文本生成、翻译、问答代表GPT、BERT、QwenCV 视觉大模型图像识别、绘图、检测代表Stable Diffusion、ViT语音大模型语音识别 ASR、语音合成 TTS代表Whisper、讯飞星火多模态大模型同时处理文本、图片、音频代表GPT-4、BLIP2. 通用落地场景智能客服、文案 / 代码生成、机器翻译、知识库问答、图像识别、自动驾驶视觉检测。五、私有化部署大模型为什么选 Ollama1. 私有部署核心价值数据安全敏感业务数据本地流转不上传第三方云端杜绝泄密成本可控无需云端 API 调用付费本地硬件一次性投入内网离线可用无网络环境也能运行模型可定制化自定义提示词、模型参数、微调模型。2. 本地运行工具对比Ollama vs LM StudioOllama开源、命令行友好、完善 API、适配开发者轻量易上手课程主推LM Studio闭源、可视化界面完善适合纯新手但生态与开发兼容性弱于 Ollama生产多卡高并发场景VLLM、K8s 集群部署方案。3. Ollama 核心优势一站式封装模型权重、配置、GPU 适配整合为 Modelfile热切换模型无需重启服务海量开源模型库Qwen、DeepSeek、Llama 系列Windows/Mac/Linux 全平台支持CPU / 显卡均可推理依赖极简低配电脑也能运行小参数量模型。六、Ollama 下载、安装与模型路径修改1. 官方下载地址Windowshttps://ollama.com/download/OllamaSetup.exeMachttps://ollama.com/download/Ollama-darwin.zipLinuxhttps://ollama.com/download/ollama-linux-amd64 官方模型库https://ollama.com/library2. Windows 安装步骤管理员身份运行安装包自定义非 C 盘路径安装CMD 验证ollama -v输出版本号即成功快速拉取运行模型示例shellollama run qwen2:0.5b ollama run deepseek-r1:1.5b3. 默认模型存储路径 自定义修改Windows 默认路径C:\Users\用户名\.ollama\models自定义模型存放目录新建文件夹如D:\AI\Models系统环境变量新增OLLAMA_MODELSD:\AI\Models重启电脑生效后续下载模型自动存入新目录。七、Ollama 全局客户端命令必掌握1. ollama run 运行模型格式ollama run 模型名:版本 [提示词] [参数]示例单次对话ollama run qwen2:0.5b 你好持续对话ollama run qwen2默认 latest 最新版 常用参数--verbose输出 token 耗时统计--format json返回 JSON 格式结果--keepalive设置内存驻留时间CtrlC强制终止推理。2. ollama pull 拉取模型仅下载不启动ollama pull qwen2:0.5b--insecure参数忽略证书内网离线下载使用。3. ollama list / ollama ls查看本地已下载全部模型展示名称、ID、大小、修改时间。4. ollama ps查看当前正在内存运行的模型显示显存 / CPU 占用、驻留时长。5. ollama show 查看模型详情shellollama show qwen2:0.5b --template # 查看对话提示词模板 ollama show qwen2:0.5b --parameters # 查看模型内置参数 ollama show qwen2:0.5b --system # 查看默认系统角色6. ollama rm 删除本地模型ollama rm qwen2:0.5b清理磁盘空间。八、Ollama 对话内交互指令进入 run 对话后使用输入/?查看全部对话指令核心常用指令汇总/bye/CtrlD退出对话会话/clear清空上下文记忆开启全新对话/load 模型名不退出终端在线切换大模型/save 新模型名将当前会话配置保存为自定义模型 多行内容 多行文本输入/set会话动态参数配置/set format json输出 JSON 结构化数据/set verbose开启 token 耗时日志/set temperature 0.7调整生成随机性0 严谨1 创意/set num_ctx 4096扩长上下文窗口/set seed 42固定随机种子保证相同提问回复一致/show查看当前加载模型信息/? shortcuts查看终端全部快捷键清屏、删除、跳转行等。关键参数说明表格参数作用temperature生成创造性越高回答越发散top_k / top_p控制输出多样性降低结果幻觉num_ctx上下文 token 上限长文档问答调大repeat_penalty抑制模型重复话术九、总结私有化本地大模型核心解决数据隐私安全问题Ollama 是入门最优工具整体学习路线环境工具安装 → 大模型基础认知 → Ollama 部署运行 → 命令行管理模型 → PythonStreamlit 搭建可视化聊天机器人实操重点熟练掌握 pull/run/list/rm/ps 全局命令对话内/clear、/load、/set参数调优拓展方向基于 Ollama 提供的 API结合 Python 开发专属离线聊天机器人实现企业内部知识库问答、本地代码助手等场景。
AI大模型学习分享第一天
发布时间：2026/7/29 19:11:55
Ollama 本地私有化大模型快速上手完整教程从环境准备到命令实操一、前言当下大模型应用普及但直接使用公有在线大模型存在企业数据泄露、隐私安全等致命问题如三星员工使用 ChatGPT 泄露内部资料事件私有化本地部署大模型成为企业、开发者刚需。Ollama 作为开源轻量化本地 LLM 运行工具跨平台、零复杂依赖、命令行易操作是新手本地跑大模型、开发聊天机器人的首选方案。本文结合课程实操内容完整梳理环境配置、大模型基础、Ollama 安装、全套命令、对话交互指令全流程。二、前期统一开发环境工具配置1. 必备工具清单 用途所有软件禁止安装至 C 盘安装路径无中文、无空格如需更换路径必须卸载重装。表格工具作用Typora/NotepadMarkdown 笔记、代码文本编辑课程文档记录Xmind思维导图梳理课程知识点Snipaste截图工具F1 快速截图Everything本地文件全局快速搜索2. Typora 基础语法markdown# 一级标题Ctrl1 ## 二级标题Ctrl2 * 无序列表 引用区块 代码块三、聊天机器人项目整体介绍1. 聊天机器人定义依托 NLP 自然语言处理技术支持文本 / 语音人机对话具备理解意图、多轮上下文、任务执行能力。核心特点自然语言理解提取用户意图、关键词对话管理维持多轮上下文连贯个性化交互根据历史记录定制回复多功能客服、教育、智能家居、健康咨询等。主流大模型助手DeepSeek、Kimi、通义千问、讯飞星火、豆包各有场景侧重长文本、语音、内容创作、代码等。2. 本课程项目需求与架构功能需求对话中英文交互、实时回复延迟≤3s界面Streamlit 搭建 Web 前端输入框 对话展示区整体架构后端Ollama 部署 Qwen 系列开源大模型负责推理生成前端Python Streamlit 快速构建可视化网页交互链路用户输入→前端传递至 Ollama 模型→推理返回结果页面渲染。四、大模型核心基础概念1. 大模型四大分类NLP 文本大模型处理文本生成、翻译、问答代表GPT、BERT、QwenCV 视觉大模型图像识别、绘图、检测代表Stable Diffusion、ViT语音大模型语音识别 ASR、语音合成 TTS代表Whisper、讯飞星火多模态大模型同时处理文本、图片、音频代表GPT-4、BLIP2. 通用落地场景智能客服、文案 / 代码生成、机器翻译、知识库问答、图像识别、自动驾驶视觉检测。五、私有化部署大模型为什么选 Ollama1. 私有部署核心价值数据安全敏感业务数据本地流转不上传第三方云端杜绝泄密成本可控无需云端 API 调用付费本地硬件一次性投入内网离线可用无网络环境也能运行模型可定制化自定义提示词、模型参数、微调模型。2. 本地运行工具对比Ollama vs LM StudioOllama开源、命令行友好、完善 API、适配开发者轻量易上手课程主推LM Studio闭源、可视化界面完善适合纯新手但生态与开发兼容性弱于 Ollama生产多卡高并发场景VLLM、K8s 集群部署方案。3. Ollama 核心优势一站式封装模型权重、配置、GPU 适配整合为 Modelfile热切换模型无需重启服务海量开源模型库Qwen、DeepSeek、Llama 系列Windows/Mac/Linux 全平台支持CPU / 显卡均可推理依赖极简低配电脑也能运行小参数量模型。六、Ollama 下载、安装与模型路径修改1. 官方下载地址Windowshttps://ollama.com/download/OllamaSetup.exeMachttps://ollama.com/download/Ollama-darwin.zipLinuxhttps://ollama.com/download/ollama-linux-amd64 官方模型库https://ollama.com/library2. Windows 安装步骤管理员身份运行安装包自定义非 C 盘路径安装CMD 验证ollama -v输出版本号即成功快速拉取运行模型示例shellollama run qwen2:0.5b ollama run deepseek-r1:1.5b3. 默认模型存储路径 自定义修改Windows 默认路径C:\Users\用户名\.ollama\models自定义模型存放目录新建文件夹如D:\AI\Models系统环境变量新增OLLAMA_MODELSD:\AI\Models重启电脑生效后续下载模型自动存入新目录。七、Ollama 全局客户端命令必掌握1. ollama run 运行模型格式ollama run 模型名:版本 [提示词] [参数]示例单次对话ollama run qwen2:0.5b 你好持续对话ollama run qwen2默认 latest 最新版 常用参数--verbose输出 token 耗时统计--format json返回 JSON 格式结果--keepalive设置内存驻留时间CtrlC强制终止推理。2. ollama pull 拉取模型仅下载不启动ollama pull qwen2:0.5b--insecure参数忽略证书内网离线下载使用。3. ollama list / ollama ls查看本地已下载全部模型展示名称、ID、大小、修改时间。4. ollama ps查看当前正在内存运行的模型显示显存 / CPU 占用、驻留时长。5. ollama show 查看模型详情shellollama show qwen2:0.5b --template # 查看对话提示词模板 ollama show qwen2:0.5b --parameters # 查看模型内置参数 ollama show qwen2:0.5b --system # 查看默认系统角色6. ollama rm 删除本地模型ollama rm qwen2:0.5b清理磁盘空间。八、Ollama 对话内交互指令进入 run 对话后使用输入/?查看全部对话指令核心常用指令汇总/bye/CtrlD退出对话会话/clear清空上下文记忆开启全新对话/load 模型名不退出终端在线切换大模型/save 新模型名将当前会话配置保存为自定义模型 多行内容 多行文本输入/set会话动态参数配置/set format json输出 JSON 结构化数据/set verbose开启 token 耗时日志/set temperature 0.7调整生成随机性0 严谨1 创意/set num_ctx 4096扩长上下文窗口/set seed 42固定随机种子保证相同提问回复一致/show查看当前加载模型信息/? shortcuts查看终端全部快捷键清屏、删除、跳转行等。关键参数说明表格参数作用temperature生成创造性越高回答越发散top_k / top_p控制输出多样性降低结果幻觉num_ctx上下文 token 上限长文档问答调大repeat_penalty抑制模型重复话术九、总结私有化本地大模型核心解决数据隐私安全问题Ollama 是入门最优工具整体学习路线环境工具安装 → 大模型基础认知 → Ollama 部署运行 → 命令行管理模型 → PythonStreamlit 搭建可视化聊天机器人实操重点熟练掌握 pull/run/list/rm/ps 全局命令对话内/clear、/load、/set参数调优拓展方向基于 Ollama 提供的 API结合 Python 开发专属离线聊天机器人实现企业内部知识库问答、本地代码助手等场景。
