引言在上一篇文章中我们完成了 Ollama 的入门安装、基础命令、多语言 API 调用和简单的模型定制。但 Ollama 的世界远不止于此。随着版本迭代如 v0.11.8、v0.12.0Ollama 引入了Flash Attention、云端模型、多模态引擎等重磅特性 。更重要的是它已成为连接本地大模型与外部生态LangChain、Open WebUI、嵌入模型的核心枢纽。本文将深入探讨以下进阶主题并提供可直接上手的代码与配置性能调优如何榨干 GPU 性能降低显存占用。多模态实战让 Ollama 不仅能读文字还能“看懂”图片。云端扩展本地跑不动的超大模型671B如何一键调用。嵌入模型与 RAG为私有知识库构建检索增强生成管道。LangChain 集成用最流行的 AI 编排框架驱动本地模型。Modelfile 深度定制不只是改 prompt还能调参数、改模板。第一章性能调优——让模型跑得更快、更省随着本地模型参数量的增长7B、13B、70B硬件资源成为瓶颈。Ollama 近几个版本在性能上做了大量优化。1.1 Flash Attention默认开启的长上下文加速从 v0.11.8 开始Ollama 默认在支持的系统上为gpt-oss架构模型启用Flash Attention。作用减少 GPU 内存访问次数显著提升长序列如 128K 上下文的推理速度同时降低显存占用。手动控制你可以通过环境变量控制是否启用。bash# 禁用 Flash Attention遇到兼容性问题时 export OLLAMA_FLASH_ATTENTION0 # 启用默认已开启 export OLLAMA_FLASH_ATTENTION11.2 内存优化避免显存浪费在多 GPU 系统上旧版本 Ollama 会初始化所有检测到的 GPU即使未使用也会占用约 300 MB 显存。v0.11.8 引入了设备重置机制在模型加载后自动释放未使用 GPU 的资源 。性能对比NVIDIA A100gpt-oss-12b 模型版本加载时间 (s)推理速度 (tokens/s)显存占用 (GB)v0.11.712.445.222.1v0.11.89.852.619.31.3 量化加速精度与性能的权衡量化是降低显存门槛的利器。Ollama 支持多种 GGUF 量化格式 。bash# 拉取量化版本模型以 DeepSeek-Coder 为例 ollama pull deepseek-coder:7b-q4_K_M常用量化级别参考量化级别显存占用 (7B模型)推理速度精度损失适用场景q4_K_M~4GB120%2%性价比首选兼顾速度与质量q5_K_M~5GB80%1%对精度要求较高显存充足q8~8GB40%极低开发测试接近原始精度fp16~16GB基线无原始精度显存大户1.4 并发与批处理配置对于生产环境你可以通过配置文件优化并发能力 。创建config.yamlyamlconcurrency: max_requests: 10 # 最大并发请求数 queue_depth: 20 # 请求队列深度 resources: gpu_memory: 80% # 最多使用 80% 的 GPU 显存预留一部分给系统启动时指定配置bashollama serve --config config.yaml第二章多模态模型——让 Ollama 看懂世界长期以来Ollama 被认为是纯文本工具。但随着Llama 4 Scout、Gemma 3、Qwen2.5-VL等视觉语言模型的发布Ollama 已通过全新引擎原生支持多模态 。2.1 技术原理视觉编码器 跨模态注意力Ollama 的新引擎将文本解码器和视觉编码器视为独立模块但通过投影层将图像嵌入与文本空间对齐。每个多模态模型是完全自包含的这提高了可靠性并简化了集成 。2.2 实战图片理解与问答运行 Qwen2.5-VL 视觉模型bashollama run qwen2.5-vl:7b在交互模式中直接提供图片路径即可提问bash /Users/me/photo.jpg 描述一下这张图片 Added image /Users/me/photo.jpg 这张图片展示的是一个阳光明媚的海滩场景有棕榈树和蓝色海水...使用 API 调用多模态能力Node.js 示例javascriptimport ollama from ollama; import fs from fs; const imageBuffer fs.readFileSync(/path/to/your/image.jpg); const base64Image imageBuffer.toString(base64); const response await ollama.chat({ model: llama4:scout, // 或 gemma3, qwen2.5-vl 等 messages: [{ role: user, content: 这张图片里有什么动物, images: [base64Image] // 关键字段传递 base64 图片 }] }); console.log(response.message.content);2.3 应用场景示例医疗影像辅助分析 CT 图片结合病历文本生成诊断建议 。工业质检通过产品照片识别划痕、气孔等缺陷 。智能教育批改包含手绘几何图形的作业理解图形关系 。第三章云端扩展——突破本地硬件限制2025 年 9 月发布的 v0.12.0 引入了革命性功能云端模型Cloud Models。现在你可以在本地直接调用云端算力运行超大规模模型如DeepSeek-V3.1 671BAPI 和 CLI 体验与本地模型完全一致。3.1 为什么需要云端模型突破显存瓶颈671B 的模型需要数百 GB 显存个人无法负担。统一体验无需切换工具ollama run既能跑本地 7B也能跑云端 671B。数据隐私Ollama 声称不保留用户数据 。3.2 使用方法登录/注册首次使用bashollama signin运行云端模型bashollama run deepseek-v3.1:671b-cloud # 或 ollama run qwen3-coder:480b-cloudAPI 调用与本地完全相同pythonimport ollama response ollama.chat( modelgpt-oss:120b-cloud, # 指定云端模型 tag messages[{role: user, content: 写一篇关于宇宙的短文}] ) print(response[message][content])3.3 当前可用云端模型示例模型名称参数规模特点deepseek-v3.1:671b-cloud671B混合推理模式支持思维链qwen3-coder:480b-cloud480B长上下文编码智能体任务优化gpt-oss:120b-cloud120BOpenAI 自研推理与智能体任务模型第四章嵌入模型与 RAG 实践Ollama 不仅能生成对话还提供了嵌入模型Embedding Models可以将文本转换为向量这是构建检索增强生成RAG系统的基石 。4.1 可用的嵌入模型通过llm-embed-ollama插件你可以使用以下嵌入模型 all-minilm(384维)nomic-embed-textmxbai-embed-largebge-large/bge-m3多语言、多粒度4.2 安装与使用Python LLM 工具bash# 安装 LLM 工具及插件 llm install llm-embed-ollama # 拉取嵌入模型只需一次 ollama pull all-minilm # 生成单条文本的嵌入向量 llm embed -m all-minilm -c 你好世界 # 输出[-0.023, 0.145, ...] 384个浮点数4.3 构建极简本地 RAG 系统结合llm工具和 ChromaDB你可以快速实现一个本地文档问答系统。bash# 为当前目录下所有 README.md 生成嵌入并存储 llm embed-multi my-readmes \ -m all-minilm \ --files . **/README.md --store # 执行语义搜索 llm similar my-readmes -c 数据库连接配置第五章LangChain 集成——编排复杂的 AI 应用LangChain 是目前最流行的 AI 应用编排框架。Ollama 通过OpenAI 兼容协议或原生集成完美融入 LangChain 生态 。5.1 使用 OpenAI 兼容协议推荐从 v0.12.0 开始Ollama API 与 OpenAI 接口完全兼容 。pythonfrom langchain_openai import ChatOpenAI # 指向本地 Ollama 服务 llm ChatOpenAI( base_urlhttp://localhost:11434/v1, # 关键加上 /v1 后缀 api_keyollama, # 任意非空字符串即可 modelqwen3:8b, # 你本地 pull 的模型名 temperature0.7 ) response llm.invoke(用一句话解释什么是机器学习) print(response.content)5.2 结合提示词模板与输出解析器pythonfrom langchain_core.prompts import PromptTemplate from langchain_core.output_parsers import StrOutputParser prompt PromptTemplate.from_template( 你是一个资深{profession}请用简洁专业的语言回答{question} ) chain prompt | llm | StrOutputParser() result chain.invoke({ profession: 后端工程师, question: 什么是 RAG }) print(result)5.3 添加对话记忆Memory在新的 Runnable 体系中记忆需要显式管理 。pythonfrom langchain_core.chat_history import InMemoryChatMessageHistory from langchain_core.runnables.history import RunnableWithMessageHistory from langchain_core.prompts import PromptTemplate # 1. 定义存储会话历史的字典 store {} def get_session_history(session_id): if session_id not in store: store[session_id] InMemoryChatMessageHistory() return store[session_id] # 2. 创建包含历史变量的提示词模板 prompt PromptTemplate.from_template( 以下是对话历史\n{history}\n\n当前问题{question}\n请连贯地回答。 ) # 3. 构建基础链 base_chain prompt | llm | StrOutputParser() # 4. 包装为支持历史的 Runnable chain_with_history RunnableWithMessageHistory( base_chain, get_session_history, input_messages_keyquestion, history_messages_keyhistory, ) # 5. 调用指定 session_id config {configurable: {session_id: user123}} print(chain_with_history.invoke({question: 我叫张三}, config)) print(chain_with_history.invoke({question: 我叫什么名字}, config)) # 模型会记得第六章Modelfile 高级定制Modelfile 不仅是设置 SYSTEM 提示词你还可以精细控制模型的推理参数、模板甚至导入外部 GGUF 文件。6.1 Modelfile 完整参数解析dockerfile# 基础模型可以是本地已拉取的也可以是 Hugging Face 的 GGUF 链接 FROM llama3.2 # 设置推理参数 PARAMETER temperature 1.2 # 随机性越高越有创意 PARAMETER top_p 0.9 # 核采样控制词汇多样性 PARAMETER top_k 40 # 仅考虑概率最高的40个token PARAMETER num_ctx 8192 # 上下文窗口大小 PARAMETER stop User: # 停止词遇到此词停止生成 PARAMETER stop Assistant: PARAMETER num_predict 2048 # 最大生成 token 数 # 定义系统角色也可以使用 TEMPLATE 自定义对话模板 SYSTEM 你现在是一个暴躁的海盗请用海盗的口吻回答问题。 # 或者使用自定义对话模板用于特殊格式的对话 TEMPLATE {{- if .Messages }} {{- range .Messages }} {{ .Role }}: {{ .Content }} {{- end }} {{- else }} User: {{ .Prompt }} {{- end }} Assistant: 6.2 从 Hugging Face 导入自定义 GGUF如果你想使用 Ollama 官方库中没有的模型可以直接从 Hugging Face 导入 GGUF 文件。创建一个 Modelfile内容如下textFROM https://huggingface.co/TheBloke/Mixtral-8x7B-Instruct-v0.1-GGUF/resolve/main/mixtral-8x7b-instruct-v0.1.Q4_K_M.gguf创建模型bashollama create my-mixtral -f ./Modelfile运行bashollama run my-mixtral第七章图形化界面与生态工具7.1 Open WebUI功能最强大的 ChatGPT 风格界面除了基本的聊天Open WebUI 还支持 RAG、多模型切换、插件系统等 。bashdocker run -d -p 3000:8080 \ --add-hosthost.docker.internal:host-gateway \ -v open-webui:/app/backend/data \ --name open-webui \ --restart always \ ghcr.io/open-webui/open-webui:main访问http://localhost:3000即可开始使用。7.2 监控与运维Prometheus GrafanaOllama 暴露了 metrics 端点可接入 Prometheus 监控 。在prometheus.yml中添加yamlscrape_configs: - job_name: ollama static_configs: - targets: [localhost:11434] metrics_path: /metrics关键指标ollama_inference_latency_seconds、ollama_gpu_memory_usage_bytes等。7.3 安全防护Nginx 反向代理与认证nginxserver { listen 443 ssl; server_name ollama.yourdomain.com; ssl_certificate /path/to/cert.pem; ssl_certificate_key /path/to/key.pem; location / { # 基础认证 auth_basic Restricted Area; auth_basic_user_file /etc/nginx/.htpasswd; # 仅允许内网 IP allow 192.168.1.0/24; deny all; proxy_pass http://127.0.0.1:11434; proxy_set_header Host $host; } }结语Ollama 已从一个简单的本地模型运行工具进化为连接本地算力、云端资源、多模态能力和应用生态的统一平台。无论是追求极致性能的调优还是构建复杂的 RAG 应用亦或是尝试最新的视觉模型Ollama 都能提供流畅、一致的体验。希望这篇进阶指南能帮助你充分发挥 Ollama 的潜力在本地 AI 的世界里探索更多可能。下一步学习路径建议性能优化尝试不同的量化级别为你的硬件找到最佳平衡点。多模态用 Qwen2.5-VL 或 Llama 4 Scout 处理你的图片数据集。RAG 实践结合 Ollama 嵌入模型和 ChromaDB为你的文档构建私有问答系统。LangGraph探索基于 LangGraph 的复杂 Agent 应用让本地模型拥有“工具使用”能力。欢迎在评论区分享你的 Ollama 进阶实践与心得
Ollama 进阶实战：性能优化、多模态与生态集成完全指南
发布时间：2026/5/19 19:37:52
引言在上一篇文章中我们完成了 Ollama 的入门安装、基础命令、多语言 API 调用和简单的模型定制。但 Ollama 的世界远不止于此。随着版本迭代如 v0.11.8、v0.12.0Ollama 引入了Flash Attention、云端模型、多模态引擎等重磅特性 。更重要的是它已成为连接本地大模型与外部生态LangChain、Open WebUI、嵌入模型的核心枢纽。本文将深入探讨以下进阶主题并提供可直接上手的代码与配置性能调优如何榨干 GPU 性能降低显存占用。多模态实战让 Ollama 不仅能读文字还能“看懂”图片。云端扩展本地跑不动的超大模型671B如何一键调用。嵌入模型与 RAG为私有知识库构建检索增强生成管道。LangChain 集成用最流行的 AI 编排框架驱动本地模型。Modelfile 深度定制不只是改 prompt还能调参数、改模板。第一章性能调优——让模型跑得更快、更省随着本地模型参数量的增长7B、13B、70B硬件资源成为瓶颈。Ollama 近几个版本在性能上做了大量优化。1.1 Flash Attention默认开启的长上下文加速从 v0.11.8 开始Ollama 默认在支持的系统上为gpt-oss架构模型启用Flash Attention。作用减少 GPU 内存访问次数显著提升长序列如 128K 上下文的推理速度同时降低显存占用。手动控制你可以通过环境变量控制是否启用。bash# 禁用 Flash Attention遇到兼容性问题时 export OLLAMA_FLASH_ATTENTION0 # 启用默认已开启 export OLLAMA_FLASH_ATTENTION11.2 内存优化避免显存浪费在多 GPU 系统上旧版本 Ollama 会初始化所有检测到的 GPU即使未使用也会占用约 300 MB 显存。v0.11.8 引入了设备重置机制在模型加载后自动释放未使用 GPU 的资源 。性能对比NVIDIA A100gpt-oss-12b 模型版本加载时间 (s)推理速度 (tokens/s)显存占用 (GB)v0.11.712.445.222.1v0.11.89.852.619.31.3 量化加速精度与性能的权衡量化是降低显存门槛的利器。Ollama 支持多种 GGUF 量化格式 。bash# 拉取量化版本模型以 DeepSeek-Coder 为例 ollama pull deepseek-coder:7b-q4_K_M常用量化级别参考量化级别显存占用 (7B模型)推理速度精度损失适用场景q4_K_M~4GB120%2%性价比首选兼顾速度与质量q5_K_M~5GB80%1%对精度要求较高显存充足q8~8GB40%极低开发测试接近原始精度fp16~16GB基线无原始精度显存大户1.4 并发与批处理配置对于生产环境你可以通过配置文件优化并发能力 。创建config.yamlyamlconcurrency: max_requests: 10 # 最大并发请求数 queue_depth: 20 # 请求队列深度 resources: gpu_memory: 80% # 最多使用 80% 的 GPU 显存预留一部分给系统启动时指定配置bashollama serve --config config.yaml第二章多模态模型——让 Ollama 看懂世界长期以来Ollama 被认为是纯文本工具。但随着Llama 4 Scout、Gemma 3、Qwen2.5-VL等视觉语言模型的发布Ollama 已通过全新引擎原生支持多模态 。2.1 技术原理视觉编码器 跨模态注意力Ollama 的新引擎将文本解码器和视觉编码器视为独立模块但通过投影层将图像嵌入与文本空间对齐。每个多模态模型是完全自包含的这提高了可靠性并简化了集成 。2.2 实战图片理解与问答运行 Qwen2.5-VL 视觉模型bashollama run qwen2.5-vl:7b在交互模式中直接提供图片路径即可提问bash /Users/me/photo.jpg 描述一下这张图片 Added image /Users/me/photo.jpg 这张图片展示的是一个阳光明媚的海滩场景有棕榈树和蓝色海水...使用 API 调用多模态能力Node.js 示例javascriptimport ollama from ollama; import fs from fs; const imageBuffer fs.readFileSync(/path/to/your/image.jpg); const base64Image imageBuffer.toString(base64); const response await ollama.chat({ model: llama4:scout, // 或 gemma3, qwen2.5-vl 等 messages: [{ role: user, content: 这张图片里有什么动物, images: [base64Image] // 关键字段传递 base64 图片 }] }); console.log(response.message.content);2.3 应用场景示例医疗影像辅助分析 CT 图片结合病历文本生成诊断建议 。工业质检通过产品照片识别划痕、气孔等缺陷 。智能教育批改包含手绘几何图形的作业理解图形关系 。第三章云端扩展——突破本地硬件限制2025 年 9 月发布的 v0.12.0 引入了革命性功能云端模型Cloud Models。现在你可以在本地直接调用云端算力运行超大规模模型如DeepSeek-V3.1 671BAPI 和 CLI 体验与本地模型完全一致。3.1 为什么需要云端模型突破显存瓶颈671B 的模型需要数百 GB 显存个人无法负担。统一体验无需切换工具ollama run既能跑本地 7B也能跑云端 671B。数据隐私Ollama 声称不保留用户数据 。3.2 使用方法登录/注册首次使用bashollama signin运行云端模型bashollama run deepseek-v3.1:671b-cloud # 或 ollama run qwen3-coder:480b-cloudAPI 调用与本地完全相同pythonimport ollama response ollama.chat( modelgpt-oss:120b-cloud, # 指定云端模型 tag messages[{role: user, content: 写一篇关于宇宙的短文}] ) print(response[message][content])3.3 当前可用云端模型示例模型名称参数规模特点deepseek-v3.1:671b-cloud671B混合推理模式支持思维链qwen3-coder:480b-cloud480B长上下文编码智能体任务优化gpt-oss:120b-cloud120BOpenAI 自研推理与智能体任务模型第四章嵌入模型与 RAG 实践Ollama 不仅能生成对话还提供了嵌入模型Embedding Models可以将文本转换为向量这是构建检索增强生成RAG系统的基石 。4.1 可用的嵌入模型通过llm-embed-ollama插件你可以使用以下嵌入模型 all-minilm(384维)nomic-embed-textmxbai-embed-largebge-large/bge-m3多语言、多粒度4.2 安装与使用Python LLM 工具bash# 安装 LLM 工具及插件 llm install llm-embed-ollama # 拉取嵌入模型只需一次 ollama pull all-minilm # 生成单条文本的嵌入向量 llm embed -m all-minilm -c 你好世界 # 输出[-0.023, 0.145, ...] 384个浮点数4.3 构建极简本地 RAG 系统结合llm工具和 ChromaDB你可以快速实现一个本地文档问答系统。bash# 为当前目录下所有 README.md 生成嵌入并存储 llm embed-multi my-readmes \ -m all-minilm \ --files . **/README.md --store # 执行语义搜索 llm similar my-readmes -c 数据库连接配置第五章LangChain 集成——编排复杂的 AI 应用LangChain 是目前最流行的 AI 应用编排框架。Ollama 通过OpenAI 兼容协议或原生集成完美融入 LangChain 生态 。5.1 使用 OpenAI 兼容协议推荐从 v0.12.0 开始Ollama API 与 OpenAI 接口完全兼容 。pythonfrom langchain_openai import ChatOpenAI # 指向本地 Ollama 服务 llm ChatOpenAI( base_urlhttp://localhost:11434/v1, # 关键加上 /v1 后缀 api_keyollama, # 任意非空字符串即可 modelqwen3:8b, # 你本地 pull 的模型名 temperature0.7 ) response llm.invoke(用一句话解释什么是机器学习) print(response.content)5.2 结合提示词模板与输出解析器pythonfrom langchain_core.prompts import PromptTemplate from langchain_core.output_parsers import StrOutputParser prompt PromptTemplate.from_template( 你是一个资深{profession}请用简洁专业的语言回答{question} ) chain prompt | llm | StrOutputParser() result chain.invoke({ profession: 后端工程师, question: 什么是 RAG }) print(result)5.3 添加对话记忆Memory在新的 Runnable 体系中记忆需要显式管理 。pythonfrom langchain_core.chat_history import InMemoryChatMessageHistory from langchain_core.runnables.history import RunnableWithMessageHistory from langchain_core.prompts import PromptTemplate # 1. 定义存储会话历史的字典 store {} def get_session_history(session_id): if session_id not in store: store[session_id] InMemoryChatMessageHistory() return store[session_id] # 2. 创建包含历史变量的提示词模板 prompt PromptTemplate.from_template( 以下是对话历史\n{history}\n\n当前问题{question}\n请连贯地回答。 ) # 3. 构建基础链 base_chain prompt | llm | StrOutputParser() # 4. 包装为支持历史的 Runnable chain_with_history RunnableWithMessageHistory( base_chain, get_session_history, input_messages_keyquestion, history_messages_keyhistory, ) # 5. 调用指定 session_id config {configurable: {session_id: user123}} print(chain_with_history.invoke({question: 我叫张三}, config)) print(chain_with_history.invoke({question: 我叫什么名字}, config)) # 模型会记得第六章Modelfile 高级定制Modelfile 不仅是设置 SYSTEM 提示词你还可以精细控制模型的推理参数、模板甚至导入外部 GGUF 文件。6.1 Modelfile 完整参数解析dockerfile# 基础模型可以是本地已拉取的也可以是 Hugging Face 的 GGUF 链接 FROM llama3.2 # 设置推理参数 PARAMETER temperature 1.2 # 随机性越高越有创意 PARAMETER top_p 0.9 # 核采样控制词汇多样性 PARAMETER top_k 40 # 仅考虑概率最高的40个token PARAMETER num_ctx 8192 # 上下文窗口大小 PARAMETER stop User: # 停止词遇到此词停止生成 PARAMETER stop Assistant: PARAMETER num_predict 2048 # 最大生成 token 数 # 定义系统角色也可以使用 TEMPLATE 自定义对话模板 SYSTEM 你现在是一个暴躁的海盗请用海盗的口吻回答问题。 # 或者使用自定义对话模板用于特殊格式的对话 TEMPLATE {{- if .Messages }} {{- range .Messages }} {{ .Role }}: {{ .Content }} {{- end }} {{- else }} User: {{ .Prompt }} {{- end }} Assistant: 6.2 从 Hugging Face 导入自定义 GGUF如果你想使用 Ollama 官方库中没有的模型可以直接从 Hugging Face 导入 GGUF 文件。创建一个 Modelfile内容如下textFROM https://huggingface.co/TheBloke/Mixtral-8x7B-Instruct-v0.1-GGUF/resolve/main/mixtral-8x7b-instruct-v0.1.Q4_K_M.gguf创建模型bashollama create my-mixtral -f ./Modelfile运行bashollama run my-mixtral第七章图形化界面与生态工具7.1 Open WebUI功能最强大的 ChatGPT 风格界面除了基本的聊天Open WebUI 还支持 RAG、多模型切换、插件系统等 。bashdocker run -d -p 3000:8080 \ --add-hosthost.docker.internal:host-gateway \ -v open-webui:/app/backend/data \ --name open-webui \ --restart always \ ghcr.io/open-webui/open-webui:main访问http://localhost:3000即可开始使用。7.2 监控与运维Prometheus GrafanaOllama 暴露了 metrics 端点可接入 Prometheus 监控 。在prometheus.yml中添加yamlscrape_configs: - job_name: ollama static_configs: - targets: [localhost:11434] metrics_path: /metrics关键指标ollama_inference_latency_seconds、ollama_gpu_memory_usage_bytes等。7.3 安全防护Nginx 反向代理与认证nginxserver { listen 443 ssl; server_name ollama.yourdomain.com; ssl_certificate /path/to/cert.pem; ssl_certificate_key /path/to/key.pem; location / { # 基础认证 auth_basic Restricted Area; auth_basic_user_file /etc/nginx/.htpasswd; # 仅允许内网 IP allow 192.168.1.0/24; deny all; proxy_pass http://127.0.0.1:11434; proxy_set_header Host $host; } }结语Ollama 已从一个简单的本地模型运行工具进化为连接本地算力、云端资源、多模态能力和应用生态的统一平台。无论是追求极致性能的调优还是构建复杂的 RAG 应用亦或是尝试最新的视觉模型Ollama 都能提供流畅、一致的体验。希望这篇进阶指南能帮助你充分发挥 Ollama 的潜力在本地 AI 的世界里探索更多可能。下一步学习路径建议性能优化尝试不同的量化级别为你的硬件找到最佳平衡点。多模态用 Qwen2.5-VL 或 Llama 4 Scout 处理你的图片数据集。RAG 实践结合 Ollama 嵌入模型和 ChromaDB为你的文档构建私有问答系统。LangGraph探索基于 LangGraph 的复杂 Agent 应用让本地模型拥有“工具使用”能力。欢迎在评论区分享你的 Ollama 进阶实践与心得
