1. 安装 Ollama执行以下命令安装 Ollamacurl -fsSL https://ollama.com/install.sh | sh校验是否安装成功ollama --version2. 配置环境变量关键参数export OLLAMA_HOST0.0.0.0:11434 export OLLAMA_MODELS/data/ollama/models export OLLAMA_NUM_GPU999 export OLLAMA_KEEP_ALIVE24h export OLLAMA_NUM_PARALLEL13. 创建目录mkdir -p /data/ollama/models4. nohup 后台启动服务nohup ollama serve /data/ollama/ollama.log 21 5. 验证服务是否正常等待 3~5 秒curl 127.0.0.1:11434/api/tags✅ 返回{models:[]}代表服务正常。6. 拉取 Qwen2.5-VL-7B Q4_K_Mollama pull qwen2.5vl:7b-q4_K_M7. 交互式测试ollama run qwen2.5vl:7b-q4_K_M配套常用命令# 实时看日志 tail -f /data/ollama/ollama.log 查看进程 ps aux | grep ollama 停止 ollama、释放显存 pkill ollama⚠️ 重要提醒当前是 Pod 内 nohup 后台Pod 一旦重启ollama 进程会消失长期稳定部署需要 K8s YAML。⚠️ 硬件RTX3060 12Gq4_K_M 刚好适配不要更高量化版本容易 OOM。已自动修正空格、标点及英文大小写并将 Markdown 内容分割为规范的标题、段落和代码块。 end_of_last_edit 安装 Ollama——配置 Qwen2.5-VL-7B Q4_K_M
1. 安装 Ollama执行以下命令安装 Ollamacurl -fsSL https://ollama.com/install.sh | sh校验是否安装成功ollama --version2. 配置环境变量关键参数export OLLAMA_HOST0.0.0.0:11434 export OLLAMA_MODELS/data/ollama/models export OLLAMA_NUM_GPU999 export OLLAMA_KEEP_ALIVE24h export OLLAMA_NUM_PARALLEL13. 创建目录mkdir -p /data/ollama/models4. nohup 后台启动服务nohup ollama serve /data/ollama/ollama.log 21 5. 验证服务是否正常等待 3~5 秒curl 127.0.0.1:11434/api/tags✅ 返回{models:[]}代表服务正常。6. 拉取 Qwen2.5-VL-7B Q4_K_Mollama pull qwen2.5vl:7b-q4_K_M7. 交互式测试ollama run qwen2.5vl:7b-q4_K_M配套常用命令# 实时看日志 tail -f /data/ollama/ollama.log 查看进程 ps aux | grep ollama 停止 ollama、释放显存 pkill ollama⚠️ 重要提醒当前是 Pod 内 nohup 后台Pod 一旦重启ollama 进程会消失长期稳定部署需要 K8s YAML。⚠️ 硬件RTX3060 12Gq4_K_M 刚好适配不要更高量化版本容易 OOM。已自动修正空格、标点及英文大小写并将 Markdown 内容分割为规范的标题、段落和代码块。 end_of_last_edit