文章目录1.简介2.为什么需要 Ollama3.核心特性4.快速上手示例5.常见模型资源参考6.与其他工具的关系参考文献1.简介Ollama是一个开源的、轻量级的本地大语言模型运行平台。你可以把它理解为大模型时代的 Docker一个让你能在自己的电脑上一键下载、安装并运行各种开源大模型如 Llama、DeepSeek、Gemma、Phi 等的工具无需依赖云端 API也无需复杂的 GPU 环境配置。它最核心的价值在于让 AI 模型从“云端的服务”变成“本地的一个程序”。从此数据和隐私完全掌握在自己手里也不用为每次 API 调用付费。2.为什么需要 Ollama以往想在本地跑一个模型你需要搞定CUDA 驱动、Python 环境、PyTorch/TensorFlow、模型权重下载、显存优化……过程繁琐对非技术人员极不友好。Ollama 把这一切复杂流程封装成了一条命令真正做到了“开箱即用”。3.核心特性特性维度说明极简部署提供跨平台安装包Windows/macOS/Linux一条命令即可下载并运行模型无需手动配置 Python 环境或 CUDA。模型丰富内置模型库支持主流开源模型如 Llama 系列、DeepSeek-R1、Mistral、Gemma、Phi-4、Qwen 等可通过ollama run 模型名一键拉取。硬件兼容支持 CPU 推理也自动利用 NVIDIA GPUCUDA、AMD GPUROCm及 Apple SiliconMetal进行硬件加速。API 服务运行后自动启动 RESTful API 服务默认端口11434供其他应用如 LangChain、Chatbot UI调用方便集成到自己的项目中。可定制支持通过Modelfile自定义系统提示词、参数温度等或导入 HuggingFace 上的 GGUF 格式模型。4.快速上手示例1. 安装Windows/macOS: 官网下载.exe或.dmg安装包双击安装。Linux: 运行curl -fsSL https://ollama.com/install.sh | sh。2. 运行模型打开终端输入以下命令Ollama 会自动下载模型并启动对话# 运行 DeepSeek-R1 7B 模型ollama run deepseek-r1等待进度条跑完就可以直接在终端里和 AI 对话了。3. API 调用在模型运行期间你可以用 HTTP 请求调用它curlhttp://localhost:11434/api/generate-d{ model: deepseek-r1, prompt: 为什么天空是蓝色的 }5.常见模型资源参考模型参数规模推荐配置运行命令DeepSeek-R17B8GB 内存ollama run deepseek-r1Llama 3.23B4GB 内存ollama run llama3.2Phi-414B16GB 内存ollama run phi4Gemma 22B4GB 内存ollama run gemma2:2bMistral7B8GB 内存ollama run mistral6.与其他工具的关系与 OpenAI API 对比Ollama 是本地运行完全免费数据不上传云端但需要自己有硬件资源OpenAI 是云服务按 token 付费但无需操心硬件。与 vLLM、llama.cpp 对比Ollama 封装了 llama.cpp 等底层推理引擎提供了更友好的用户界面和模型管理能力对新手更友好。Ollama 的出现极大地推动了大模型的“民主化”进程让普通开发者和爱好者也能在自己的电脑上探索前沿 AI 能力。参考文献Ollama
Ollama 快速上手
发布时间：2026/6/24 0:27:21
文章目录1.简介2.为什么需要 Ollama3.核心特性4.快速上手示例5.常见模型资源参考6.与其他工具的关系参考文献1.简介Ollama是一个开源的、轻量级的本地大语言模型运行平台。你可以把它理解为大模型时代的 Docker一个让你能在自己的电脑上一键下载、安装并运行各种开源大模型如 Llama、DeepSeek、Gemma、Phi 等的工具无需依赖云端 API也无需复杂的 GPU 环境配置。它最核心的价值在于让 AI 模型从“云端的服务”变成“本地的一个程序”。从此数据和隐私完全掌握在自己手里也不用为每次 API 调用付费。2.为什么需要 Ollama以往想在本地跑一个模型你需要搞定CUDA 驱动、Python 环境、PyTorch/TensorFlow、模型权重下载、显存优化……过程繁琐对非技术人员极不友好。Ollama 把这一切复杂流程封装成了一条命令真正做到了“开箱即用”。3.核心特性特性维度说明极简部署提供跨平台安装包Windows/macOS/Linux一条命令即可下载并运行模型无需手动配置 Python 环境或 CUDA。模型丰富内置模型库支持主流开源模型如 Llama 系列、DeepSeek-R1、Mistral、Gemma、Phi-4、Qwen 等可通过ollama run 模型名一键拉取。硬件兼容支持 CPU 推理也自动利用 NVIDIA GPUCUDA、AMD GPUROCm及 Apple SiliconMetal进行硬件加速。API 服务运行后自动启动 RESTful API 服务默认端口11434供其他应用如 LangChain、Chatbot UI调用方便集成到自己的项目中。可定制支持通过Modelfile自定义系统提示词、参数温度等或导入 HuggingFace 上的 GGUF 格式模型。4.快速上手示例1. 安装Windows/macOS: 官网下载.exe或.dmg安装包双击安装。Linux: 运行curl -fsSL https://ollama.com/install.sh | sh。2. 运行模型打开终端输入以下命令Ollama 会自动下载模型并启动对话# 运行 DeepSeek-R1 7B 模型ollama run deepseek-r1等待进度条跑完就可以直接在终端里和 AI 对话了。3. API 调用在模型运行期间你可以用 HTTP 请求调用它curlhttp://localhost:11434/api/generate-d{ model: deepseek-r1, prompt: 为什么天空是蓝色的 }5.常见模型资源参考模型参数规模推荐配置运行命令DeepSeek-R17B8GB 内存ollama run deepseek-r1Llama 3.23B4GB 内存ollama run llama3.2Phi-414B16GB 内存ollama run phi4Gemma 22B4GB 内存ollama run gemma2:2bMistral7B8GB 内存ollama run mistral6.与其他工具的关系与 OpenAI API 对比Ollama 是本地运行完全免费数据不上传云端但需要自己有硬件资源OpenAI 是云服务按 token 付费但无需操心硬件。与 vLLM、llama.cpp 对比Ollama 封装了 llama.cpp 等底层推理引擎提供了更友好的用户界面和模型管理能力对新手更友好。Ollama 的出现极大地推动了大模型的“民主化”进程让普通开发者和爱好者也能在自己的电脑上探索前沿 AI 能力。参考文献Ollama
