5分钟本地跑起大模型

Ollama 是什么一个让你在自家电脑上运行大模型的免费工具相当于大模型的“安装管家”帮你把复杂的 AI 模型一键下载到本地不用联网也能用 。运行本地大模型可以进行微调可以作为个人的知识库比如模仿作家文风之类的并且不需要apikey的花费完全免费。第一步装Ollama就两步打开官网ollama根据电脑系统下载,比如Windows版。双击安装完事。右下角会出现个小羊驼图标第二步下载模型现在ollama界面友好了很多之前需要命令行输入现在你只需在下拉中选择你想下载安装的大模型。要考虑你的显卡比如3070左右的显卡可以玩玩8b的模型3060左右的7b,如果你的显卡很差建议运行1.5b大小的模型。目前国产的模型绝大多数都被限制比如敏感类的文字第三步开始聊天下载完就可以在对话框中和本地大模型对话了也可以使用cmd命令对话如果你觉得CMD界面不好看下载一个叫Chatbox的软件。设置里选模型来源为Ollama。点开就能用界面和ChatGPT差不多。总结后续如果想通过接口调用模型使用ollama也很简单嫌C盘空间不够下载前先点界面里的设置Settings把模型存储位置改到其他盘比如D盘省得C盘爆红。喜欢敲命令的老办法依然管用按 WinR 输入 cmd敲 ollama run deepseek-r1 也一样跑起来。