云服务器一年至少500元还担心数据泄露。我用一台闲置的旧电脑装了个Ubuntu跑着一个真正的AI客服。数据全在本地断网也能用电费几乎可以忽略不计。这篇文章不是理论是我亲手跑通的完整记录。每一步都有命令你可以直接复制粘贴。一、先看结果在开始之前这是最终跑出来的界面一个完整的AI对话界面你可以问任何客服问题模型实时回答。速度很快完全可用。这就是你一个下午能搞定的东西。二、这篇文章适合谁✅ 适合你如果你有一台闲置的旧电脑4GB内存以上就能跑8GB更佳你想零成本验证AI客服能不能落地你希望数据不出门、不依赖云API你愿意花一个下午跟着命令走一遍⚠️ 不适合你如果你想找一个“一键安装、三分钟完事”的方案你没有任何Linux基础会复制粘贴命令就够了你想处理每秒100个请求的高并发这是企业级需求不是本方案的目标三、硬件要求比你想象的低配置最低要求推荐配置内存4GB8GB硬盘10GB空闲20GB显卡不需要纯CPU运行不需要系统Ubuntu 20.04Ubuntu 22.04我用的就是一台16GB内存的旧电脑没有独立显卡。你甚至可以拿树莓派、老笔记本、甚至云服务器的最低配来跑。四、完整操作步骤复制即用第一步安装依赖2分钟sudoaptupdatesudoaptinstall-ybuild-essentialgitwget第二步下载并编译 llama.cpp5分钟# 克隆代码gitclone https://github.com/ggerganov/llama.cppcdllama.cpp# 创建构建目录并编译mkdirbuildcdbuild cmake..cmake--build.--configRelease-j4说明旧版教程用make现在官方已切换到 CMake。上面这个命令是最新的标准方式。编译成功后可执行文件在./bin/目录下。第三步下载模型文件10分钟取决于网速# 回到上一级目录cd~/dev/llama# 创建模型存放目录mkdir-pmodels# 下载 3B 量化模型约2.5GB速度快且内存占用低wget-chttps://hf-mirror.com/Qwen/Qwen2.5-3B-Instruct-GGUF/resolve/main/qwen2.5-3b-instruct-q4_k_m.gguf-O./models/qwen2.5-3b-instruct-q4_k_m.gguf如果镜像慢可以换成官方源但国内推荐用上面这个hf-mirror.com。第四步启动 AI 客服服务10秒cd~/dev/llama/llama.cpp/build ./bin/llama-server-m~/dev/llama/models/qwen2.5-3b-instruct-q4_k_m.gguf--host0.0.0.0--port8080看到类似HTTP server listening的日志说明服务启动成功。第五步打开聊天界面在浏览器输入http://你的电脑IP地址:8080你会看到一个完整的AI对话界面。输入任何问题模型会实时回复。如何查看你的IP地址hostname-I会显示类似192.168.1.xxx的地址用这个地址加:8080即可访问。五、进阶让服务后台运行不掉线如果关掉终端服务就停了可以用screen让它后台运行# 安装 screensudoaptinstall-yscreen# 创建一个新会话screen-Sai-server# 在里面启动服务执行第四步的命令# 按 CtrlA 然后按 D 即可离开服务继续运行下次想回来看看screen-rai-server六、性能实测到底能跑多快模型内存占用响应速度推荐场景3B (Q4量化)~2.5GB非常快1-3秒实时客服对话7B (Q4量化)~4.5GB较快3-6秒更复杂的回答质量我实测3B模型16GB内存的旧电脑回答一个20字的问题约2-3秒完全可用。七、常见问题Q1make: command not found怎么办sudoaptinstallbuild-essentialQ2cmake: command not found怎么办sudoaptinstallcmakeQ3编译很慢怎么办用-j4参数4个核心并行如果电脑核心多可以改成-j8。Q4模型下载太慢怎么办用国内镜像hf-mirror.com我上面给的命令已经用了这个镜像。Q5启动后网页打不开检查服务是否启动成功终端有日志输出检查防火墙sudo ufw allow 8080检查IP地址是否正确Q6我想用自己的数据微调模型怎么办那是下一篇文章的内容。先跑通这个基础版确认整个链路没问题再用自己的数据做微调。八、总结你现在能做什么跑通之后你手里就有了能力说明✅ 一个可演示的AI客服系统可以给客户看截图/录屏✅ 完整的部署脚本下次5分钟就能搭一个新的✅ 本地部署的能力数据不出门完全合规✅ 零云服务成本一次投入永久使用这就是我写这篇文章的方式不是讲理论而是把我踩过的坑和跑通的命令全部摊在桌上。你不需要成为AI专家只需要跟着命令走一遍。最后一句你的第一个AI客服系统不需要完美只需要跑通。今天花一个下午明天你就多了一个24小时在线的员工。在这里插入图片描述本文所有命令均已在实际环境中验证Ubuntu 20.04/22.04均可运行。如果你遇到任何问题欢迎在评论区留言。
我没买云服务器，用一台旧电脑跑了个24小时AI客服（附完整命令）
发布时间：2026/6/8 23:10:55
云服务器一年至少500元还担心数据泄露。我用一台闲置的旧电脑装了个Ubuntu跑着一个真正的AI客服。数据全在本地断网也能用电费几乎可以忽略不计。这篇文章不是理论是我亲手跑通的完整记录。每一步都有命令你可以直接复制粘贴。一、先看结果在开始之前这是最终跑出来的界面一个完整的AI对话界面你可以问任何客服问题模型实时回答。速度很快完全可用。这就是你一个下午能搞定的东西。二、这篇文章适合谁✅ 适合你如果你有一台闲置的旧电脑4GB内存以上就能跑8GB更佳你想零成本验证AI客服能不能落地你希望数据不出门、不依赖云API你愿意花一个下午跟着命令走一遍⚠️ 不适合你如果你想找一个“一键安装、三分钟完事”的方案你没有任何Linux基础会复制粘贴命令就够了你想处理每秒100个请求的高并发这是企业级需求不是本方案的目标三、硬件要求比你想象的低配置最低要求推荐配置内存4GB8GB硬盘10GB空闲20GB显卡不需要纯CPU运行不需要系统Ubuntu 20.04Ubuntu 22.04我用的就是一台16GB内存的旧电脑没有独立显卡。你甚至可以拿树莓派、老笔记本、甚至云服务器的最低配来跑。四、完整操作步骤复制即用第一步安装依赖2分钟sudoaptupdatesudoaptinstall-ybuild-essentialgitwget第二步下载并编译 llama.cpp5分钟# 克隆代码gitclone https://github.com/ggerganov/llama.cppcdllama.cpp# 创建构建目录并编译mkdirbuildcdbuild cmake..cmake--build.--configRelease-j4说明旧版教程用make现在官方已切换到 CMake。上面这个命令是最新的标准方式。编译成功后可执行文件在./bin/目录下。第三步下载模型文件10分钟取决于网速# 回到上一级目录cd~/dev/llama# 创建模型存放目录mkdir-pmodels# 下载 3B 量化模型约2.5GB速度快且内存占用低wget-chttps://hf-mirror.com/Qwen/Qwen2.5-3B-Instruct-GGUF/resolve/main/qwen2.5-3b-instruct-q4_k_m.gguf-O./models/qwen2.5-3b-instruct-q4_k_m.gguf如果镜像慢可以换成官方源但国内推荐用上面这个hf-mirror.com。第四步启动 AI 客服服务10秒cd~/dev/llama/llama.cpp/build ./bin/llama-server-m~/dev/llama/models/qwen2.5-3b-instruct-q4_k_m.gguf--host0.0.0.0--port8080看到类似HTTP server listening的日志说明服务启动成功。第五步打开聊天界面在浏览器输入http://你的电脑IP地址:8080你会看到一个完整的AI对话界面。输入任何问题模型会实时回复。如何查看你的IP地址hostname-I会显示类似192.168.1.xxx的地址用这个地址加:8080即可访问。五、进阶让服务后台运行不掉线如果关掉终端服务就停了可以用screen让它后台运行# 安装 screensudoaptinstall-yscreen# 创建一个新会话screen-Sai-server# 在里面启动服务执行第四步的命令# 按 CtrlA 然后按 D 即可离开服务继续运行下次想回来看看screen-rai-server六、性能实测到底能跑多快模型内存占用响应速度推荐场景3B (Q4量化)~2.5GB非常快1-3秒实时客服对话7B (Q4量化)~4.5GB较快3-6秒更复杂的回答质量我实测3B模型16GB内存的旧电脑回答一个20字的问题约2-3秒完全可用。七、常见问题Q1make: command not found怎么办sudoaptinstallbuild-essentialQ2cmake: command not found怎么办sudoaptinstallcmakeQ3编译很慢怎么办用-j4参数4个核心并行如果电脑核心多可以改成-j8。Q4模型下载太慢怎么办用国内镜像hf-mirror.com我上面给的命令已经用了这个镜像。Q5启动后网页打不开检查服务是否启动成功终端有日志输出检查防火墙sudo ufw allow 8080检查IP地址是否正确Q6我想用自己的数据微调模型怎么办那是下一篇文章的内容。先跑通这个基础版确认整个链路没问题再用自己的数据做微调。八、总结你现在能做什么跑通之后你手里就有了能力说明✅ 一个可演示的AI客服系统可以给客户看截图/录屏✅ 完整的部署脚本下次5分钟就能搭一个新的✅ 本地部署的能力数据不出门完全合规✅ 零云服务成本一次投入永久使用这就是我写这篇文章的方式不是讲理论而是把我踩过的坑和跑通的命令全部摊在桌上。你不需要成为AI专家只需要跟着命令走一遍。最后一句你的第一个AI客服系统不需要完美只需要跑通。今天花一个下午明天你就多了一个24小时在线的员工。在这里插入图片描述本文所有命令均已在实际环境中验证Ubuntu 20.04/22.04均可运行。如果你遇到任何问题欢迎在评论区留言。
)
