零基础Windows用户实战CPU版ChatGLM-WebUI全流程部署指南最近大语言模型的热度持续攀升许多技术爱好者都想在本地体验这类AI的魅力。但对于只有普通Windows电脑、没有独立显卡的用户来说如何顺利部署运行这类模型就成了一个现实问题。本文将手把手带你完成从零开始的全流程部署特别针对CPU环境进行优化并分享实际运行中的性能表现和注意事项。1. 环境准备Anaconda安装与配置对于Python生态下的AI项目Anaconda是最佳的选择之一。它不仅集成了Python解释器还提供了强大的虚拟环境管理功能能有效避免不同项目间的依赖冲突。1.1 下载与安装Anaconda推荐从国内镜像源下载Anaconda速度会快很多访问阿里云镜像站https://mirrors.aliyun.com/anaconda/archive/选择最新版本的Windows 64位安装包如Anaconda3-2023.09-Windows-x86_64.exe下载完成后双击运行安装程序安装过程中有几个关键选项需要注意安装路径不要包含中文或空格勾选Add Anaconda3 to my PATH environment variable虽然官方不推荐但对新手更友好注册Anaconda为默认Python选项1.2 验证安装安装完成后打开命令提示符WinR输入cmd执行以下命令验证conda --version python --version正常应该显示类似这样的版本信息conda 23.7.4 Python 3.11.5提示如果出现conda不是内部或外部命令的错误说明环境变量未正确设置。可以手动添加以下路径到系统PATH中具体路径根据你的安装位置调整C:\ProgramData\Anaconda3C:\ProgramData\Anaconda3\ScriptsC:\ProgramData\Anaconda3\Library\bin2. 模型获取与项目准备2.1 下载ChatGLM模型文件由于大语言模型文件通常较大几个GB到几十GB不等我们提供两种下载方式方式一百度网盘适合国内用户链接https://pan.baidu.com/s/1m8XxRhz1byvDPA46R_IfLw提取码8888下载后解压到指定目录如E:\ChatGLM-webui方式二GitHub适合能访问GitHub的用户git clone https://github.com/THUDM/ChatGLM-6B git clone https://github.com/Akegarasu/ChatGLM-webui2.2 项目结构说明下载完成后你的项目目录结构应该类似这样ChatGLM-webui/ ├── ChatGLM-6B/ # 模型文件 ├── ChatGLM-webui/ # Web界面代码 ├── README.md # 说明文档 └── requirements.txt # 依赖列表3. 依赖安装与配置3.1 创建专用虚拟环境为避免与系统Python环境冲突我们新建一个conda环境conda create -n chatglm python3.9 conda activate chatglm注意这里使用Python 3.9是因为某些依赖包对新版本Python支持还不够完善3.2 安装PyTorchCPU版由于我们使用CPU运行需要安装不带CUDA支持的PyTorchpip install torch1.13.1 torchvision0.14.1 -i https://pypi.tuna.tsinghua.edu.cn/simple如果下载速度慢可以尝试手动下载whl文件访问https://download.pytorch.org/whl/cpu/torch-1.13.1%2Bcpu-cp39-cp39-win_amd64.whl下载后进入文件所在目录执行pip install torch-1.13.1cpu-cp39-cp39-win_amd64.whl3.3 安装其他依赖使用清华镜像源加速安装pip install --upgrade -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple常见问题解决错误某些包安装失败尝试单独安装该包或降低版本要求警告平台不兼容确认下载的是win_amd64版本而非linux版本4. 运行与性能实测4.1 启动WebUI服务进入项目目录执行CPU专用启动脚本cd E:\ChatGLM-webui\ChatGLM-webui python webui.py --cpu或者直接运行提供的批处理文件0-使用CPU运行.bat4.2 内存占用实测下表展示了不同配置下的内存使用情况硬件配置初始加载内存推理时峰值内存备注16GB内存无法完成加载-系统会卡死32GB内存18GB26GB勉强可运行64GB内存18GB28GB流畅运行重要提示实测表明16GB内存的电脑基本无法运行32GB内存勉强可用但体验不佳推荐至少64GB内存才能获得相对流畅的体验4.3 CPU性能表现在Intel Xeon E5-2680 v4 2.40GHz (14核28线程)上的测试结果模型加载时间约8分钟首次响应时间约30秒后续响应速度简单问题10-30秒复杂问题1-2分钟CPU利用率推理期间维持在60%-80%5. 使用技巧与优化建议5.1 浏览器访问服务启动后在浏览器中访问http://127.0.0.1:17860/界面主要功能区域左侧对话历史中间聊天主界面右侧参数调整区域新手建议保持默认5.2 性能优化技巧虽然CPU模式性能有限但以下几个方法可以稍微改善体验关闭不必要的程序释放更多内存给模型使用调整对话长度在设置中限制max_length参数如512使用轻量级模型如果支持尝试4bit量化版本预热模型首次使用前先问几个简单问题预热模型5.3 常见问题排查问题现象可能原因解决方案启动时报错缺少模块依赖未正确安装重新安装requirements.txt模型加载失败模型文件损坏或路径错误检查模型路径重新下载内存不足物理内存不足增加内存或使用量化模型响应极慢CPU性能不足降低max_length参数6. 进阶方向与学习建议成功运行ChatGLM-WebUI只是开始如果想进一步深入尝试量化模型4bit/8bit量化可以大幅降低内存需求学习API调用通过Python脚本而非Web界面与模型交互探索微调在特定领域数据上微调模型以获得更好效果硬件升级考虑添加支持CUDA的显卡如RTX 3090对于持续学习推荐关注以下资源Hugging Face文档https://huggingface.co/docsPyTorch官方教程https://pytorch.org/tutorials/模型GitHub仓库的Issues区了解常见问题解决方案在实际使用中我发现模型首次加载时间较长是正常现象耐心等待即可。对于内存不足的问题最根本的解决方案还是升级硬件或者等待更高效的模型版本发布。
手把手教你用Anaconda在Windows上跑ChatGLM-WebUI（CPU版，含内存占用实测）
发布时间：2026/6/12 7:52:10
零基础Windows用户实战CPU版ChatGLM-WebUI全流程部署指南最近大语言模型的热度持续攀升许多技术爱好者都想在本地体验这类AI的魅力。但对于只有普通Windows电脑、没有独立显卡的用户来说如何顺利部署运行这类模型就成了一个现实问题。本文将手把手带你完成从零开始的全流程部署特别针对CPU环境进行优化并分享实际运行中的性能表现和注意事项。1. 环境准备Anaconda安装与配置对于Python生态下的AI项目Anaconda是最佳的选择之一。它不仅集成了Python解释器还提供了强大的虚拟环境管理功能能有效避免不同项目间的依赖冲突。1.1 下载与安装Anaconda推荐从国内镜像源下载Anaconda速度会快很多访问阿里云镜像站https://mirrors.aliyun.com/anaconda/archive/选择最新版本的Windows 64位安装包如Anaconda3-2023.09-Windows-x86_64.exe下载完成后双击运行安装程序安装过程中有几个关键选项需要注意安装路径不要包含中文或空格勾选Add Anaconda3 to my PATH environment variable虽然官方不推荐但对新手更友好注册Anaconda为默认Python选项1.2 验证安装安装完成后打开命令提示符WinR输入cmd执行以下命令验证conda --version python --version正常应该显示类似这样的版本信息conda 23.7.4 Python 3.11.5提示如果出现conda不是内部或外部命令的错误说明环境变量未正确设置。可以手动添加以下路径到系统PATH中具体路径根据你的安装位置调整C:\ProgramData\Anaconda3C:\ProgramData\Anaconda3\ScriptsC:\ProgramData\Anaconda3\Library\bin2. 模型获取与项目准备2.1 下载ChatGLM模型文件由于大语言模型文件通常较大几个GB到几十GB不等我们提供两种下载方式方式一百度网盘适合国内用户链接https://pan.baidu.com/s/1m8XxRhz1byvDPA46R_IfLw提取码8888下载后解压到指定目录如E:\ChatGLM-webui方式二GitHub适合能访问GitHub的用户git clone https://github.com/THUDM/ChatGLM-6B git clone https://github.com/Akegarasu/ChatGLM-webui2.2 项目结构说明下载完成后你的项目目录结构应该类似这样ChatGLM-webui/ ├── ChatGLM-6B/ # 模型文件 ├── ChatGLM-webui/ # Web界面代码 ├── README.md # 说明文档 └── requirements.txt # 依赖列表3. 依赖安装与配置3.1 创建专用虚拟环境为避免与系统Python环境冲突我们新建一个conda环境conda create -n chatglm python3.9 conda activate chatglm注意这里使用Python 3.9是因为某些依赖包对新版本Python支持还不够完善3.2 安装PyTorchCPU版由于我们使用CPU运行需要安装不带CUDA支持的PyTorchpip install torch1.13.1 torchvision0.14.1 -i https://pypi.tuna.tsinghua.edu.cn/simple如果下载速度慢可以尝试手动下载whl文件访问https://download.pytorch.org/whl/cpu/torch-1.13.1%2Bcpu-cp39-cp39-win_amd64.whl下载后进入文件所在目录执行pip install torch-1.13.1cpu-cp39-cp39-win_amd64.whl3.3 安装其他依赖使用清华镜像源加速安装pip install --upgrade -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple常见问题解决错误某些包安装失败尝试单独安装该包或降低版本要求警告平台不兼容确认下载的是win_amd64版本而非linux版本4. 运行与性能实测4.1 启动WebUI服务进入项目目录执行CPU专用启动脚本cd E:\ChatGLM-webui\ChatGLM-webui python webui.py --cpu或者直接运行提供的批处理文件0-使用CPU运行.bat4.2 内存占用实测下表展示了不同配置下的内存使用情况硬件配置初始加载内存推理时峰值内存备注16GB内存无法完成加载-系统会卡死32GB内存18GB26GB勉强可运行64GB内存18GB28GB流畅运行重要提示实测表明16GB内存的电脑基本无法运行32GB内存勉强可用但体验不佳推荐至少64GB内存才能获得相对流畅的体验4.3 CPU性能表现在Intel Xeon E5-2680 v4 2.40GHz (14核28线程)上的测试结果模型加载时间约8分钟首次响应时间约30秒后续响应速度简单问题10-30秒复杂问题1-2分钟CPU利用率推理期间维持在60%-80%5. 使用技巧与优化建议5.1 浏览器访问服务启动后在浏览器中访问http://127.0.0.1:17860/界面主要功能区域左侧对话历史中间聊天主界面右侧参数调整区域新手建议保持默认5.2 性能优化技巧虽然CPU模式性能有限但以下几个方法可以稍微改善体验关闭不必要的程序释放更多内存给模型使用调整对话长度在设置中限制max_length参数如512使用轻量级模型如果支持尝试4bit量化版本预热模型首次使用前先问几个简单问题预热模型5.3 常见问题排查问题现象可能原因解决方案启动时报错缺少模块依赖未正确安装重新安装requirements.txt模型加载失败模型文件损坏或路径错误检查模型路径重新下载内存不足物理内存不足增加内存或使用量化模型响应极慢CPU性能不足降低max_length参数6. 进阶方向与学习建议成功运行ChatGLM-WebUI只是开始如果想进一步深入尝试量化模型4bit/8bit量化可以大幅降低内存需求学习API调用通过Python脚本而非Web界面与模型交互探索微调在特定领域数据上微调模型以获得更好效果硬件升级考虑添加支持CUDA的显卡如RTX 3090对于持续学习推荐关注以下资源Hugging Face文档https://huggingface.co/docsPyTorch官方教程https://pytorch.org/tutorials/模型GitHub仓库的Issues区了解常见问题解决方案在实际使用中我发现模型首次加载时间较长是正常现象耐心等待即可。对于内存不足的问题最根本的解决方案还是升级硬件或者等待更高效的模型版本发布。
