ChatGLM3-6B 开源双语对话大模型完整指南10B 以下性能王者为何成为开发者首选【免费下载链接】ChatGLM3ChatGLM3 series: Open Bilingual Chat LLMs | 开源双语对话语言模型项目地址: https://gitcode.com/zai-org/ChatGLM3ChatGLM3-6B 是由智谱 AI 与清华大学 KEG 实验室联合发布的开源双语对话大模型。作为 ChatGLM 系列第三代开源模型ChatGLM3-6B 在 10B 以下基础模型中性能最强原生支持工具调用Function Call、**代码解释器Code Interpreter**与长文本32K / 128K并提供命令行、网页、OpenAI API 等开箱即用的 Demo 与微调套件是开发者本地部署大模型的热门首选。5 分钟快速上手 ChatGLM3-6B 部署新手部署 ChatGLM3 只需三步。先获取代码仓库并安装依赖git clone https://gitcode.com/zai-org/ChatGLM3 cd ChatGLM3 pip install -r requirements.txt 安装torch时请严格按照 PyTorch 官方说明选择匹配 CUDA 的版本。然后加载模型即可对话模型参数约 13GB 显存from transformers import AutoTokenizer, AutoModel tokenizer AutoTokenizer.from_pretrained(THUDM/chatglm3-6b, trust_remote_codeTrue) model AutoModel.from_pretrained(THUDM/chatglm3-6b, trust_remote_codeTrue, devicecuda).eval() response, history model.chat(tokenizer, 你好, history[]) print(response)模型家族一览4 个版本覆盖全场景ChatGLM3 开源了完整序列权重对学术研究完全开放登记后允许免费商业使用详见 开源协议模型上下文长度定位ChatGLM3-6B8K主力对话模型支持工具调用ChatGLM3-6B-Base8K基础模型适合微调与二次开发ChatGLM3-6B-32K32K长文本对话论文阅读/文档摘要ChatGLM3-6B-128K128K超长文本理解性能评测10B 以下基础模型最强ChatGLM3-6B-Base 在 8 个中英文典型数据集上全面超越同期 10B 以下最佳基线模型数据截至于 2023 年 10 月ModelGSM8KMATHBBHMMLUC-EvalCMMLUMBPPAGIEvalChatGLM2-6B-Base32.46.533.747.951.750.0--Best Baseline (10B-)52.113.145.060.163.562.247.545.8ChatGLM3-6B-Base72.325.766.161.469.067.552.453.7中文能力尤为突出C-Eval 69.0、CMMLU 67.5均领先基线 5 分以上数学推理 GSM8K 从二代的 32.4 跃升至 72.3提升翻倍。32K 长文本模型在 LongBench 上平均 50.2 分较 ChatGLM2-6B-32K 提升超 50%在论文阅读、财报分析等场景尤为明显。三大核心功能不止会聊天ChatGLM3-6B 采用全新设计的对话格式见 PROMPT 格式说明用一个统一的 Prompt 结构原生支持三类任务这也是它区别于同类开源模型的关键Chat 对话模式—— 流式多轮对话可调节 temperature、top_p 与 System PromptTool 工具调用—— 模型自主决定何时调用哪个工具并解析工具返回值生成自然语言回复示例见 tool_registry.pyCode Interpreter 代码解释器—— 模型在 Jupyter 环境中连续执行 Python 代码直到任务完成例如画一个爱心、分析这份 CSV 的缺失值。 想深入了解工具调用原理参考 工具调用教程 与示例脚本 cli_demo_tool.py。三种 Demo 快速体验命令行对话 Demo运行 cli_demo.py在终端交互式对话输入clear清空历史、stop退出python basic_demo/cli_demo.py网页版对话 Demo两种实现任选基于 Streamlit 的版本交互更流畅streamlit run basic_demo/web_demo_streamlit.py # 或 python basic_demo/web_demo_gradio.py综合 Demo三合一推荐新手使用综合 Demo一个页面集成 Chat / Tool / Code Interpreter 三种模式启动方式见 综合 Demo 文档cd composite_demo streamlit run main.pyOpenAI 兼容 API运行 api_server.py 后ChatGLM3-6B 即可作为任意 ChatGPT 应用的后端原生兼容 OpenAI 接口含流式与 Function Call测试脚本见 openai_api_request.py。低成本部署方案4-bit 量化 / CPU / Mac / 多卡没有大显存也能跑 ChatGLM3官方提供了完整的低成本部署路线4-bit 量化.quantize(4)一行代码完成显存占用大幅下降生成依然流畅CPU 部署.float()纯 CPU 推理约需 32GB 内存适合无 GPU 环境Apple Silicon Mac.to(mps)走 GPU 加速需 PyTorch-Nightly多卡切分安装accelerate后自动把模型分片到多张 GPU推理加速TensorRT-LLMNVIDIA速度数倍提升与 OpenVINOIntel 平台均有官方 Demo详见 README 低成本部署章节。模型微调与生态仓库内置微调套件 finetune_demo/支持 SFT 全量、LoRA 与 P-Tuning v2 三种方式提供示例 Notebook与 DeepSpeed 配置LoRA 微调单卡约 14GB 显存P-Tuning v2单卡约 18GB 显存SFT 全量四卡 A100/H100生态方面LangChain 集成示例在 langchain_demo/含天气、计算器、单位换算等内置工具社区还有 chatglm.cpp、LangChain-ChatGLM、BISHENG 等深度支持项目完整列表见 README 友情链接。常见问题 FAQ显存不够 13GB使用 4-bit 量化或 CPU 部署参考上文低成本方案。下载模型太慢可先从模型平台下载到本地再用AutoModel.from_pretrained(本地路径)加载。支持商用吗填写问卷登记后所有开源权重均允许免费商业使用请遵守 MODEL_LICENSE。32K/128K 版本能调用工具吗不能工具调用Function Call仅 ChatGLM3-6B 支持。总结ChatGLM3-6B 凭借 10B 以下最强基础性能、统一的工具/代码/对话 Prompt 架构、13GB 显存即可部署的低门槛以及覆盖 Demo→API→微调的完整开源套件成为个人开发者与企业本地化部署大模型的高性价比之选。现在就可以克隆仓库5 分钟拥有自己的开源双语对话助手 【免费下载链接】ChatGLM3ChatGLM3 series: Open Bilingual Chat LLMs | 开源双语对话语言模型项目地址: https://gitcode.com/zai-org/ChatGLM3创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 ChatGLM3-6B 开源双语对话大模型完整指南：10B 以下性能王者为何成为开发者首选
ChatGLM3-6B 开源双语对话大模型完整指南10B 以下性能王者为何成为开发者首选【免费下载链接】ChatGLM3ChatGLM3 series: Open Bilingual Chat LLMs | 开源双语对话语言模型项目地址: https://gitcode.com/zai-org/ChatGLM3ChatGLM3-6B 是由智谱 AI 与清华大学 KEG 实验室联合发布的开源双语对话大模型。作为 ChatGLM 系列第三代开源模型ChatGLM3-6B 在 10B 以下基础模型中性能最强原生支持工具调用Function Call、**代码解释器Code Interpreter**与长文本32K / 128K并提供命令行、网页、OpenAI API 等开箱即用的 Demo 与微调套件是开发者本地部署大模型的热门首选。5 分钟快速上手 ChatGLM3-6B 部署新手部署 ChatGLM3 只需三步。先获取代码仓库并安装依赖git clone https://gitcode.com/zai-org/ChatGLM3 cd ChatGLM3 pip install -r requirements.txt 安装torch时请严格按照 PyTorch 官方说明选择匹配 CUDA 的版本。然后加载模型即可对话模型参数约 13GB 显存from transformers import AutoTokenizer, AutoModel tokenizer AutoTokenizer.from_pretrained(THUDM/chatglm3-6b, trust_remote_codeTrue) model AutoModel.from_pretrained(THUDM/chatglm3-6b, trust_remote_codeTrue, devicecuda).eval() response, history model.chat(tokenizer, 你好, history[]) print(response)模型家族一览4 个版本覆盖全场景ChatGLM3 开源了完整序列权重对学术研究完全开放登记后允许免费商业使用详见 开源协议模型上下文长度定位ChatGLM3-6B8K主力对话模型支持工具调用ChatGLM3-6B-Base8K基础模型适合微调与二次开发ChatGLM3-6B-32K32K长文本对话论文阅读/文档摘要ChatGLM3-6B-128K128K超长文本理解性能评测10B 以下基础模型最强ChatGLM3-6B-Base 在 8 个中英文典型数据集上全面超越同期 10B 以下最佳基线模型数据截至于 2023 年 10 月ModelGSM8KMATHBBHMMLUC-EvalCMMLUMBPPAGIEvalChatGLM2-6B-Base32.46.533.747.951.750.0--Best Baseline (10B-)52.113.145.060.163.562.247.545.8ChatGLM3-6B-Base72.325.766.161.469.067.552.453.7中文能力尤为突出C-Eval 69.0、CMMLU 67.5均领先基线 5 分以上数学推理 GSM8K 从二代的 32.4 跃升至 72.3提升翻倍。32K 长文本模型在 LongBench 上平均 50.2 分较 ChatGLM2-6B-32K 提升超 50%在论文阅读、财报分析等场景尤为明显。三大核心功能不止会聊天ChatGLM3-6B 采用全新设计的对话格式见 PROMPT 格式说明用一个统一的 Prompt 结构原生支持三类任务这也是它区别于同类开源模型的关键Chat 对话模式—— 流式多轮对话可调节 temperature、top_p 与 System PromptTool 工具调用—— 模型自主决定何时调用哪个工具并解析工具返回值生成自然语言回复示例见 tool_registry.pyCode Interpreter 代码解释器—— 模型在 Jupyter 环境中连续执行 Python 代码直到任务完成例如画一个爱心、分析这份 CSV 的缺失值。 想深入了解工具调用原理参考 工具调用教程 与示例脚本 cli_demo_tool.py。三种 Demo 快速体验命令行对话 Demo运行 cli_demo.py在终端交互式对话输入clear清空历史、stop退出python basic_demo/cli_demo.py网页版对话 Demo两种实现任选基于 Streamlit 的版本交互更流畅streamlit run basic_demo/web_demo_streamlit.py # 或 python basic_demo/web_demo_gradio.py综合 Demo三合一推荐新手使用综合 Demo一个页面集成 Chat / Tool / Code Interpreter 三种模式启动方式见 综合 Demo 文档cd composite_demo streamlit run main.pyOpenAI 兼容 API运行 api_server.py 后ChatGLM3-6B 即可作为任意 ChatGPT 应用的后端原生兼容 OpenAI 接口含流式与 Function Call测试脚本见 openai_api_request.py。低成本部署方案4-bit 量化 / CPU / Mac / 多卡没有大显存也能跑 ChatGLM3官方提供了完整的低成本部署路线4-bit 量化.quantize(4)一行代码完成显存占用大幅下降生成依然流畅CPU 部署.float()纯 CPU 推理约需 32GB 内存适合无 GPU 环境Apple Silicon Mac.to(mps)走 GPU 加速需 PyTorch-Nightly多卡切分安装accelerate后自动把模型分片到多张 GPU推理加速TensorRT-LLMNVIDIA速度数倍提升与 OpenVINOIntel 平台均有官方 Demo详见 README 低成本部署章节。模型微调与生态仓库内置微调套件 finetune_demo/支持 SFT 全量、LoRA 与 P-Tuning v2 三种方式提供示例 Notebook与 DeepSpeed 配置LoRA 微调单卡约 14GB 显存P-Tuning v2单卡约 18GB 显存SFT 全量四卡 A100/H100生态方面LangChain 集成示例在 langchain_demo/含天气、计算器、单位换算等内置工具社区还有 chatglm.cpp、LangChain-ChatGLM、BISHENG 等深度支持项目完整列表见 README 友情链接。常见问题 FAQ显存不够 13GB使用 4-bit 量化或 CPU 部署参考上文低成本方案。下载模型太慢可先从模型平台下载到本地再用AutoModel.from_pretrained(本地路径)加载。支持商用吗填写问卷登记后所有开源权重均允许免费商业使用请遵守 MODEL_LICENSE。32K/128K 版本能调用工具吗不能工具调用Function Call仅 ChatGLM3-6B 支持。总结ChatGLM3-6B 凭借 10B 以下最强基础性能、统一的工具/代码/对话 Prompt 架构、13GB 显存即可部署的低门槛以及覆盖 Demo→API→微调的完整开源套件成为个人开发者与企业本地化部署大模型的高性价比之选。现在就可以克隆仓库5 分钟拥有自己的开源双语对话助手 【免费下载链接】ChatGLM3ChatGLM3 series: Open Bilingual Chat LLMs | 开源双语对话语言模型项目地址: https://gitcode.com/zai-org/ChatGLM3创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考