Iterative Puzzle压缩框架：NVIDIA如何实现75B参数模型的高效推理

Iterative Puzzle压缩框架NVIDIA如何实现75B参数模型的高效推理【免费下载链接】NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-FP8项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-FP8NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-FP8是一款由NVIDIA开发的部署优化型大语言模型基于Nemotron-3-Super-120B-A12B衍生而来。该模型采用Iterative Puzzle这一训练后压缩框架旨在显著提升交互式、推理密集型和长上下文工作负载的推理效率同时保持强大的下游任务准确性。 核心突破从120B到75B的高效压缩Puzzle-75B-A9B通过多阶段压缩 pipeline将原始模型从120.7B总参数/12.8B活跃参数精简至75.3B总参数/9.3B活跃参数在大幅降低计算资源需求的同时依然保持了出色的推理能力。这种优化使其特别适合高并发场景下的AI Agent系统、聊天机器人和RAG系统开发。 Iterative Puzzle压缩框架解析1️⃣ 混合架构设计模型采用混合MoEMixture of Experts架构交错集成Mamba、MoE和Attention层。与Nemotron-3-Super类似它支持多令牌预测MTP以加速文本生成这一设计为后续压缩奠定了高效基础。2️⃣ 分阶段压缩流程阶段一Iterative Puzzle压缩通过知识蒸馏、强化学习恢复、量化和MTP头训练的组合将激活的路由专家预算MoE top-k限制为教师模型预算的50%并通过Puzzle框架在各层间进行异构分配。阶段二知识蒸馏与长上下文优化训练使用30%预训练数据和70%监督微调数据的混合集在32Ki序列长度下执行知识蒸馏。最终恢复阶段将蒸馏扩展到更长上下文128Ki和512Ki每个阶段使用多达100B训练令牌全局批处理大小达16Mi令牌。阶段三部署优化采用训练后量化技术FP8 checkpoint针对Hopper级GPU优化而NVFP4 checkpoint则面向Blackwell级GPU。持续的MTP训练进一步提高了推测解码的接受长度提升服务吞吐量。 部署与性能优势要在NVIDIA Hopper GPU上部署Nemotron Labs 3 Puzzle的FP8 checkpoint可使用以下命令MODEL nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-FP8 tokenizer AutoTokenizer.from_pretrained(nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-FP8) model AutoModelForCausalLM.from_pretrained( nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-FP8, device_mapauto, torch_dtypetorch.float16 )该模型特别适合处理复杂指令遵循任务和长上下文推理在保持高精度的同时为高容量工作负载提供了优化的服务器吞吐量。 深入了解技术报告Nemotron-Labs-3-Puzzle-75B-A9B: Compressing Hybrid MoE LLMsPuzzle框架原理论文[2411.19146] Puzzle: Distillation-Based NAS for Inference-Optimized LLMs通过Iterative Puzzle压缩框架NVIDIA成功实现了75B参数模型的高效推理为大语言模型的实际部署提供了强大而经济的解决方案特别适合需要平衡性能与资源消耗的AI应用场景。要开始使用该模型请克隆仓库https://gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-FP8【免费下载链接】NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-FP8项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-FP8创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考