AMD Kimi-K2.5-Eagle3-FP8是什么一文读懂FP8量化草稿模型如何让Kimi-K2.5推理提速2倍【免费下载链接】Kimi-K2.5-Eagle3-FP8项目地址: https://ai.gitcode.com/hf_mirrors/amd/Kimi-K2.5-Eagle3-FP8AMD Kimi-K2.5-Eagle3-FP8是 AMD 官方发布的一款 FP8 量化 Eagle3 草稿模型draft model专为加速 Kimi-K2.5 大模型的推理而生。它基于 AMD Quark 工具对 Eagle3 投机解码草稿模型进行量化压缩实测可将 Kimi-K2.5 的推理吞吐最高提升2.00 倍。无论你是刚接触大模型部署的新手还是想给自家服务提速的开发者这篇 AMD Kimi-K2.5-Eagle3-FP8 详解都能帮你快速搞懂它的原理、亮点与部署方法。为什么 Kimi-K2.5 需要草稿模型先搞懂投机解码 Kimi-K2.5 是参数量巨大的旗舰级大模型采用自回归方式逐 token 生成内容速度天然受限。为了突破这个瓶颈业界常用投机解码Speculative Decoding技术草稿模型快速猜一个轻量小模型Eagle3抢先预测接下来多个 token目标模型批量校验Kimi-K2.5 一次校验整批候选 token正确则全部采纳一次推理就产出多个 token大幅提升吞吐。Eagle3 正是这种先遣队式的MTP多 token 预测草稿模型架构上只有单层 Transformernum_hidden_layers 1体积小、速度快。而AMD Kimi-K2.5-Eagle3-FP8就是把这个草稿模型再做一次 FP8 量化让它跑得更快、更省显存。AMD Kimi-K2.5-Eagle3-FP8 的三大核心亮点 ✨亮点一FP8 量化草稿模型瘦身不缩水本项目使用 AMD Quarkv0.12对 Eagle3 草稿模型进行量化核心参数如下权重量化FP8 E4M3 格式静态static、per-channel、对称量化激活量化FP8 E4M3 格式动态dynamic、per-channel、对称量化量化范围midlayer中的注意力投影q/k/v/o_proj与 MLP 层gate/up/down_proj刻意保留fc投影与lm_head不量化保证与目标模型共享 LM head 的逻辑一致。量化后的权重格式、缩放系数等元数据完整写入 config.json推理框架可自动识别无需额外处理。亮点二文件到文件量化无需校准数据集传统量化通常需要收集大量校准数据calibration dataset来调整缩放范围而本项目采用file-to-file quantization直接转换全程零校准、零调参一条命令即可复现。量化脚本示例见 README.md。亮点三体积小巧权重一目了然整个模型权重约5.7 GB拆分为两个 safetensors 文件model-00001-of-00002.safetensors 与 model-00002-of-00002.safetensors具体的张量分布可查看 model.safetensors.index.json。实测数据推理提速最高 2.00 倍 在单台 AMD Instinct MI355X 节点上TP4输入/输出长度 1K/1K官方给出的吞吐测试结果如下并发数无投机 (tok/s/GPU)BF16 草稿 (tok/s/GPU)FP8 草稿 (tok/s/GPU)482.7157.01.90x165.22.00x8142.2269.11.89x270.11.90x16220.5399.61.81x412.71.87x32342.2627.61.83x633.81.85x64533.3901.61.69x936.61.76x可以看到FP8 草稿模型在所有并发下吞吐均不输 BF16 版本低并发时更是把速度直接翻倍。这意味着同样的硬件部署 AMD Kimi-K2.5-Eagle3-FP8 后能服务更多用户请求性价比拉满。如何在 vLLM 中部署新手也能上手的接入指南 ️第一步确认软硬件环境该模型针对AMD Instinct MI355X优化推荐环境如下ROCm7.0.0 及以上PyTorch2.9.0推理引擎vLLMROCm 版本建议使用官方 nightly 镜像操作系统Linux第二步拉取模型权重git clone https://gitcode.com/hf_mirrors/amd/Kimi-K2.5-Eagle3-FP8第三步启动 vLLM 服务并开启投机解码部署的核心是在 vLLM 启动命令中通过--speculative-config指定 FP8 草稿模型vllm serve amd/Kimi-K2.5-MXFP4 \ --tensor-parallel-size 4 \ --speculative-config {model:amd/Kimi-K2.5-Eagle3-FP8,method:eagle3,num_speculative_tokens:6,draft_tensor_parallel_size:1}这里method: eagle3表示启用 Eagle3 投机解码num_speculative_tokens: 6指草稿模型每次预生成 6 个 token。第四步注意 exclude 层的正则格式 ⚠️在 vLLM 中加载 FP8 草稿模型时config.json里的exclude字段必须写成正则表达式形式如re:.*lm_head.*否则可能出现加载异常。项目 config.json 已预置正确格式直接使用即可。完整注意事项请参阅 README.md。新手常见问题解答 ❓Q1为什么 lm_head 不量化Eagle3 草稿模型与目标模型 Kimi-K2.5 共享 LM head 逻辑保持其 BF16 精度可确保候选 token 的预测质量不受影响是刻意设计而非疏漏。Q2FP8 草稿和 BF16 草稿怎么选从官方数据看FP8 版本吞吐全面持平甚至反超 BF16 版本同时显存占用更低优先推荐 FP8 版本。Q3非 MI355X 的显卡能用吗模型本身架构通用但性能数据基于 MI355X 测得。部署前建议在你的推理栈中自行验证吞吐与输出质量再决定是否上线。总结值得一试的推理加速方案 AMD Kimi-K2.5-Eagle3-FP8 用一套FP8 量化 Eagle3 投机解码的组合拳把 Kimi-K2.5 的推理吞吐最高提升了 2 倍而且部署链路AMD Quark 量化 → vLLM 加载非常清晰几乎零门槛。如果你正在为 Kimi 系列模型的推理性能发愁不妨 clone 下来在 MI355X 上亲自跑一遍吞吐测试——数据不会说谎。【免费下载链接】Kimi-K2.5-Eagle3-FP8项目地址: https://ai.gitcode.com/hf_mirrors/amd/Kimi-K2.5-Eagle3-FP8创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 AMD Kimi-K2.5-Eagle3-FP8是什么？一文读懂FP8量化草稿模型如何让Kimi-K2.5推理提速2倍
AMD Kimi-K2.5-Eagle3-FP8是什么一文读懂FP8量化草稿模型如何让Kimi-K2.5推理提速2倍【免费下载链接】Kimi-K2.5-Eagle3-FP8项目地址: https://ai.gitcode.com/hf_mirrors/amd/Kimi-K2.5-Eagle3-FP8AMD Kimi-K2.5-Eagle3-FP8是 AMD 官方发布的一款 FP8 量化 Eagle3 草稿模型draft model专为加速 Kimi-K2.5 大模型的推理而生。它基于 AMD Quark 工具对 Eagle3 投机解码草稿模型进行量化压缩实测可将 Kimi-K2.5 的推理吞吐最高提升2.00 倍。无论你是刚接触大模型部署的新手还是想给自家服务提速的开发者这篇 AMD Kimi-K2.5-Eagle3-FP8 详解都能帮你快速搞懂它的原理、亮点与部署方法。为什么 Kimi-K2.5 需要草稿模型先搞懂投机解码 Kimi-K2.5 是参数量巨大的旗舰级大模型采用自回归方式逐 token 生成内容速度天然受限。为了突破这个瓶颈业界常用投机解码Speculative Decoding技术草稿模型快速猜一个轻量小模型Eagle3抢先预测接下来多个 token目标模型批量校验Kimi-K2.5 一次校验整批候选 token正确则全部采纳一次推理就产出多个 token大幅提升吞吐。Eagle3 正是这种先遣队式的MTP多 token 预测草稿模型架构上只有单层 Transformernum_hidden_layers 1体积小、速度快。而AMD Kimi-K2.5-Eagle3-FP8就是把这个草稿模型再做一次 FP8 量化让它跑得更快、更省显存。AMD Kimi-K2.5-Eagle3-FP8 的三大核心亮点 ✨亮点一FP8 量化草稿模型瘦身不缩水本项目使用 AMD Quarkv0.12对 Eagle3 草稿模型进行量化核心参数如下权重量化FP8 E4M3 格式静态static、per-channel、对称量化激活量化FP8 E4M3 格式动态dynamic、per-channel、对称量化量化范围midlayer中的注意力投影q/k/v/o_proj与 MLP 层gate/up/down_proj刻意保留fc投影与lm_head不量化保证与目标模型共享 LM head 的逻辑一致。量化后的权重格式、缩放系数等元数据完整写入 config.json推理框架可自动识别无需额外处理。亮点二文件到文件量化无需校准数据集传统量化通常需要收集大量校准数据calibration dataset来调整缩放范围而本项目采用file-to-file quantization直接转换全程零校准、零调参一条命令即可复现。量化脚本示例见 README.md。亮点三体积小巧权重一目了然整个模型权重约5.7 GB拆分为两个 safetensors 文件model-00001-of-00002.safetensors 与 model-00002-of-00002.safetensors具体的张量分布可查看 model.safetensors.index.json。实测数据推理提速最高 2.00 倍 在单台 AMD Instinct MI355X 节点上TP4输入/输出长度 1K/1K官方给出的吞吐测试结果如下并发数无投机 (tok/s/GPU)BF16 草稿 (tok/s/GPU)FP8 草稿 (tok/s/GPU)482.7157.01.90x165.22.00x8142.2269.11.89x270.11.90x16220.5399.61.81x412.71.87x32342.2627.61.83x633.81.85x64533.3901.61.69x936.61.76x可以看到FP8 草稿模型在所有并发下吞吐均不输 BF16 版本低并发时更是把速度直接翻倍。这意味着同样的硬件部署 AMD Kimi-K2.5-Eagle3-FP8 后能服务更多用户请求性价比拉满。如何在 vLLM 中部署新手也能上手的接入指南 ️第一步确认软硬件环境该模型针对AMD Instinct MI355X优化推荐环境如下ROCm7.0.0 及以上PyTorch2.9.0推理引擎vLLMROCm 版本建议使用官方 nightly 镜像操作系统Linux第二步拉取模型权重git clone https://gitcode.com/hf_mirrors/amd/Kimi-K2.5-Eagle3-FP8第三步启动 vLLM 服务并开启投机解码部署的核心是在 vLLM 启动命令中通过--speculative-config指定 FP8 草稿模型vllm serve amd/Kimi-K2.5-MXFP4 \ --tensor-parallel-size 4 \ --speculative-config {model:amd/Kimi-K2.5-Eagle3-FP8,method:eagle3,num_speculative_tokens:6,draft_tensor_parallel_size:1}这里method: eagle3表示启用 Eagle3 投机解码num_speculative_tokens: 6指草稿模型每次预生成 6 个 token。第四步注意 exclude 层的正则格式 ⚠️在 vLLM 中加载 FP8 草稿模型时config.json里的exclude字段必须写成正则表达式形式如re:.*lm_head.*否则可能出现加载异常。项目 config.json 已预置正确格式直接使用即可。完整注意事项请参阅 README.md。新手常见问题解答 ❓Q1为什么 lm_head 不量化Eagle3 草稿模型与目标模型 Kimi-K2.5 共享 LM head 逻辑保持其 BF16 精度可确保候选 token 的预测质量不受影响是刻意设计而非疏漏。Q2FP8 草稿和 BF16 草稿怎么选从官方数据看FP8 版本吞吐全面持平甚至反超 BF16 版本同时显存占用更低优先推荐 FP8 版本。Q3非 MI355X 的显卡能用吗模型本身架构通用但性能数据基于 MI355X 测得。部署前建议在你的推理栈中自行验证吞吐与输出质量再决定是否上线。总结值得一试的推理加速方案 AMD Kimi-K2.5-Eagle3-FP8 用一套FP8 量化 Eagle3 投机解码的组合拳把 Kimi-K2.5 的推理吞吐最高提升了 2 倍而且部署链路AMD Quark 量化 → vLLM 加载非常清晰几乎零门槛。如果你正在为 Kimi 系列模型的推理性能发愁不妨 clone 下来在 MI355X 上亲自跑一遍吞吐测试——数据不会说谎。【免费下载链接】Kimi-K2.5-Eagle3-FP8项目地址: https://ai.gitcode.com/hf_mirrors/amd/Kimi-K2.5-Eagle3-FP8创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考