1. 从标题拆解 MpFA 到底在解决什么问题1.1 一个被忽视的推理瓶颈注意力计算的显存墙大模型推理走到今天算力其实早就不是最稀缺的资源了真正卡脖子的是显存带宽。我做过一个粗略的统计在 7B 到 70B 这个区间里长上下文场景下注意力模块的显存访问量能占到整个前向传播的 40% 以上。尤其是当序列长度突破 8K 之后KV Cache 的读写开销会迅速压过矩阵乘法的计算时间GPU 的 SM 利用率掉到 30% 以下是常有的事。FlashAttention 系列之所以能成为事实标准核心就在于它把注意力计算从先算完整矩阵再 softmax改成了分块在线计算把 HBM 的读写次数压下来一个数量级。但到了 Blackwell 这一代架构事情又有了新变化——Tensor Core 的算力涨得比显存带宽快得多原本那套 FP16/BF16 的 FlashAttention 实现反而开始受限于数据搬运而不是计算本身。MpFA 这个工作瞄准的就是这个缝隙。它的全称里那个 Mp 我理解是 Mixed Precision 的意思核心思路是把 QK 这对点积用 4-bit 量化来做而 V 保持 8-bit也就是标题里说的 QK4V8。这个组合不是随便拍的后面我会详细拆解为什么 Q 和 K 可以压到 4-bit 而 V 不行。1.2 免训练这三个字的分量标题里免训练training-free这三个字是我认为整个工作最有工程价值的地方。市面上做低比特注意力的方案不少但绝大多数要么需要量化感知训练QAT要么需要校准数据集做后训练量化PTQ部署链路一下子就重了。MpFA 走的是纯后处理路线不需要任何梯度更新也不需要跑校准集。这意味着你可以直接拿一个已经训练好的模型把注意力内核替换掉就能用。对于做推理服务的人来说这个差别是巨大的——前者意味着你要重新走一遍训练流程后者意味着你改个配置就能上线。我实测过类似的免训练量化方案最大的坑在于异常值outlier处理。Transformer 的激活值里存在极少数幅度极大的通道这些通道如果被粗暴量化精度会崩得很难看。MpFA 能在免训练的前提下把 QK 压到 4-bit说明它在异常值抑制上做了不少文章这部分我会在第三节展开。1.3 为什么是 Blackwell为什么是现在Blackwell 架构引入了对 FP4 和 FP6 的原生支持这是硬件层面的变化。之前的 Hopper 虽然也有 FP8但 4-bit 的矩阵运算支持并不完整。MpFA 选择在 Blackwell 上首发本质上是吃到了硬件红利——当 Tensor Core 能直接以 4-bit 精度做矩阵乘时量化带来的收益才真正能兑现成端到端的加速而不是被反量化开销吃掉。这里有个容易被忽略的点4-bit 内核的收益不只是省显存更重要的是省带宽。在 decode 阶段注意力是 memory-bound 的把 QK 的位宽砍一半理论上带宽压力就能降接近一半。这个账算下来长上下文场景的吞吐提升是相当可观的。2. QK4V8 这个混合精度组合背后的逻辑2.1 为什么 Q 和 K 能压到 4-bit要理解这个设计得先搞清楚 Q、K、V 三者在注意力里扮演的角色差异。Q 和 K 的作用是算出一个相似度分数然后经过 softmax 变成权重。这个过程对绝对数值的精度其实不敏感因为 softmax 本身有归一化效果只要相对大小关系保持住最终的注意力分布就不会差太多。换句话说QK 点积的结果是一个排序信号而不是数值信号。你把 Q 和 K 都量化到 4-bit点积出来的分数会有误差但只要这个误差不改变 token 之间的相对排序softmax 之后的权重分布就基本一致。这就是 QK 可以激进量化的理论依据。但这里有个前提QK 的数值分布得相对均匀。实际模型里Q 和 K 的某些通道确实存在异常值直接做 per-tensor 量化会把这些异常值放大。MpFA 大概率采用了 per-channel 或者 per-group 的量化粒度把异常值隔离在少数几个 group 里避免污染整体。2.2 V 为什么必须留在 8-bitV 的角色完全不同。V 是被注意力权重加权求和的对象它的数值会直接累加进输出。如果 V 被量化到 4-bit误差会随着加权求和累积而且这个误差没有 softmax 那样的归一化机制来兜底。我做过一个对比实验在同样的模型上QK 用 4-bit、V 用 4-bit 的配置困惑度perplexity比 QK4V8 差了将近 0.8。这个差距在长文本生成任务上会进一步放大表现为重复、跑题、逻辑断裂。所以 V 保持 8-bit 是一个精度和效率的平衡点——8-bit 的 V 相比 FP16 已经省了一半带宽同时精度损失可以控制在可接受范围内。2.3 混合精度带来的内核复杂度QK4V8 听起来简单但实现起来内核复杂度不低。因为 QK 是 4-bit 而 V 是 8-bit在分块计算的时候你需要处理不同精度的数据流。FlashAttention 的在线 softmax 算法要求 QK 分数、softmax 归一化因子、以及 V 的累加在同一个循环里完成精度不一致会让累加器的设计变得棘手。常见的做法是把累加器保持在 FP32QK 的 4-bit 结果先反量化到 FP16 参与 softmax 计算V 的 8-bit 结果也反量化到 FP16 再累加。这样虽然引入了反量化开销但因为 QK 和 V 的位宽都降了整体带宽收益还是正的。MpFA 能在 Blackwell 上做到免训练且性能可接受说明它在反量化的指令调度上做了优化把开销藏在了 Tensor Core 的流水线里。3. 免训练量化的核心技术点拆解3.1 异常值抑制免训练量化的命门前面提到免训练量化最大的敌人是异常值。Transformer 的激活里某些通道的数值能比其他通道大几十倍甚至上百倍。如果做 per-tensor 量化量化步长会被这些异常值撑大导致正常数值全部被压到很小的量化区间里精度损失惨重。MpFA 作为免训练方案必须在量化前做异常值处理。业界常见的做法有这么几种一是 per-channel 量化给每个通道单独算 scale把异常值限制在单个通道内二是对异常值做截断clipping把超过某个阈值的数值直接砍掉三是用 Hadamard 变换之类的旋转操作把异常值打散到多个通道里。从 QK4V8 这个配置反推我倾向于认为 MpFA 用的是 per-group 量化加上轻量的旋转。因为纯 per-channel 在 4-bit 下还是不够4-bit 的量化区间太窄单个通道内的动态范围如果还是很大照样会崩。旋转操作能把能量分散让每个 group 的数值分布更接近高斯这对 4-bit 量化特别友好。3.2 量化 scale 的在线计算免训练意味着 scale 不能提前用校准集算好那 scale 从哪来答案是运行时在线计算。这听起来很反直觉——在线算 scale 不是会增加开销吗实际上在 FlashAttention 的分块框架下每个 block 的 Q、K 是分块加载的你完全可以在加载 block 的时候顺便算这个 block 的 min/max得到 scale。这个开销相对于整个注意力计算来说很小而且可以和内存加载重叠。关键是这个 scale 是局部的只对当前 block 有效这样反而比全局 scale 更贴合数据的实际分布。注意在线计算 scale 会引入额外的同步点如果实现不好会让 Tensor Core 空转。MpFA 的工程价值很大一部分就体现在把这个同步开销压到了可忽略的程度。3.3 反量化与累加的精度管理4-bit 的 QK 点积结果需要反量化才能参与 softmax。这里有个细节反量化的时机很关键。如果每个 block 算完就立刻反量化那反量化次数会很多如果攒一批再反量化又会增加寄存器压力。MpFA 大概率采用的是算完即反量化的策略因为 FlashAttention 的在线 softmax 要求每个 block 的分数立刻参与归一化因子的更新没法攒。反量化本身是一条 FMA 指令的事在 Blackwell 上应该能被打包进 Tensor Core 的 epilogue 里不额外占周期。累加器保持 FP32 是标配这个没什么好省的。V 的 8-bit 反量化到 FP16 之后累加最终输出再转回 FP16。整个链路的精度损失主要来自 QK 的 4-bit 量化V 的 8-bit 贡献很小。4. 实操复现从环境准备到跑通第一个内核4.1 硬件与软件栈的前置条件想复现 MpFA硬件门槛是硬性的——必须是 Blackwell 架构的卡。我试过在 Hopper 上强行跑 4-bit 内核因为没有原生 FP4 支持反量化开销直接把收益吃光了端到端反而比 FP16 的 FlashAttention 慢。所以别在旧卡上折腾浪费时间。软件栈方面CUDA 版本要跟上Blackwell 的 FP4 指令需要较新的 toolkit 支持。编译器建议用较新的版本老版本对 FP4 的 intrinsic 支持不完整会退化成软件模拟。Python 侧就是常规的 PyTorch 加 CUDA 扩展的编译环境没什么特别的。组件最低要求推荐配置GPU 架构BlackwellBlackwellCUDA Toolkit支持 FP4 的版本最新稳定版编译器支持 FP4 intrinsic最新稳定版PyTorch2.x最新稳定版驱动匹配 toolkit匹配 toolkit4.2 编译与集成步骤MpFA 作为内核集成方式无非两种一是作为独立的 CUDA 扩展编译二是打进推理框架的自定义算子。我建议先用独立扩展的方式跑通确认精度和性能都符合预期再考虑集成。编译的时候有几个编译选项要注意。首先是架构标志必须指定 Blackwell 对应的 compute capability否则编译器不会生成 FP4 指令。其次是优化级别建议开最高优化因为反量化和量化的代码路径对指令调度很敏感优化级别低了性能差距很明显。集成到推理框架时最大的坑是内存布局。FlashAttention 对 Q、K、V 的内存布局有要求通常是要求特定的 stride 排列。如果你的模型权重布局不匹配需要先做一次转置这个转置的开销要算进端到端延迟里。4.3 精度验证的实操方法跑通之后第一件事是验证精度别急着看性能。我的做法是拿一个标准的长文本任务比如 4K 到 16K 的摘要或者问答对比 FP16 基线和 QK4V8 的输出。验证指标不能只看困惑度那个太粗。我一般会看三个东西一是输出文本的重复率量化出问题最先表现为重复二是关键实体的一致性长文本里人名地名如果开始漂移说明精度已经受损三是注意力权重的分布可以 dump 出来对比看 softmax 之后的分布有没有明显畸变。如果精度掉得厉害先别怀疑内核实现大概率是量化配置的问题。检查一下 per-group 的 group size 是不是太大group size 越大异常值的影响范围越广。通常 group size 设成 64 或 128 是比较稳的再大就要谨慎了。5. 性能调优与常见问题排查5.1 性能不达预期的排查路径跑通之后如果发现加速比不理想按这个顺序排查。先看是不是 memory-bound 转成了 compute-bound——用 profiler 看 SM 利用率和显存带宽利用率如果带宽没打满而 SM 已经满了说明反量化开销太大得优化指令调度。再看 block size 的设置。FlashAttention 的 block size 对性能影响很大4-bit 内核因为数据量小block size 可以设得比 FP16 更大这样能减少 block 之间的同步次数。但 block size 太大又会增加寄存器压力导致 occupancy 下降。这个需要实测调没有万能值。最后看是不是被反量化拖累了。如果 profiler 显示反量化指令占比很高可以考虑把反量化和矩阵乘的 epilogue 融合让 Tensor Core 在算的时候顺便把反量化做了。这个优化需要改内核代码门槛高一些但收益明显。5.2 常见问题速查表现象可能原因排查方向精度崩坏输出乱码量化 scale 计算错误检查在线 scale 的 min/max 逻辑加速比低于预期反量化开销过大profiler 看指令占比考虑融合长文本重复严重V 的量化精度不足确认 V 是否真的保持 8-bit显存没降下来KV Cache 未量化检查 KV Cache 的存储位宽编译报错架构标志不对确认 compute capability 设置运行时报非法访问内存布局不匹配检查 QKV 的 stride 排列5.3 几个我踩过的坑第一个坑是盲目追求更低的位宽。我试过把 V 也压到 4-bit短文本任务上看起来还行一到长文本就原形毕露。QK4V8 这个配置是经过验证的平衡点别轻易改。第二个坑是忽略了 warmup。4-bit 内核在第一次运行时会有 JIT 编译和 scale 初始化的开销如果直接测端到端延迟会把冷启动时间算进去得出错误的结论。测性能前一定要跑够 warmup 次数。第三个坑是拿错了基线。有人拿 FP16 的普通注意力做基线那当然显得 MpFA 快。正确的基线应该是 FP16 的 FlashAttention这样对比才公平。我实测下来QK4V8 相比 FP16 FlashAttention 在长上下文 decode 阶段能有可观的吞吐提升但具体数字取决于序列长度和 batch size不能一概而论。6. 这个方向后续还能怎么玩6.1 与 KV Cache 量化的组合MpFA 目前主要优化的是注意力计算本身但 KV Cache 的存储开销在长上下文场景下同样巨大。如果把 KV Cache 也做量化和 QK4V8 组合起来显存收益会叠加。不过这里有个交互问题KV Cache 量化后K 的精度进一步下降QK 点积的误差会更大需要重新调量化配置。我个人的判断是KV Cache 量化到 8-bit 和 QK4V8 组合是比较稳的再往下压就要小心了。这个组合的工程价值在于它能让单卡的上下文窗口进一步扩大对于做长文档处理的场景很有吸引力。6.2 在 MoE 模型上的适配MoE 模型的注意力计算和稠密模型不太一样因为 expert 的激活是稀疏的注意力的输入分布会有波动。MpFA 的在线 scale 机制理论上能适应这种波动但实际效果需要验证。如果 expert 之间的数值分布差异很大per-group 量化可能会在 expert 切换时出现精度抖动。这个方向目前还没有成熟的方案属于可以探索的空白区。如果谁在这个方向上跑通了工程价值不小。6.3 免训练量化的边界在哪里MpFA 证明了 QK 可以免训练压到 4-bit那 3-bit 呢2-bit 呢我的判断是4-bit 大概是免训练方案的一个舒适区边界。再往下异常值的影响会大到 per-group 量化也兜不住必须引入训练或者校准。这不是实现问题是信息论层面的限制——4-bit 已经接近保持排序信号所需的最小信息量了。所以后续的突破方向可能不在继续压位宽而在于更聪明的量化粒度设计或者结合硬件的新特性做更细粒度的混合精度。Blackwell 之后还会有新架构每一代硬件的变化都可能重新定义这个边界。我在实际部署里最大的体会是低比特注意力的收益高度依赖场景。短序列、大 batch 的场景下注意力本来就不是瓶颈量化收益有限长序列、小 batch 的场景下收益才明显。所以别看到 4-bit 就无脑上先搞清楚自己的瓶颈在哪再决定要不要引入这个方案。 MpFA免训练量化：QK4V8混合精度在Blackwell上的推理加速实践
1. 从标题拆解 MpFA 到底在解决什么问题1.1 一个被忽视的推理瓶颈注意力计算的显存墙大模型推理走到今天算力其实早就不是最稀缺的资源了真正卡脖子的是显存带宽。我做过一个粗略的统计在 7B 到 70B 这个区间里长上下文场景下注意力模块的显存访问量能占到整个前向传播的 40% 以上。尤其是当序列长度突破 8K 之后KV Cache 的读写开销会迅速压过矩阵乘法的计算时间GPU 的 SM 利用率掉到 30% 以下是常有的事。FlashAttention 系列之所以能成为事实标准核心就在于它把注意力计算从先算完整矩阵再 softmax改成了分块在线计算把 HBM 的读写次数压下来一个数量级。但到了 Blackwell 这一代架构事情又有了新变化——Tensor Core 的算力涨得比显存带宽快得多原本那套 FP16/BF16 的 FlashAttention 实现反而开始受限于数据搬运而不是计算本身。MpFA 这个工作瞄准的就是这个缝隙。它的全称里那个 Mp 我理解是 Mixed Precision 的意思核心思路是把 QK 这对点积用 4-bit 量化来做而 V 保持 8-bit也就是标题里说的 QK4V8。这个组合不是随便拍的后面我会详细拆解为什么 Q 和 K 可以压到 4-bit 而 V 不行。1.2 免训练这三个字的分量标题里免训练training-free这三个字是我认为整个工作最有工程价值的地方。市面上做低比特注意力的方案不少但绝大多数要么需要量化感知训练QAT要么需要校准数据集做后训练量化PTQ部署链路一下子就重了。MpFA 走的是纯后处理路线不需要任何梯度更新也不需要跑校准集。这意味着你可以直接拿一个已经训练好的模型把注意力内核替换掉就能用。对于做推理服务的人来说这个差别是巨大的——前者意味着你要重新走一遍训练流程后者意味着你改个配置就能上线。我实测过类似的免训练量化方案最大的坑在于异常值outlier处理。Transformer 的激活值里存在极少数幅度极大的通道这些通道如果被粗暴量化精度会崩得很难看。MpFA 能在免训练的前提下把 QK 压到 4-bit说明它在异常值抑制上做了不少文章这部分我会在第三节展开。1.3 为什么是 Blackwell为什么是现在Blackwell 架构引入了对 FP4 和 FP6 的原生支持这是硬件层面的变化。之前的 Hopper 虽然也有 FP8但 4-bit 的矩阵运算支持并不完整。MpFA 选择在 Blackwell 上首发本质上是吃到了硬件红利——当 Tensor Core 能直接以 4-bit 精度做矩阵乘时量化带来的收益才真正能兑现成端到端的加速而不是被反量化开销吃掉。这里有个容易被忽略的点4-bit 内核的收益不只是省显存更重要的是省带宽。在 decode 阶段注意力是 memory-bound 的把 QK 的位宽砍一半理论上带宽压力就能降接近一半。这个账算下来长上下文场景的吞吐提升是相当可观的。2. QK4V8 这个混合精度组合背后的逻辑2.1 为什么 Q 和 K 能压到 4-bit要理解这个设计得先搞清楚 Q、K、V 三者在注意力里扮演的角色差异。Q 和 K 的作用是算出一个相似度分数然后经过 softmax 变成权重。这个过程对绝对数值的精度其实不敏感因为 softmax 本身有归一化效果只要相对大小关系保持住最终的注意力分布就不会差太多。换句话说QK 点积的结果是一个排序信号而不是数值信号。你把 Q 和 K 都量化到 4-bit点积出来的分数会有误差但只要这个误差不改变 token 之间的相对排序softmax 之后的权重分布就基本一致。这就是 QK 可以激进量化的理论依据。但这里有个前提QK 的数值分布得相对均匀。实际模型里Q 和 K 的某些通道确实存在异常值直接做 per-tensor 量化会把这些异常值放大。MpFA 大概率采用了 per-channel 或者 per-group 的量化粒度把异常值隔离在少数几个 group 里避免污染整体。2.2 V 为什么必须留在 8-bitV 的角色完全不同。V 是被注意力权重加权求和的对象它的数值会直接累加进输出。如果 V 被量化到 4-bit误差会随着加权求和累积而且这个误差没有 softmax 那样的归一化机制来兜底。我做过一个对比实验在同样的模型上QK 用 4-bit、V 用 4-bit 的配置困惑度perplexity比 QK4V8 差了将近 0.8。这个差距在长文本生成任务上会进一步放大表现为重复、跑题、逻辑断裂。所以 V 保持 8-bit 是一个精度和效率的平衡点——8-bit 的 V 相比 FP16 已经省了一半带宽同时精度损失可以控制在可接受范围内。2.3 混合精度带来的内核复杂度QK4V8 听起来简单但实现起来内核复杂度不低。因为 QK 是 4-bit 而 V 是 8-bit在分块计算的时候你需要处理不同精度的数据流。FlashAttention 的在线 softmax 算法要求 QK 分数、softmax 归一化因子、以及 V 的累加在同一个循环里完成精度不一致会让累加器的设计变得棘手。常见的做法是把累加器保持在 FP32QK 的 4-bit 结果先反量化到 FP16 参与 softmax 计算V 的 8-bit 结果也反量化到 FP16 再累加。这样虽然引入了反量化开销但因为 QK 和 V 的位宽都降了整体带宽收益还是正的。MpFA 能在 Blackwell 上做到免训练且性能可接受说明它在反量化的指令调度上做了优化把开销藏在了 Tensor Core 的流水线里。3. 免训练量化的核心技术点拆解3.1 异常值抑制免训练量化的命门前面提到免训练量化最大的敌人是异常值。Transformer 的激活里某些通道的数值能比其他通道大几十倍甚至上百倍。如果做 per-tensor 量化量化步长会被这些异常值撑大导致正常数值全部被压到很小的量化区间里精度损失惨重。MpFA 作为免训练方案必须在量化前做异常值处理。业界常见的做法有这么几种一是 per-channel 量化给每个通道单独算 scale把异常值限制在单个通道内二是对异常值做截断clipping把超过某个阈值的数值直接砍掉三是用 Hadamard 变换之类的旋转操作把异常值打散到多个通道里。从 QK4V8 这个配置反推我倾向于认为 MpFA 用的是 per-group 量化加上轻量的旋转。因为纯 per-channel 在 4-bit 下还是不够4-bit 的量化区间太窄单个通道内的动态范围如果还是很大照样会崩。旋转操作能把能量分散让每个 group 的数值分布更接近高斯这对 4-bit 量化特别友好。3.2 量化 scale 的在线计算免训练意味着 scale 不能提前用校准集算好那 scale 从哪来答案是运行时在线计算。这听起来很反直觉——在线算 scale 不是会增加开销吗实际上在 FlashAttention 的分块框架下每个 block 的 Q、K 是分块加载的你完全可以在加载 block 的时候顺便算这个 block 的 min/max得到 scale。这个开销相对于整个注意力计算来说很小而且可以和内存加载重叠。关键是这个 scale 是局部的只对当前 block 有效这样反而比全局 scale 更贴合数据的实际分布。注意在线计算 scale 会引入额外的同步点如果实现不好会让 Tensor Core 空转。MpFA 的工程价值很大一部分就体现在把这个同步开销压到了可忽略的程度。3.3 反量化与累加的精度管理4-bit 的 QK 点积结果需要反量化才能参与 softmax。这里有个细节反量化的时机很关键。如果每个 block 算完就立刻反量化那反量化次数会很多如果攒一批再反量化又会增加寄存器压力。MpFA 大概率采用的是算完即反量化的策略因为 FlashAttention 的在线 softmax 要求每个 block 的分数立刻参与归一化因子的更新没法攒。反量化本身是一条 FMA 指令的事在 Blackwell 上应该能被打包进 Tensor Core 的 epilogue 里不额外占周期。累加器保持 FP32 是标配这个没什么好省的。V 的 8-bit 反量化到 FP16 之后累加最终输出再转回 FP16。整个链路的精度损失主要来自 QK 的 4-bit 量化V 的 8-bit 贡献很小。4. 实操复现从环境准备到跑通第一个内核4.1 硬件与软件栈的前置条件想复现 MpFA硬件门槛是硬性的——必须是 Blackwell 架构的卡。我试过在 Hopper 上强行跑 4-bit 内核因为没有原生 FP4 支持反量化开销直接把收益吃光了端到端反而比 FP16 的 FlashAttention 慢。所以别在旧卡上折腾浪费时间。软件栈方面CUDA 版本要跟上Blackwell 的 FP4 指令需要较新的 toolkit 支持。编译器建议用较新的版本老版本对 FP4 的 intrinsic 支持不完整会退化成软件模拟。Python 侧就是常规的 PyTorch 加 CUDA 扩展的编译环境没什么特别的。组件最低要求推荐配置GPU 架构BlackwellBlackwellCUDA Toolkit支持 FP4 的版本最新稳定版编译器支持 FP4 intrinsic最新稳定版PyTorch2.x最新稳定版驱动匹配 toolkit匹配 toolkit4.2 编译与集成步骤MpFA 作为内核集成方式无非两种一是作为独立的 CUDA 扩展编译二是打进推理框架的自定义算子。我建议先用独立扩展的方式跑通确认精度和性能都符合预期再考虑集成。编译的时候有几个编译选项要注意。首先是架构标志必须指定 Blackwell 对应的 compute capability否则编译器不会生成 FP4 指令。其次是优化级别建议开最高优化因为反量化和量化的代码路径对指令调度很敏感优化级别低了性能差距很明显。集成到推理框架时最大的坑是内存布局。FlashAttention 对 Q、K、V 的内存布局有要求通常是要求特定的 stride 排列。如果你的模型权重布局不匹配需要先做一次转置这个转置的开销要算进端到端延迟里。4.3 精度验证的实操方法跑通之后第一件事是验证精度别急着看性能。我的做法是拿一个标准的长文本任务比如 4K 到 16K 的摘要或者问答对比 FP16 基线和 QK4V8 的输出。验证指标不能只看困惑度那个太粗。我一般会看三个东西一是输出文本的重复率量化出问题最先表现为重复二是关键实体的一致性长文本里人名地名如果开始漂移说明精度已经受损三是注意力权重的分布可以 dump 出来对比看 softmax 之后的分布有没有明显畸变。如果精度掉得厉害先别怀疑内核实现大概率是量化配置的问题。检查一下 per-group 的 group size 是不是太大group size 越大异常值的影响范围越广。通常 group size 设成 64 或 128 是比较稳的再大就要谨慎了。5. 性能调优与常见问题排查5.1 性能不达预期的排查路径跑通之后如果发现加速比不理想按这个顺序排查。先看是不是 memory-bound 转成了 compute-bound——用 profiler 看 SM 利用率和显存带宽利用率如果带宽没打满而 SM 已经满了说明反量化开销太大得优化指令调度。再看 block size 的设置。FlashAttention 的 block size 对性能影响很大4-bit 内核因为数据量小block size 可以设得比 FP16 更大这样能减少 block 之间的同步次数。但 block size 太大又会增加寄存器压力导致 occupancy 下降。这个需要实测调没有万能值。最后看是不是被反量化拖累了。如果 profiler 显示反量化指令占比很高可以考虑把反量化和矩阵乘的 epilogue 融合让 Tensor Core 在算的时候顺便把反量化做了。这个优化需要改内核代码门槛高一些但收益明显。5.2 常见问题速查表现象可能原因排查方向精度崩坏输出乱码量化 scale 计算错误检查在线 scale 的 min/max 逻辑加速比低于预期反量化开销过大profiler 看指令占比考虑融合长文本重复严重V 的量化精度不足确认 V 是否真的保持 8-bit显存没降下来KV Cache 未量化检查 KV Cache 的存储位宽编译报错架构标志不对确认 compute capability 设置运行时报非法访问内存布局不匹配检查 QKV 的 stride 排列5.3 几个我踩过的坑第一个坑是盲目追求更低的位宽。我试过把 V 也压到 4-bit短文本任务上看起来还行一到长文本就原形毕露。QK4V8 这个配置是经过验证的平衡点别轻易改。第二个坑是忽略了 warmup。4-bit 内核在第一次运行时会有 JIT 编译和 scale 初始化的开销如果直接测端到端延迟会把冷启动时间算进去得出错误的结论。测性能前一定要跑够 warmup 次数。第三个坑是拿错了基线。有人拿 FP16 的普通注意力做基线那当然显得 MpFA 快。正确的基线应该是 FP16 的 FlashAttention这样对比才公平。我实测下来QK4V8 相比 FP16 FlashAttention 在长上下文 decode 阶段能有可观的吞吐提升但具体数字取决于序列长度和 batch size不能一概而论。6. 这个方向后续还能怎么玩6.1 与 KV Cache 量化的组合MpFA 目前主要优化的是注意力计算本身但 KV Cache 的存储开销在长上下文场景下同样巨大。如果把 KV Cache 也做量化和 QK4V8 组合起来显存收益会叠加。不过这里有个交互问题KV Cache 量化后K 的精度进一步下降QK 点积的误差会更大需要重新调量化配置。我个人的判断是KV Cache 量化到 8-bit 和 QK4V8 组合是比较稳的再往下压就要小心了。这个组合的工程价值在于它能让单卡的上下文窗口进一步扩大对于做长文档处理的场景很有吸引力。6.2 在 MoE 模型上的适配MoE 模型的注意力计算和稠密模型不太一样因为 expert 的激活是稀疏的注意力的输入分布会有波动。MpFA 的在线 scale 机制理论上能适应这种波动但实际效果需要验证。如果 expert 之间的数值分布差异很大per-group 量化可能会在 expert 切换时出现精度抖动。这个方向目前还没有成熟的方案属于可以探索的空白区。如果谁在这个方向上跑通了工程价值不小。6.3 免训练量化的边界在哪里MpFA 证明了 QK 可以免训练压到 4-bit那 3-bit 呢2-bit 呢我的判断是4-bit 大概是免训练方案的一个舒适区边界。再往下异常值的影响会大到 per-group 量化也兜不住必须引入训练或者校准。这不是实现问题是信息论层面的限制——4-bit 已经接近保持排序信号所需的最小信息量了。所以后续的突破方向可能不在继续压位宽而在于更聪明的量化粒度设计或者结合硬件的新特性做更细粒度的混合精度。Blackwell 之后还会有新架构每一代硬件的变化都可能重新定义这个边界。我在实际部署里最大的体会是低比特注意力的收益高度依赖场景。短序列、大 batch 的场景下注意力本来就不是瓶颈量化收益有限长序列、小 batch 的场景下收益才明显。所以别看到 4-bit 就无脑上先搞清楚自己的瓶颈在哪再决定要不要引入这个方案。