背景随着大语言模型参数量和应用规模的增长，单卡推理已无法满足需求，分布式推理策略成为必然选择。在各类并行策略中，如何组合 Attention 的切分方式和 MoE 的专家并行（EP），是一个关键的设计决策。核心问题可以归结为：什么样的模型架构适合 DP-Attention + EP，什么样的更适合 TP + EP？四种 Attention 架构的 KV Cache 差异先回顾一下四种主流 Attention 架构：架构Query Head 数KV Head 数KV Cache 相对大小代表模型MHA(Multi-Head Attention)nn100% (基准)GPT-2, BERTGQA(Grouped-Query Attention)ng (1 g n)g/nLLaMA 2/3, Gemma
大模型分布式推理：DP-Attention + EP 与 TP + EP 的选择逻辑
发布时间：2026/7/19 9:52:51
背景随着大语言模型参数量和应用规模的增长，单卡推理已无法满足需求，分布式推理策略成为必然选择。在各类并行策略中，如何组合 Attention 的切分方式和 MoE 的专家并行（EP），是一个关键的设计决策。核心问题可以归结为：什么样的模型架构适合 DP-Attention + EP，什么样的更适合 TP + EP？四种 Attention 架构的 KV Cache 差异先回顾一下四种主流 Attention 架构：架构Query Head 数KV Head 数KV Cache 相对大小代表模型MHA(Multi-Head Attention)nn100% (基准)GPT-2, BERTGQA(Grouped-Query Attention)ng (1 g n)g/nLLaMA 2/3, Gemma
