残差连接 层归一化Transformer的核心“配方”去掉它们Transformer可能只是一堆层叠的线性变换在Transformer架构中多头自注意力和前馈网络通常是大家关注的明星组件。但真正让训练数十层甚至上百层网络成为可能的却是两个看似简单的操作残差连接和层归一化。本文将深入浅出地解释这对组合是如何工作的以及为什么它们对Transformer的成功至关重要。1. 问题的来源深度网络的训练困境当神经网络变深时会出现两个经典问题梯度消失/爆炸反向传播时梯度逐层相乘要么趋近于0要么爆炸性增长。表示退化网络难以学习恒等映射即“这层什么都不做”导致增加层数反而降低性能。Transformer如BERT、GPT动辄12、24、48层如果没有特殊设计根本训练不动。2. 残差连接Residual Connection2.1 原始公式残差连接的写法非常简单outputLayer(x)xoutputLayer(x)x其中 xx 是输入Layer(⋅)Layer(⋅) 可以是自注意力或前馈网络。2.2 为什么有效梯度高速通道反向传播时梯度可以直接通过“xx”这条路径跳过变换层避免逐层衰减。学习残差函数让网络只需学习输入与输出的差异残差而非完整映射。如果最佳映射就是恒等网络只需把残差部分推为零这比直接学习恒等容易得多。缓解退化即使新增层暂时学不到有用信息残差连接也能保证性能至少不下降。2.3 直观类比想象你在画一幅画但每一笔都不直接覆盖原图而是画在一个透明图层上最后与原始图层叠加。如果你画坏了原始内容仍在画好了效果增强。残差连接就是这种“叠加层”思想。3. 层归一化Layer Normalization3.1 计算方式对于单个样本的一个特征向量层归一化如下计算μ1H∑i1Hai,σ21H∑i1H(ai−μ)2μH1i1∑Hai,σ2H1i1∑H(ai−μ)2a^iai−μσ2ϵ,outputiγa^iβa^iσ2ϵai−μ,outputiγa^iβ其中 HH 是特征维度例如512或768γγ 和 ββ 是可学习的缩放与偏移参数。3.2 与批归一化Batch Normalization的区别批归一化层归一化归一化维度批次维度特征维度对batch size依赖强小batch不稳定无依赖适用场景CNNRNN、TransformerTransformer选择层归一化的关键原因序列长度可变且不同样本间统计量差异大不适合共享batch统计信息。3.3 为什么Transformer需要它稳定梯度把每层输入的分布拉回均值为0、方差为1的范围避免激活值落入饱和区。加速收敛降低对学习率的敏感性允许更大学习率。适应不同序列长度每个样本独立归一化自然支持变长输入。4. 经典组合方式Post-LN vs Pre-LN在原始Transformer论文中Vaswani et al., 2017顺序是OutputLayerNorm(xSublayer(x))OutputLayerNorm(xSublayer(x))这称为Post-LN先残差后归一化。但在深层Transformer如BERT-large中Post-LN容易导致训练不稳定或梯度消失。现代实践GPT-2、GPT-3、大多数开源实现改为Pre-LNOutputxSublayer(LayerNorm(x))OutputxSublayer(LayerNorm(x))4.1 对比Pre-LN先归一化再变换最后残差残差路径上的信号几乎无缩放梯度流更顺畅。对学习率和初始化鲁棒性更强。训练更深几十层时更稳定。Post-LN先残差再归一化原始论文设计对学习率敏感需要warmup。深层时容易在初始化阶段梯度爆炸。结论现代Transformer几乎都默认使用Pre-LN。5. 完整代码示例PyTorchpythonimport torch import torch.nn as nn class TransformerBlock(nn.Module): def __init__(self, d_model, n_heads, dropout0.1): super().__init__() self.attention nn.MultiheadAttention(d_model, n_heads, dropoutdropout) self.ffn nn.Sequential( nn.Linear(d_model, 4*d_model), nn.ReLU(), nn.Linear(4*d_model, d_model) ) self.norm1 nn.LayerNorm(d_model) self.norm2 nn.LayerNorm(d_model) self.dropout nn.Dropout(dropout) def forward(self, x): # Pre-LN 风格 # 1. 自注意力 残差 attn_out, _ self.attention(self.norm1(x), self.norm1(x), self.norm1(x)) x x self.dropout(attn_out) # 2. 前馈网络 残差 ffn_out self.ffn(self.norm2(x)) x x self.dropout(ffn_out) return x6. 直观理解配方而非零件如果把Transformer比作一道菜注意力机制 主料比如牛肉前馈网络 配菜比如青椒残差连接 保留原汁原味的“不破坏食材”层归一化 每一步调味让味道均匀没有后两者食材堆叠再多也只是混乱无法做出稳定、可口的深层网络。7. 小结组件核心作用解决什么问题残差连接梯度高速路 学习残差梯度消失、网络退化层归一化稳定分布、加速收敛内部协变量偏移、训练不稳定它们结合在一起使Transformer可以轻松扩展到数百层成为现代大语言模型的基础构建块。下次你阅读Transformer或BERT的代码时请多留意这两个简单却关键的组件——它们是整座大厦的地基。
Transformer·残差连接+层归一化
发布时间：2026/6/17 17:57:01
残差连接 层归一化Transformer的核心“配方”去掉它们Transformer可能只是一堆层叠的线性变换在Transformer架构中多头自注意力和前馈网络通常是大家关注的明星组件。但真正让训练数十层甚至上百层网络成为可能的却是两个看似简单的操作残差连接和层归一化。本文将深入浅出地解释这对组合是如何工作的以及为什么它们对Transformer的成功至关重要。1. 问题的来源深度网络的训练困境当神经网络变深时会出现两个经典问题梯度消失/爆炸反向传播时梯度逐层相乘要么趋近于0要么爆炸性增长。表示退化网络难以学习恒等映射即“这层什么都不做”导致增加层数反而降低性能。Transformer如BERT、GPT动辄12、24、48层如果没有特殊设计根本训练不动。2. 残差连接Residual Connection2.1 原始公式残差连接的写法非常简单outputLayer(x)xoutputLayer(x)x其中 xx 是输入Layer(⋅)Layer(⋅) 可以是自注意力或前馈网络。2.2 为什么有效梯度高速通道反向传播时梯度可以直接通过“xx”这条路径跳过变换层避免逐层衰减。学习残差函数让网络只需学习输入与输出的差异残差而非完整映射。如果最佳映射就是恒等网络只需把残差部分推为零这比直接学习恒等容易得多。缓解退化即使新增层暂时学不到有用信息残差连接也能保证性能至少不下降。2.3 直观类比想象你在画一幅画但每一笔都不直接覆盖原图而是画在一个透明图层上最后与原始图层叠加。如果你画坏了原始内容仍在画好了效果增强。残差连接就是这种“叠加层”思想。3. 层归一化Layer Normalization3.1 计算方式对于单个样本的一个特征向量层归一化如下计算μ1H∑i1Hai,σ21H∑i1H(ai−μ)2μH1i1∑Hai,σ2H1i1∑H(ai−μ)2a^iai−μσ2ϵ,outputiγa^iβa^iσ2ϵai−μ,outputiγa^iβ其中 HH 是特征维度例如512或768γγ 和 ββ 是可学习的缩放与偏移参数。3.2 与批归一化Batch Normalization的区别批归一化层归一化归一化维度批次维度特征维度对batch size依赖强小batch不稳定无依赖适用场景CNNRNN、TransformerTransformer选择层归一化的关键原因序列长度可变且不同样本间统计量差异大不适合共享batch统计信息。3.3 为什么Transformer需要它稳定梯度把每层输入的分布拉回均值为0、方差为1的范围避免激活值落入饱和区。加速收敛降低对学习率的敏感性允许更大学习率。适应不同序列长度每个样本独立归一化自然支持变长输入。4. 经典组合方式Post-LN vs Pre-LN在原始Transformer论文中Vaswani et al., 2017顺序是OutputLayerNorm(xSublayer(x))OutputLayerNorm(xSublayer(x))这称为Post-LN先残差后归一化。但在深层Transformer如BERT-large中Post-LN容易导致训练不稳定或梯度消失。现代实践GPT-2、GPT-3、大多数开源实现改为Pre-LNOutputxSublayer(LayerNorm(x))OutputxSublayer(LayerNorm(x))4.1 对比Pre-LN先归一化再变换最后残差残差路径上的信号几乎无缩放梯度流更顺畅。对学习率和初始化鲁棒性更强。训练更深几十层时更稳定。Post-LN先残差再归一化原始论文设计对学习率敏感需要warmup。深层时容易在初始化阶段梯度爆炸。结论现代Transformer几乎都默认使用Pre-LN。5. 完整代码示例PyTorchpythonimport torch import torch.nn as nn class TransformerBlock(nn.Module): def __init__(self, d_model, n_heads, dropout0.1): super().__init__() self.attention nn.MultiheadAttention(d_model, n_heads, dropoutdropout) self.ffn nn.Sequential( nn.Linear(d_model, 4*d_model), nn.ReLU(), nn.Linear(4*d_model, d_model) ) self.norm1 nn.LayerNorm(d_model) self.norm2 nn.LayerNorm(d_model) self.dropout nn.Dropout(dropout) def forward(self, x): # Pre-LN 风格 # 1. 自注意力 残差 attn_out, _ self.attention(self.norm1(x), self.norm1(x), self.norm1(x)) x x self.dropout(attn_out) # 2. 前馈网络 残差 ffn_out self.ffn(self.norm2(x)) x x self.dropout(ffn_out) return x6. 直观理解配方而非零件如果把Transformer比作一道菜注意力机制 主料比如牛肉前馈网络 配菜比如青椒残差连接 保留原汁原味的“不破坏食材”层归一化 每一步调味让味道均匀没有后两者食材堆叠再多也只是混乱无法做出稳定、可口的深层网络。7. 小结组件核心作用解决什么问题残差连接梯度高速路 学习残差梯度消失、网络退化层归一化稳定分布、加速收敛内部协变量偏移、训练不稳定它们结合在一起使Transformer可以轻松扩展到数百层成为现代大语言模型的基础构建块。下次你阅读Transformer或BERT的代码时请多留意这两个简单却关键的组件——它们是整座大厦的地基。
