
第7章 GAM全局注意力机制的特征增强7.1 引言在深度卷积神经网络中,注意力机制通过自适应地调整特征权重,显著提升了模型的特征表达能力。从SENet的通道注意力到CBAM的通道-空间串行注意力,再到ECA的高效通道交互,注意力机制的设计不断演进。然而,现有方法在建模全局依赖关系时仍存在一定的局限性:局部感受野受限:基于卷积的空间注意力通常受限于卷积核大小,难以捕获长距离的空间依赖关系。维度压缩信息损失:许多通道注意力方法通过全局池化将空间信息压缩为单个标量,丢失了空间位置信息。通道与空间独立处理:多数注意力机制将通道注意力和空间注意力视为两个独立的过程,忽略了二者之间的内在联系。为了解决上述问题,Liu等人于2021年提出了GAM(Global Attention Mechanism)全局注意力机制。GAM通过一种全新的注意力设计范式,能够同时在通道维度和空间维度上建模全局依赖关系,并且保留了通道与空间之间的交互信息。GAM的核心创新点在于:全局通道注意力:利用通道-空间的全连接操作,保留空间信息的同时建模通道间的依赖关系。全局空间注意力:通过空间-通道的全连接操作,捕获长距离的空间依赖关系。通道-空间交互:两个注意力分支相互补充,共同增强特征表达能