图神经网络（七）-4.4 过平滑问题

系列文章目录图神经网络目录文章目录目录系列文章目录文章目录前言一、过平滑问题1. 现象2. 原因3. 后续研究二、PairNorm一种缓解过平滑的方法1. 基本思想2. TPSD 的数学表达3. PairNorm 的两步操作1中心化2缩放4. 最终 TPSD 计算三、总结前言以下内容来自学习笔记主要按照《图神经网络 -基础、前沿与应用》这本书进行学习。一、过平滑问题1. 现象在深度图神经网络GNN中堆叠多层网络后模型性能通常会显著下降。这一现象在许多GNN架构如GCN、GAT等中普遍存在。2. 原因Li 等人2018b指出这一问题主要由过平滑引起。他们证明图卷积网络GCN本质上可以看作是一种拉普拉斯平滑操作其中是随机游走归一化邻接矩阵。GCN 对应且使用对称归一化形式。拉普拉斯平滑会促使同一聚类内的节点表示趋于相似这对节点分类等任务最初是有利的。但当网络层数加深时这种平滑作用过度导致所有节点的表示趋同从而无法区分不同类别的节点最终使下游任务性能严重下降。3. 后续研究后续多篇文献如 Zhao and Akoglu, 2019; Xu et al., 2018; Li et al., 2019; Rong et al., 2020也验证了这一现象并尝试提出解决方案。二、PairNorm一种缓解过平滑的方法1. 基本思想PairNorm 的核心是保持节点表示之间的总平方距离Total Pairwise Squared Distance, TPSD不变使其与原始输入特征的 TPSD 保持一致。这样可以在多层传播后仍然保留节点之间的差异性避免过度平滑。假设是图卷积层输出的节点表示矩阵PairNorm 的输出为目标2. TPSD 的数学表达TPSD 定义为所有节点对之间欧氏距离的平方和可以等价表示为其中8是节点表示的均值。3. PairNorm 的两步操作PairNorm 通过中心化和缩放两步实现1中心化将每个节点表示减去所有节点的均值使表示矩阵中心化2缩放将中心化后的表示缩放到固定的总平方距离其中 s 是一个超参数用于控制最终的 TPSD 值。4. 最终 TPSD 计算经过上述两步后最终的 TPSD 为因此通过调节 s可以控制节点表示之间的整体差异性从而缓解过平滑。三、总结问题描述过平滑多层GNN中节点表示趋于一致丧失区分性导致性能下降原因GCN 等模型本质是拉普拉斯平滑多层后过度平滑PairNorm 思想保持节点表示的 TPSD 与输入一致避免表示趋同实现两步中心化 缩放保证表示间的总距离恒定作用缓解过平滑支持更深层的图神经网络训练