旋转等变Rotational Equivariance这几年在几何深度学习里是一个被反复提起的方向从二维图像分类到三维点云、分子性质预测、机器人操控都会遇到“物体换个朝向模型还能不能给出同样正确的结果”的问题。普通卷积网络天然只对平移有较好的等变能力一旦图片旋转、目标掉头、镜头换角度很多模型效果就开始飘。这次我们把这个概念从定义到验证完整过一遍不会停留在“旋转增强能扛”这种粗浅方案上而是直接看等变卷积、G-CNN、Steerable CNN 这些技术路线到底在解决什么问题以及可以用哪些工具去实现。这篇文章适合下面几类读者已经有 PyTorch 使用经验、想理解旋转等变数学含义的算法工程师准备在医学影像、遥感、分子建模这些重方向做实验的研究生或者只是想搞清楚“为什么我的 CNN 对旋转这么敏感”的模型训练者。文章后半部分会给出一套可以在 CPU 上直接跑的验证代码先实际测一测普通 CNN 对旋转有多“不等变”再给出等变模型的构建思路、训练对比方案和排查清单。硬件上不挑设备CPU 也可以完成基础测试只是训练稍大模型时建议用有 CUDA 的 GPU。先说结论旋转等变不是“数据增强”的替代品而是一种把对称性写进网络结构的归纳偏置。它能不能带来收益取决于你的任务本身是否对朝向敏感。接下来我们从定义开始逐步拆解。1. 旋转等变核心能力速览项目说明概念类型几何深度学习中的网络结构设计原则核心数学对象旋转群 SO(2)、SO(3)以及二维离散旋转群 C4、C8与不变性区别等变要求输出随输入“同步旋转”不变量是等变量在特定聚合后的特例主要技术路线数据增强、G-CNN 群卷积、Steerable CNN、球面 CNN、E(n) 等变图神经网络典型开源库e2cnn、escnn、e3nn、PyTorch Geometric硬件门槛小实验 CPU 可跑大规模训练建议 NVIDIA GPU验证方式旋转输入后比较输出与旋转后特征之间的误差适合任务医学影像、遥感目标识别、点云分类、分子性质预测、机器人操作不适合任务文字 OCR、人脸识别、有明显朝向语义的分类任务这里的核心判断标准只有一条如果输入 $x$ 旋转了 $g$模型输出 $f(x)$ 是否也按照同样的规则旋转。做到了就是旋转等变做不到就需要重新设计网络。2. 先说清楚等变和不变不是一回事很多文章把 rotation invariance 和 rotation equivariance 混在一起讲这是初学阶段最大的坑。一个函数 $f$ 关于变换群 $G$ 等变是指存在一个与输入维度对应的输出变换规则 $\rho(g)$使得$$ f(g \cdot x) \rho(g) \cdot f(x). $$翻译成人话就是输入旋转了 $90^\circ$输出特征也旋转 $90^\circ$。特征图里每个位置仍然保留着“这个目标现在朝向哪里”的信息。而“不变”是更强的聚合结果。它要求$$ f(g \cdot x) f(x). $$也就是说输入无论如何转输出完全一样。典型的例子是图像分类一张猫的照片旋转 90 度类别仍然是猫模型应该输出同一个标签。但如果模型在全连接层之前把特征图直接全局平均池化那么池化后的向量天然会把旋转信息丢掉结果是对旋转“不敏感”。问题就在这里如果你在网络最前面就要求“完全不变”模型就会丢掉方向信息而很多任务恰恰需要方向信息来完成定位、分割或姿态估计。医学影像里的病灶分割需要知道病灶的解剖朝向自动驾驶里的目标检测需要输出旋转框机器人抓取需要估计物体的抓取角度。这些任务的第一层或中间层更希望保持旋转等变只在最后根据任务需求决定是要等变特征还是不变特征。因此“旋转不变网络”通常是“旋转等变网络 特定池化”的组合而不是把 invariance 直接写在所有层里。这也是为什么旋转等变研究不只是在做一个数学游戏它直接关系到模型能否在一套统一的特征空间里同时服务分类、检测、分割这些不同需求。3. 普通 CNN 为什么对旋转敏感从原理上看卷积操作本身并不天然排斥旋转卷积是线性平移不变算子它对平移有“同步移动”的性质但卷积核有固定的方向。举个例子一个用于检测垂直边缘的卷积核-1 0 1 -1 0 1 -1 0 1只能在图像里响应竖直的边界。如果图像旋转 45 度或 90 度这个卷积核就检测不到同一条边界了。你可以通过把所有可能方向的旋转卷积核都塞进网络来解决这就接近群卷积的想法。但普通 CNN 不会自动做这件事它的卷积核是在训练中从数据里学出来的默认把所有方向当成独立模式。此外还有三个工程因素会让普通 CNN 的旋转敏感性更严重填充方式默认的 zero padding 在图像边界引入了非对称信息旋转后边界条件不一致即使网络内部完全理想边缘响应也会漂移。池化与步长MaxPooling 的下采样网格是固定的旋转后的特征不再落在同一个采样网格上。网络深度浅层还能局部近似旋转响应深层特征经过多次卷积后方向组合模式已经完全错位。从概率角度看普通 CNN 也可以“学到”旋转不变性但要付出数据量和参数量的代价。如果你用大量旋转增强图片训练网络可以在统计意义上对常见旋转鲁棒因为训练分布覆盖了这些视角。但这个鲁棒性是近似的不是结构保证。遇到数据中没有覆盖到的新朝向、或者测试时旋转角度分布发生变化效果就可能退化。旋转等变模型则把这个行为写死在网络结构里给定旋转无论训练时见没见过网络的行为都是确定的。4. 旋转等变的主流技术路线这一节我们把常见方案放在一起对比方便你根据任务选型。4.1 路线一数据增强数据增强是工程上最廉价的近似方案。在训练时随机旋转输入让模型见过更多朝向。实现容易但缺点也很明显需要更多数据和更多训练轮数不能保证在未覆盖角度上的行为对于 3D 点云、分子结构这类数据增强本身不一定容易做。建议把它当作对照实验基线而不是旋转等变的最终实现。4.2 路线二手工构造旋转不变特征在深度学习之前很多传统视觉系统会把局部特征描述子设计成旋转不变的例如方向直方图类的描述子。这类方法在特征提取阶段丢掉了方向对需要方向的任务不友好而且手工设计特征在复杂任务上表达力有限。现在这条路线通常只用于浅层特征或某些领域专用系统。4.3 路线三G-CNN 群卷积Taco Cohen 和 Max Welling 在 2016 年前后提出的 Group Equivariant CNN 是旋转等变深度学习的基础工作。核心思想很直接把特征图从定义在二维平面上的普通特征图扩展成定义在“平移群 × 旋转群”上的特征图也就是每个位置每个旋转角度都有一份响应。卷积时除了平移卷积还要在群元素维度上做卷积相当于把旋转后的卷积核也参与计算。G-CNN 对 90 度旋转族的等变可以做到很精确网络结构相对容易理解。缺点是如果直接用旋转卷积核存储参数量和显存会随旋转分支数线性增加。4.4 路线四Steerable CNN 与 E(2) 等变网络Steerable CNN 是更优雅的实现。它不显式保存大量旋转后的卷积核而是把卷积核表示成一组可以“转向”的基函数。二维情况下常用极坐标下的圆谐函数描述卷积核$$ W(r, \phi) \sum_{m} W_m(r), e^{i m \phi}. $$当输入旋转一个角度时这个基函数只会产生一个可控的相位变化于是网络可以保证对连续旋转的精确等变性而不是只支持 90 度倍数。实际使用中你不需要自己实现这些数学细节可以直接使用开源库 e2cnn 或它的后继版本 escnn。这些库把特征场类型、群表示和卷积层封装成了类似 PyTorch 的模块接口可以嵌入现有训练流程。4.5 路线五球面 CNN 与 SO(3) 上的卷积如果输入本身是全景图、球面投影或者方向统计量旋转等变应该在 SO(3) 群上讨论。球面 CNN 把球面信号作为输入在旋转群上做相关运算配合广义傅里叶变换加速。这类模型适合处理球形全景数据、宇宙学数据、分子取向分布等领域。4.6 路线六三维点云与 E(n) 等变图神经网络三维空间中的旋转等变比二维复杂得多。分子、点云、蛋白质结构没有天然的“正方向”模型的预测结果比如能量、力、性质却不该随坐标系旋转而改变。这一方向近年发展非常快代表性思路包括EGNNE(n) 等变图神经网络节点坐标特征在消息传递中通过相对向量更新能够天然保持坐标的旋转等变。e3nn基于不可约表示和 Clebsch-Gordan 张量积实现的 PyTorch 库广泛用于分子与材料模型。SE(3)-Transformer在 Transformer 注意力机制中引入 SE(3) 等变约束。这些方法有一个共同逻辑网络内部传递“方向向量”时保持向量之间相对关系不变最终预测标量时再把方向信息在不同支路里聚合。如果你想做分子性质预测、蛋白质结构相关任务直接研究这批路线比重新实现二维旋转 CNN 更对口。5. 适用场景与使用边界旋转等变不是“加了就一定涨点”的万能模块。它更适合以下场景任务本身对朝向不敏感医学病理切片方向随机、遥感图像中的目标朝向随机模型判断与物体旋转无关。训练数据朝向分布不均匀某些朝向样本很少与其强行补数据不如在结构上保证所有朝向统一处理。需要姿态或矢量输出目标检测旋转框、机器人力反馈、分子力场预测这些输出本身就是方向量需要中间层保持方向信息。计算资源有限、数据量小等变结构可以减少需要学习的旋转模式提升样本效率。也存在明显不适用的情况。如果任务中朝向是有语义含义的比如文字方向、道路朝向、人的面部朝向网络应当保留方向敏感性。此时强行让网络旋转等变反而会丢掉关键信息。另一个注意点是“理想等变”与“真实数据对称性”之间的差距现实数据的旋转对称往往是近似的例如街景中的汽车虽然可以旋转但道路方向、光照方向并不完全对称。这种情况下局部等变或带柔性约束的等变比严格等变更稳妥。关于使用边界如果你的数据来自医学影像、遥感或内部业务系统训练前要确认数据来源合规、匿名化处理到位并遵守对应机构的数据使用政策涉及人脸、患者隐私等内容时尤其要谨慎。模型上线前要在目标域的旋转分布上做评估不能假定“等变就等于所有旋转都可靠”。6. 旋转等变实验的环境准备下面的实验不需要特殊硬件CPU 就能完成一张随机输入图上的等变误差测量。若想完整复现“普通 CNN 增强”与“等变 CNN”的效果对比建议准备一台有 NVIDIA GPU 的环境显存需求取决于你选用模型的通道数和输入分辨率通常 6G 到 12G 显存对二维图像实验足够具体以实际训练配置为准。建议环境如下依赖建议操作系统Linux 或 Windows / macOS 均可命令以 Linux 为例Python3.8 以上PyTorch1.10 以上按官方文档安装对应 CUDA 版本torchvision与 PyTorch 版本匹配可选库escnn 或 e2cnn使用前阅读对应仓库 README建议使用 conda 建立独立环境避免依赖冲突conda create -n equiv python3.9 -y conda activate equiv pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118等变库的安装命令建议从项目官方仓库获取。不同版本对 PyTorch 版本的兼容性不同直接 pip 安装前先确认当前 PyTorch 版本符合要求。我们的验证代码只依赖 torch 和 torchvision先跑通这部分再看等变库。7. 实测普通 CNN 的旋转敏感性先建立一个可以量化“旋转不等变程度”的测试指标。核心思路很简单输入一张随机图像 $x$。用网络得到输出特征 $y f(x)$。把输入旋转 $90^\circ$得到 $f(Rx)$。把网络输出反向旋转 $90^\circ$得到 $R^{-1} f(Rx)$。如果网络是旋转等变的$y$ 与 $R^{-1} f(Rx)$ 应该几乎一样。这里使用的旋转是离散网格上的 90 度旋转torch.rot90不会引入插值误差适合做严格检查。连续角度的旋转验证会在后面补充说明。import torch import torch.nn as nn def rotation_equivariance_error(model, x, k1): 计算模型在 k 次 90 度旋转下的等变误差。 device next(model.parameters()).device x x.to(device) model.eval() with torch.no_grad(): y model(x) x_rot torch.rot90(x, k, dims[-2, -1]) y_rot model(x_rot) # 把旋转后的输出反向旋转与原始输出对比 y_back torch.rot90(y_rot, -k, dims[-2, -1]) err (y - y_back).abs().mean().item() return err class SimpleCNN(nn.Module): 一个简单的两层卷积网络用于演示。 def __init__(self): super().__init__() self.features nn.Sequential( nn.Conv2d(3, 16, kernel_size3, padding1), nn.ReLU(), nn.Conv2d(16, 32, kernel_size3, padding1), nn.ReLU(), ) self.pool nn.AdaptiveAvgPool2d(1) def forward(self, x): features self.features(x) return features model SimpleCNN() # 共 4 个 90 度旋转方向k 1, 2, 3 for k in range(1, 4): x torch.randn(1, 3, 32, 32) err rotation_equivariance_error(model, x, kk) print(fk{k} 次 90 度旋转等变误差: {err:.6f})在实际运行中由于随机初始化权重不同你会得到不完全一样的数字但误差通常不会接近 0而是处于一个明显大于零的量级。这正是普通 CNN 不具备旋转等变性的表现。一个固定的垂直边缘卷积核不可能在不同旋转角度上同时给出相同响应所以只要模型没有显式学习旋转结构输出就会随旋转改变。如果你的任务是判断“模型到底有没有一定旋转鲁棒性”建议把随机权重换成在 CIFAR-10 或你自己的数据上训练好的权重然后用测试集图片做同样的误差统计。训练过程中如果用过 RandomRotation 增强误差会在统计上变小但不代表结构上等变。8. 从普通卷积到旋转等变卷积的实现路径理解旋转等变最直观的方式是把它拆成三个递进层次。8.1 第一层显式旋转卷积核最朴素的实现是 G-CNN 的思路把每个卷积核旋转 $M$ 个角度生成 $M$ 组卷积核。对输入分别执行这 $M$ 组卷积得到 $M$ 组特征图。下一层卷积在这 $M$ 组特征图上继续做“平移 分组旋转”卷积。用伪代码描述便于理解它的本质for r in rotations: W_r rotate_kernel(W, r) feature_map[r] conv2d(x, W_r) # 下一层把角度维度也当作卷积维度 for r2 in rotations: for r1 in rotations: output[r2] conv2d(feature_map[r1], rotate_kernel(W_next, r2 - r1))这样网络对旋转的响应被结构化为可预测的“通道间置换”于是实现了等变。你不需要自己复现所有细节很多开源实现都已经做好关键是理解它“用多组旋转卷积核覆盖所有方向”的核心思想。8.2 第二层Steerable 卷积显式旋转卷积核虽然直观但角度分支一多参数和显存开销就上去了。Steerable CNN 通过基函数表示避免存储所有方向卷积核。二维情况下把卷积核写成圆谐基的叠加旋转就变成基函数相位的变化。这样网络在参数上更加紧凑并且天然支持连续角度的等变而不是只能处理 90 度倍数。实际工程中推荐优先使用成熟库而不是自己实现圆谐基的数值细节。e2cnn 和 escnn 的核心用法通常是先定义输入特征场类型然后用库提供的等变卷积层替换普通卷积层。由于各版本 API 有差异建议直接参考仓库中的示例代码。这里给一个调用思路# 伪代码实际接口以 escnn 官方文档为准 # from escnn import nn as enn # 创建等变模型 # model enn.FieldType(...) # conv enn.R2Conv(in_type, out_type, kernel_size5)先用小网络在 MNIST 的旋转版上做验证是最稳妥的上手方式。如果等变库与你的 PyTorch 版本不兼容优先换到官方指定的 PyTorch 版本而不是强行升级到最新版。8.3 第三层三维空间与 E(n) 等变到了三维空间二维卷积核的旋转技巧不再够用。EGNN 和 e3nn 这类方法强调“特征可以分为标量与向量两类标量特征执行不变的消息传递向量坐标特征通过相对位置更新整个更新过程保持旋转等变”。对每个节点 i message_ij MLP(标量特征_i, 标量特征_j, ||坐标_i - 坐标_j||) 更新标量特征_i 更新坐标_i 坐标_i 归一化(坐标_i - 坐标_j) * 标量权重这里的关键在于更新坐标的增量总是指向两个节点连线的方向因此整条消息传递路径不会“偏向”某个绝对角度旋转坐标系后结果只是整体跟着旋转。要让这套方法跑起来可以继续使用 PyTorch 和 PyTorch Geometric数据准备时只需输入点云坐标和节点特征不需要做旋转增强因为网络结构本身已经保证旋转等变。9. 旋转等变与数据增强的训练对比方案空谈结构不如做一个可复现的对比实验。建议用 MNIST 构造一个带随机旋转的测试协议来观察结构带来的差异。9.1 数据集构造把 MNIST 训练集做随机旋转增强形成三个对比组模型训练数据测试数据普通 CNN原始 MNIST旋转测试集普通 CNN 增强RandomRotation 增强 MNIST旋转测试集等变 CNNRandomRotation 增强 MNIST旋转测试集旋转测试集可以这样生成import torch from torch.utils.data import DataLoader from torchvision import datasets, transforms train_transform transforms.Compose([ transforms.RandomRotation(180), transforms.ToTensor(), ]) test_transform transforms.Compose([ transforms.RandomRotation(180), # 测试时固定随机种子即可保证可复现 transforms.ToTensor(), ]) train_dataset datasets.MNIST(root./data, trainTrue, downloadTrue, transformtrain_transform) test_dataset datasets.MNIST(root./data, trainFalse, downloadTrue, transformtest_transform)测试时如果想分别评估不同旋转角度的准确率更好的做法是为每个角度单独生成测试集比如固定 0 度、90 度、180 度、270 度。推荐记录两个指标总体准确率不同角度混合后的表现。每角度准确率观察模型在哪个方向上最差。9.2 测量指标除了准确率用第 7 节的等变误差也能定量观察结构差异。你可以把普通 CNN 与等变 CNN 在相同随机权重下比较等变误差普通 CNN 的等变误差通常明显偏高。使用旋转增强后误差会下降但仍然有残余误差。严格的等变 CNN 在 90 度旋转下误差应接近浮点运算精度数量级。需要说明的是等变误差小不代表分类准确率高只代表网络对旋转的“反应方式”是一致、可预测的。因此实验报告里要同时写等变误差和任务指标不能只用结构正确性替代任务效果。10. 资源占用与性能观察旋转等变模型并非免费的午餐。需要从几个维度观察资源消耗。先看显存和参数量。G-CNN 如果直接用旋转卷积核参数量会随旋转分支数增长显存开销也随之上升。Steerable CNN 通过基函数复用降低了参数增长但特征通道数设计仍然会影响显存。三维等变模型由于要计算高阶不可约表示训练速度通常比普通图神经网络慢。再看训练收敛速度。由于等变结构限制了模型搜索空间在小数据上往往能看到更好的样本效率和更快的收敛趋势但每个 batch 的前向计算不一定更快。实际项目里需要记录单 batch 训练时间显存占用峰值达到目标指标所需 epoch 数总训练时间。如果发现显存不足优先降低输入分辨率、减少通道数、减小 batch size。不要一开始就追求大模型先跑通小配置再逐步放大。观察占用可以使用nvidia-smi或训练脚本里的显存统计工具。nvidia-smi --query-gpuname,memory.used,memory.total --formatcsv需要强调具体显存数字与输入尺寸、通道数、卷积核大小强相关网上已有配置的数值只能作为量级参考最终应以本机测试为准。11. MATLAB Statistics and Machine Learning Toolbox 能做旋转等变吗如果读者主要在 MATLAB 生态里做数据分析也会遇到类似问题Statistics and Machine Learning Toolbox 可以完成常规分类、回归、特征选择和统计建模但它并不内置“旋转等变卷积层”这样的几何深度学习模块。在 MATLAB 中可以做的事情有两类。第一类是传统机器学习基线把统计特征作为输入用 Statistics and Machine Learning Toolbox 里的分类器训练模型。这些模型不关心特征的空间旋转结构优点是快速、可解释适合特征维度不高的小样本问题。第二类是采用深度学习工具箱的 imageDataAugmenter 做旋转增强再用带自定义层的网络训练。虽然你可以在 MATLAB 中写自定义层实现旋转卷积但比起 PyTorch 生态中现成的 e2cnn、escnn、e3nn从零实现的门槛高不少。因此更实际的做法是常规统计建模和数据探索用 MATLAB 的统计工具箱真正要验证旋转等变对深度学习模型的影响还是建议把实验放到 PyTorch 生态完成。两者不冲突先跑通一个基线再上等变结构结论会更清晰。12. 旋转等变常见问题与排查清单问题现象可能原因排查方式解决方案等变误差降不到 0边界填充、非圆形卷积区域、模型使用了会破坏对称性的模块检查网络是否使用 zero padding特征图边界是否参与误差计算使用循环填充或裁剪边界计算误差只能验证 90 度连续角度误差大离散网格无法严格表达非 90 度旋转插值造成误差区分“结构等变”与“离散近似等变”用 Steerable CNN 或放宽误差阈值等变 CNN 在任务指标上反而不如普通 CNN任务本身就依赖方向信息或模型容量不足检查训练集朝向分布与任务要求谨慎选择等变范围必要时只在部分层加入等变约束加了 BatchNorm 后等变误差不下降BatchNorm 统计量在旋转分支间没有对齐对比训练阶段与评估阶段的等变误差等变层之间插入 GroupNorm或对每个方向统一计算统计量等变库导入报错PyTorch 版本与库不兼容查看库的 requirements按官方 README 指定 PyTorch 版本重建环境显存不够旋转分支多、通道设计过大使用nvidia-smi观察显存峰值缩小输入分辨率、减少旋转分支或改用 Steerable 实现连续角度增强后模型仍对某些角度差增强角度虽然覆盖范围大但网络对插值伪影敏感单独统计每个角度的准确率在数据读取时使用一致的插值方式并对测试角度的误差做分布分析三维点云任务里等变失效坐标归一化方式破坏相对距离信息检查预处理中是否对坐标做了非等变的中心化只做整体平移和旋转保证相对坐标不受影响排查时要记住一个原则先用随机权重测等变误差再做训练后的任务评估。随机权重下如果等变误差已经很大说明网络结构本身就不等变这时调训练参数是没用的如果随机权重下误差很小而训练后变大再考虑 BatchNorm、dropout、数据预处理这些环节是不是引入了不对称。13. 旋转等变的最佳实践与下一步作为一个对旋转敏感度要求较高的建模项目建议按下面的顺序推进。先跑一遍第 7 节的等变误差脚本用你自己的模型和任务数据得到基线数字。建议把“当前模型的等变误差”记录成实验资产之后每次改动网络结构都可以对比。这个动作成本很低却能在项目早期暴露问题。再决定是否需要引入等变结构。判断依据是任务对方向不敏感、测试分布方向变化大、数据增强成本过高。如果三个条件都不满足可能普通 CNN 加增强就够用不必引入额外复杂度。如果你决定引入第一个实验不要直接上大型三维模型。先选择一个成熟的二维等变库在旋转 MNIST、CIFAR-10 旋转版本上复现官方示例确认环境和库可用再迁移到自己的数据。训练过程中保存一组固定的测试旋转角度集每轮评估都覆盖多角度避免只看到混合平均分。文件与实验管理建议这样组织project/ ├── data/ # 原始数据与旋转测试集生成脚本 ├── models/ # 模型定义 ├── configs/ # 实验配置 ├── scripts/ # 训练与评估脚本 ├── outputs/ # 模型权重与日志 └── reports/ # 等变误差与准确率记录批量评估时建议把所有角度的等变误差、每角度准确率、显存占用、单 batch 耗时统一写进日志至少保留一组小参数可运行配置。即使只是模型研究也建议代码仓库中去除隐私数据路径只保留脱敏样例。这套思路适合二维图像、球面数据和三维点云三类任务。尤其值得先试的是旋转测试集的 per-angle accuracy 曲线如果模型在某个角度明显崩掉说明数据增强覆盖不均匀这时等变结构的收益往往最明显。把它作为第一份实验报告比直接读论文里的理论证明更能帮助判断这项技术是否适合你的业务。旋转等变并不是一个“先进但用不上”的数学概念它已经出现在医学影像、遥感、材料模拟和机器人学习的大量开源实现中。理解它能帮你判断什么时候该使用旋转增强什么时候该改变网络结构也让下一次模型对旋转敏感时你有明确的排查路径而不是盲目增加数据。建议先收藏本文的内容框架动手前把环境准备、误差测量脚本和对比实验设计准备好再把旋转等变这个工具放进你的模型选型清单。 旋转等变原理与实战：从普通CNN到等变卷积的完整指南
旋转等变Rotational Equivariance这几年在几何深度学习里是一个被反复提起的方向从二维图像分类到三维点云、分子性质预测、机器人操控都会遇到“物体换个朝向模型还能不能给出同样正确的结果”的问题。普通卷积网络天然只对平移有较好的等变能力一旦图片旋转、目标掉头、镜头换角度很多模型效果就开始飘。这次我们把这个概念从定义到验证完整过一遍不会停留在“旋转增强能扛”这种粗浅方案上而是直接看等变卷积、G-CNN、Steerable CNN 这些技术路线到底在解决什么问题以及可以用哪些工具去实现。这篇文章适合下面几类读者已经有 PyTorch 使用经验、想理解旋转等变数学含义的算法工程师准备在医学影像、遥感、分子建模这些重方向做实验的研究生或者只是想搞清楚“为什么我的 CNN 对旋转这么敏感”的模型训练者。文章后半部分会给出一套可以在 CPU 上直接跑的验证代码先实际测一测普通 CNN 对旋转有多“不等变”再给出等变模型的构建思路、训练对比方案和排查清单。硬件上不挑设备CPU 也可以完成基础测试只是训练稍大模型时建议用有 CUDA 的 GPU。先说结论旋转等变不是“数据增强”的替代品而是一种把对称性写进网络结构的归纳偏置。它能不能带来收益取决于你的任务本身是否对朝向敏感。接下来我们从定义开始逐步拆解。1. 旋转等变核心能力速览项目说明概念类型几何深度学习中的网络结构设计原则核心数学对象旋转群 SO(2)、SO(3)以及二维离散旋转群 C4、C8与不变性区别等变要求输出随输入“同步旋转”不变量是等变量在特定聚合后的特例主要技术路线数据增强、G-CNN 群卷积、Steerable CNN、球面 CNN、E(n) 等变图神经网络典型开源库e2cnn、escnn、e3nn、PyTorch Geometric硬件门槛小实验 CPU 可跑大规模训练建议 NVIDIA GPU验证方式旋转输入后比较输出与旋转后特征之间的误差适合任务医学影像、遥感目标识别、点云分类、分子性质预测、机器人操作不适合任务文字 OCR、人脸识别、有明显朝向语义的分类任务这里的核心判断标准只有一条如果输入 $x$ 旋转了 $g$模型输出 $f(x)$ 是否也按照同样的规则旋转。做到了就是旋转等变做不到就需要重新设计网络。2. 先说清楚等变和不变不是一回事很多文章把 rotation invariance 和 rotation equivariance 混在一起讲这是初学阶段最大的坑。一个函数 $f$ 关于变换群 $G$ 等变是指存在一个与输入维度对应的输出变换规则 $\rho(g)$使得$$ f(g \cdot x) \rho(g) \cdot f(x). $$翻译成人话就是输入旋转了 $90^\circ$输出特征也旋转 $90^\circ$。特征图里每个位置仍然保留着“这个目标现在朝向哪里”的信息。而“不变”是更强的聚合结果。它要求$$ f(g \cdot x) f(x). $$也就是说输入无论如何转输出完全一样。典型的例子是图像分类一张猫的照片旋转 90 度类别仍然是猫模型应该输出同一个标签。但如果模型在全连接层之前把特征图直接全局平均池化那么池化后的向量天然会把旋转信息丢掉结果是对旋转“不敏感”。问题就在这里如果你在网络最前面就要求“完全不变”模型就会丢掉方向信息而很多任务恰恰需要方向信息来完成定位、分割或姿态估计。医学影像里的病灶分割需要知道病灶的解剖朝向自动驾驶里的目标检测需要输出旋转框机器人抓取需要估计物体的抓取角度。这些任务的第一层或中间层更希望保持旋转等变只在最后根据任务需求决定是要等变特征还是不变特征。因此“旋转不变网络”通常是“旋转等变网络 特定池化”的组合而不是把 invariance 直接写在所有层里。这也是为什么旋转等变研究不只是在做一个数学游戏它直接关系到模型能否在一套统一的特征空间里同时服务分类、检测、分割这些不同需求。3. 普通 CNN 为什么对旋转敏感从原理上看卷积操作本身并不天然排斥旋转卷积是线性平移不变算子它对平移有“同步移动”的性质但卷积核有固定的方向。举个例子一个用于检测垂直边缘的卷积核-1 0 1 -1 0 1 -1 0 1只能在图像里响应竖直的边界。如果图像旋转 45 度或 90 度这个卷积核就检测不到同一条边界了。你可以通过把所有可能方向的旋转卷积核都塞进网络来解决这就接近群卷积的想法。但普通 CNN 不会自动做这件事它的卷积核是在训练中从数据里学出来的默认把所有方向当成独立模式。此外还有三个工程因素会让普通 CNN 的旋转敏感性更严重填充方式默认的 zero padding 在图像边界引入了非对称信息旋转后边界条件不一致即使网络内部完全理想边缘响应也会漂移。池化与步长MaxPooling 的下采样网格是固定的旋转后的特征不再落在同一个采样网格上。网络深度浅层还能局部近似旋转响应深层特征经过多次卷积后方向组合模式已经完全错位。从概率角度看普通 CNN 也可以“学到”旋转不变性但要付出数据量和参数量的代价。如果你用大量旋转增强图片训练网络可以在统计意义上对常见旋转鲁棒因为训练分布覆盖了这些视角。但这个鲁棒性是近似的不是结构保证。遇到数据中没有覆盖到的新朝向、或者测试时旋转角度分布发生变化效果就可能退化。旋转等变模型则把这个行为写死在网络结构里给定旋转无论训练时见没见过网络的行为都是确定的。4. 旋转等变的主流技术路线这一节我们把常见方案放在一起对比方便你根据任务选型。4.1 路线一数据增强数据增强是工程上最廉价的近似方案。在训练时随机旋转输入让模型见过更多朝向。实现容易但缺点也很明显需要更多数据和更多训练轮数不能保证在未覆盖角度上的行为对于 3D 点云、分子结构这类数据增强本身不一定容易做。建议把它当作对照实验基线而不是旋转等变的最终实现。4.2 路线二手工构造旋转不变特征在深度学习之前很多传统视觉系统会把局部特征描述子设计成旋转不变的例如方向直方图类的描述子。这类方法在特征提取阶段丢掉了方向对需要方向的任务不友好而且手工设计特征在复杂任务上表达力有限。现在这条路线通常只用于浅层特征或某些领域专用系统。4.3 路线三G-CNN 群卷积Taco Cohen 和 Max Welling 在 2016 年前后提出的 Group Equivariant CNN 是旋转等变深度学习的基础工作。核心思想很直接把特征图从定义在二维平面上的普通特征图扩展成定义在“平移群 × 旋转群”上的特征图也就是每个位置每个旋转角度都有一份响应。卷积时除了平移卷积还要在群元素维度上做卷积相当于把旋转后的卷积核也参与计算。G-CNN 对 90 度旋转族的等变可以做到很精确网络结构相对容易理解。缺点是如果直接用旋转卷积核存储参数量和显存会随旋转分支数线性增加。4.4 路线四Steerable CNN 与 E(2) 等变网络Steerable CNN 是更优雅的实现。它不显式保存大量旋转后的卷积核而是把卷积核表示成一组可以“转向”的基函数。二维情况下常用极坐标下的圆谐函数描述卷积核$$ W(r, \phi) \sum_{m} W_m(r), e^{i m \phi}. $$当输入旋转一个角度时这个基函数只会产生一个可控的相位变化于是网络可以保证对连续旋转的精确等变性而不是只支持 90 度倍数。实际使用中你不需要自己实现这些数学细节可以直接使用开源库 e2cnn 或它的后继版本 escnn。这些库把特征场类型、群表示和卷积层封装成了类似 PyTorch 的模块接口可以嵌入现有训练流程。4.5 路线五球面 CNN 与 SO(3) 上的卷积如果输入本身是全景图、球面投影或者方向统计量旋转等变应该在 SO(3) 群上讨论。球面 CNN 把球面信号作为输入在旋转群上做相关运算配合广义傅里叶变换加速。这类模型适合处理球形全景数据、宇宙学数据、分子取向分布等领域。4.6 路线六三维点云与 E(n) 等变图神经网络三维空间中的旋转等变比二维复杂得多。分子、点云、蛋白质结构没有天然的“正方向”模型的预测结果比如能量、力、性质却不该随坐标系旋转而改变。这一方向近年发展非常快代表性思路包括EGNNE(n) 等变图神经网络节点坐标特征在消息传递中通过相对向量更新能够天然保持坐标的旋转等变。e3nn基于不可约表示和 Clebsch-Gordan 张量积实现的 PyTorch 库广泛用于分子与材料模型。SE(3)-Transformer在 Transformer 注意力机制中引入 SE(3) 等变约束。这些方法有一个共同逻辑网络内部传递“方向向量”时保持向量之间相对关系不变最终预测标量时再把方向信息在不同支路里聚合。如果你想做分子性质预测、蛋白质结构相关任务直接研究这批路线比重新实现二维旋转 CNN 更对口。5. 适用场景与使用边界旋转等变不是“加了就一定涨点”的万能模块。它更适合以下场景任务本身对朝向不敏感医学病理切片方向随机、遥感图像中的目标朝向随机模型判断与物体旋转无关。训练数据朝向分布不均匀某些朝向样本很少与其强行补数据不如在结构上保证所有朝向统一处理。需要姿态或矢量输出目标检测旋转框、机器人力反馈、分子力场预测这些输出本身就是方向量需要中间层保持方向信息。计算资源有限、数据量小等变结构可以减少需要学习的旋转模式提升样本效率。也存在明显不适用的情况。如果任务中朝向是有语义含义的比如文字方向、道路朝向、人的面部朝向网络应当保留方向敏感性。此时强行让网络旋转等变反而会丢掉关键信息。另一个注意点是“理想等变”与“真实数据对称性”之间的差距现实数据的旋转对称往往是近似的例如街景中的汽车虽然可以旋转但道路方向、光照方向并不完全对称。这种情况下局部等变或带柔性约束的等变比严格等变更稳妥。关于使用边界如果你的数据来自医学影像、遥感或内部业务系统训练前要确认数据来源合规、匿名化处理到位并遵守对应机构的数据使用政策涉及人脸、患者隐私等内容时尤其要谨慎。模型上线前要在目标域的旋转分布上做评估不能假定“等变就等于所有旋转都可靠”。6. 旋转等变实验的环境准备下面的实验不需要特殊硬件CPU 就能完成一张随机输入图上的等变误差测量。若想完整复现“普通 CNN 增强”与“等变 CNN”的效果对比建议准备一台有 NVIDIA GPU 的环境显存需求取决于你选用模型的通道数和输入分辨率通常 6G 到 12G 显存对二维图像实验足够具体以实际训练配置为准。建议环境如下依赖建议操作系统Linux 或 Windows / macOS 均可命令以 Linux 为例Python3.8 以上PyTorch1.10 以上按官方文档安装对应 CUDA 版本torchvision与 PyTorch 版本匹配可选库escnn 或 e2cnn使用前阅读对应仓库 README建议使用 conda 建立独立环境避免依赖冲突conda create -n equiv python3.9 -y conda activate equiv pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118等变库的安装命令建议从项目官方仓库获取。不同版本对 PyTorch 版本的兼容性不同直接 pip 安装前先确认当前 PyTorch 版本符合要求。我们的验证代码只依赖 torch 和 torchvision先跑通这部分再看等变库。7. 实测普通 CNN 的旋转敏感性先建立一个可以量化“旋转不等变程度”的测试指标。核心思路很简单输入一张随机图像 $x$。用网络得到输出特征 $y f(x)$。把输入旋转 $90^\circ$得到 $f(Rx)$。把网络输出反向旋转 $90^\circ$得到 $R^{-1} f(Rx)$。如果网络是旋转等变的$y$ 与 $R^{-1} f(Rx)$ 应该几乎一样。这里使用的旋转是离散网格上的 90 度旋转torch.rot90不会引入插值误差适合做严格检查。连续角度的旋转验证会在后面补充说明。import torch import torch.nn as nn def rotation_equivariance_error(model, x, k1): 计算模型在 k 次 90 度旋转下的等变误差。 device next(model.parameters()).device x x.to(device) model.eval() with torch.no_grad(): y model(x) x_rot torch.rot90(x, k, dims[-2, -1]) y_rot model(x_rot) # 把旋转后的输出反向旋转与原始输出对比 y_back torch.rot90(y_rot, -k, dims[-2, -1]) err (y - y_back).abs().mean().item() return err class SimpleCNN(nn.Module): 一个简单的两层卷积网络用于演示。 def __init__(self): super().__init__() self.features nn.Sequential( nn.Conv2d(3, 16, kernel_size3, padding1), nn.ReLU(), nn.Conv2d(16, 32, kernel_size3, padding1), nn.ReLU(), ) self.pool nn.AdaptiveAvgPool2d(1) def forward(self, x): features self.features(x) return features model SimpleCNN() # 共 4 个 90 度旋转方向k 1, 2, 3 for k in range(1, 4): x torch.randn(1, 3, 32, 32) err rotation_equivariance_error(model, x, kk) print(fk{k} 次 90 度旋转等变误差: {err:.6f})在实际运行中由于随机初始化权重不同你会得到不完全一样的数字但误差通常不会接近 0而是处于一个明显大于零的量级。这正是普通 CNN 不具备旋转等变性的表现。一个固定的垂直边缘卷积核不可能在不同旋转角度上同时给出相同响应所以只要模型没有显式学习旋转结构输出就会随旋转改变。如果你的任务是判断“模型到底有没有一定旋转鲁棒性”建议把随机权重换成在 CIFAR-10 或你自己的数据上训练好的权重然后用测试集图片做同样的误差统计。训练过程中如果用过 RandomRotation 增强误差会在统计上变小但不代表结构上等变。8. 从普通卷积到旋转等变卷积的实现路径理解旋转等变最直观的方式是把它拆成三个递进层次。8.1 第一层显式旋转卷积核最朴素的实现是 G-CNN 的思路把每个卷积核旋转 $M$ 个角度生成 $M$ 组卷积核。对输入分别执行这 $M$ 组卷积得到 $M$ 组特征图。下一层卷积在这 $M$ 组特征图上继续做“平移 分组旋转”卷积。用伪代码描述便于理解它的本质for r in rotations: W_r rotate_kernel(W, r) feature_map[r] conv2d(x, W_r) # 下一层把角度维度也当作卷积维度 for r2 in rotations: for r1 in rotations: output[r2] conv2d(feature_map[r1], rotate_kernel(W_next, r2 - r1))这样网络对旋转的响应被结构化为可预测的“通道间置换”于是实现了等变。你不需要自己复现所有细节很多开源实现都已经做好关键是理解它“用多组旋转卷积核覆盖所有方向”的核心思想。8.2 第二层Steerable 卷积显式旋转卷积核虽然直观但角度分支一多参数和显存开销就上去了。Steerable CNN 通过基函数表示避免存储所有方向卷积核。二维情况下把卷积核写成圆谐基的叠加旋转就变成基函数相位的变化。这样网络在参数上更加紧凑并且天然支持连续角度的等变而不是只能处理 90 度倍数。实际工程中推荐优先使用成熟库而不是自己实现圆谐基的数值细节。e2cnn 和 escnn 的核心用法通常是先定义输入特征场类型然后用库提供的等变卷积层替换普通卷积层。由于各版本 API 有差异建议直接参考仓库中的示例代码。这里给一个调用思路# 伪代码实际接口以 escnn 官方文档为准 # from escnn import nn as enn # 创建等变模型 # model enn.FieldType(...) # conv enn.R2Conv(in_type, out_type, kernel_size5)先用小网络在 MNIST 的旋转版上做验证是最稳妥的上手方式。如果等变库与你的 PyTorch 版本不兼容优先换到官方指定的 PyTorch 版本而不是强行升级到最新版。8.3 第三层三维空间与 E(n) 等变到了三维空间二维卷积核的旋转技巧不再够用。EGNN 和 e3nn 这类方法强调“特征可以分为标量与向量两类标量特征执行不变的消息传递向量坐标特征通过相对位置更新整个更新过程保持旋转等变”。对每个节点 i message_ij MLP(标量特征_i, 标量特征_j, ||坐标_i - 坐标_j||) 更新标量特征_i 更新坐标_i 坐标_i 归一化(坐标_i - 坐标_j) * 标量权重这里的关键在于更新坐标的增量总是指向两个节点连线的方向因此整条消息传递路径不会“偏向”某个绝对角度旋转坐标系后结果只是整体跟着旋转。要让这套方法跑起来可以继续使用 PyTorch 和 PyTorch Geometric数据准备时只需输入点云坐标和节点特征不需要做旋转增强因为网络结构本身已经保证旋转等变。9. 旋转等变与数据增强的训练对比方案空谈结构不如做一个可复现的对比实验。建议用 MNIST 构造一个带随机旋转的测试协议来观察结构带来的差异。9.1 数据集构造把 MNIST 训练集做随机旋转增强形成三个对比组模型训练数据测试数据普通 CNN原始 MNIST旋转测试集普通 CNN 增强RandomRotation 增强 MNIST旋转测试集等变 CNNRandomRotation 增强 MNIST旋转测试集旋转测试集可以这样生成import torch from torch.utils.data import DataLoader from torchvision import datasets, transforms train_transform transforms.Compose([ transforms.RandomRotation(180), transforms.ToTensor(), ]) test_transform transforms.Compose([ transforms.RandomRotation(180), # 测试时固定随机种子即可保证可复现 transforms.ToTensor(), ]) train_dataset datasets.MNIST(root./data, trainTrue, downloadTrue, transformtrain_transform) test_dataset datasets.MNIST(root./data, trainFalse, downloadTrue, transformtest_transform)测试时如果想分别评估不同旋转角度的准确率更好的做法是为每个角度单独生成测试集比如固定 0 度、90 度、180 度、270 度。推荐记录两个指标总体准确率不同角度混合后的表现。每角度准确率观察模型在哪个方向上最差。9.2 测量指标除了准确率用第 7 节的等变误差也能定量观察结构差异。你可以把普通 CNN 与等变 CNN 在相同随机权重下比较等变误差普通 CNN 的等变误差通常明显偏高。使用旋转增强后误差会下降但仍然有残余误差。严格的等变 CNN 在 90 度旋转下误差应接近浮点运算精度数量级。需要说明的是等变误差小不代表分类准确率高只代表网络对旋转的“反应方式”是一致、可预测的。因此实验报告里要同时写等变误差和任务指标不能只用结构正确性替代任务效果。10. 资源占用与性能观察旋转等变模型并非免费的午餐。需要从几个维度观察资源消耗。先看显存和参数量。G-CNN 如果直接用旋转卷积核参数量会随旋转分支数增长显存开销也随之上升。Steerable CNN 通过基函数复用降低了参数增长但特征通道数设计仍然会影响显存。三维等变模型由于要计算高阶不可约表示训练速度通常比普通图神经网络慢。再看训练收敛速度。由于等变结构限制了模型搜索空间在小数据上往往能看到更好的样本效率和更快的收敛趋势但每个 batch 的前向计算不一定更快。实际项目里需要记录单 batch 训练时间显存占用峰值达到目标指标所需 epoch 数总训练时间。如果发现显存不足优先降低输入分辨率、减少通道数、减小 batch size。不要一开始就追求大模型先跑通小配置再逐步放大。观察占用可以使用nvidia-smi或训练脚本里的显存统计工具。nvidia-smi --query-gpuname,memory.used,memory.total --formatcsv需要强调具体显存数字与输入尺寸、通道数、卷积核大小强相关网上已有配置的数值只能作为量级参考最终应以本机测试为准。11. MATLAB Statistics and Machine Learning Toolbox 能做旋转等变吗如果读者主要在 MATLAB 生态里做数据分析也会遇到类似问题Statistics and Machine Learning Toolbox 可以完成常规分类、回归、特征选择和统计建模但它并不内置“旋转等变卷积层”这样的几何深度学习模块。在 MATLAB 中可以做的事情有两类。第一类是传统机器学习基线把统计特征作为输入用 Statistics and Machine Learning Toolbox 里的分类器训练模型。这些模型不关心特征的空间旋转结构优点是快速、可解释适合特征维度不高的小样本问题。第二类是采用深度学习工具箱的 imageDataAugmenter 做旋转增强再用带自定义层的网络训练。虽然你可以在 MATLAB 中写自定义层实现旋转卷积但比起 PyTorch 生态中现成的 e2cnn、escnn、e3nn从零实现的门槛高不少。因此更实际的做法是常规统计建模和数据探索用 MATLAB 的统计工具箱真正要验证旋转等变对深度学习模型的影响还是建议把实验放到 PyTorch 生态完成。两者不冲突先跑通一个基线再上等变结构结论会更清晰。12. 旋转等变常见问题与排查清单问题现象可能原因排查方式解决方案等变误差降不到 0边界填充、非圆形卷积区域、模型使用了会破坏对称性的模块检查网络是否使用 zero padding特征图边界是否参与误差计算使用循环填充或裁剪边界计算误差只能验证 90 度连续角度误差大离散网格无法严格表达非 90 度旋转插值造成误差区分“结构等变”与“离散近似等变”用 Steerable CNN 或放宽误差阈值等变 CNN 在任务指标上反而不如普通 CNN任务本身就依赖方向信息或模型容量不足检查训练集朝向分布与任务要求谨慎选择等变范围必要时只在部分层加入等变约束加了 BatchNorm 后等变误差不下降BatchNorm 统计量在旋转分支间没有对齐对比训练阶段与评估阶段的等变误差等变层之间插入 GroupNorm或对每个方向统一计算统计量等变库导入报错PyTorch 版本与库不兼容查看库的 requirements按官方 README 指定 PyTorch 版本重建环境显存不够旋转分支多、通道设计过大使用nvidia-smi观察显存峰值缩小输入分辨率、减少旋转分支或改用 Steerable 实现连续角度增强后模型仍对某些角度差增强角度虽然覆盖范围大但网络对插值伪影敏感单独统计每个角度的准确率在数据读取时使用一致的插值方式并对测试角度的误差做分布分析三维点云任务里等变失效坐标归一化方式破坏相对距离信息检查预处理中是否对坐标做了非等变的中心化只做整体平移和旋转保证相对坐标不受影响排查时要记住一个原则先用随机权重测等变误差再做训练后的任务评估。随机权重下如果等变误差已经很大说明网络结构本身就不等变这时调训练参数是没用的如果随机权重下误差很小而训练后变大再考虑 BatchNorm、dropout、数据预处理这些环节是不是引入了不对称。13. 旋转等变的最佳实践与下一步作为一个对旋转敏感度要求较高的建模项目建议按下面的顺序推进。先跑一遍第 7 节的等变误差脚本用你自己的模型和任务数据得到基线数字。建议把“当前模型的等变误差”记录成实验资产之后每次改动网络结构都可以对比。这个动作成本很低却能在项目早期暴露问题。再决定是否需要引入等变结构。判断依据是任务对方向不敏感、测试分布方向变化大、数据增强成本过高。如果三个条件都不满足可能普通 CNN 加增强就够用不必引入额外复杂度。如果你决定引入第一个实验不要直接上大型三维模型。先选择一个成熟的二维等变库在旋转 MNIST、CIFAR-10 旋转版本上复现官方示例确认环境和库可用再迁移到自己的数据。训练过程中保存一组固定的测试旋转角度集每轮评估都覆盖多角度避免只看到混合平均分。文件与实验管理建议这样组织project/ ├── data/ # 原始数据与旋转测试集生成脚本 ├── models/ # 模型定义 ├── configs/ # 实验配置 ├── scripts/ # 训练与评估脚本 ├── outputs/ # 模型权重与日志 └── reports/ # 等变误差与准确率记录批量评估时建议把所有角度的等变误差、每角度准确率、显存占用、单 batch 耗时统一写进日志至少保留一组小参数可运行配置。即使只是模型研究也建议代码仓库中去除隐私数据路径只保留脱敏样例。这套思路适合二维图像、球面数据和三维点云三类任务。尤其值得先试的是旋转测试集的 per-angle accuracy 曲线如果模型在某个角度明显崩掉说明数据增强覆盖不均匀这时等变结构的收益往往最明显。把它作为第一份实验报告比直接读论文里的理论证明更能帮助判断这项技术是否适合你的业务。旋转等变并不是一个“先进但用不上”的数学概念它已经出现在医学影像、遥感、材料模拟和机器人学习的大量开源实现中。理解它能帮你判断什么时候该使用旋转增强什么时候该改变网络结构也让下一次模型对旋转敏感时你有明确的排查路径而不是盲目增加数据。建议先收藏本文的内容框架动手前把环境准备、误差测量脚本和对比实验设计准备好再把旋转等变这个工具放进你的模型选型清单。