说到底这只是一个对齐问题上的改进我们在上篇的末尾也提到了新的方向能不能让采样过程具备一定的结构感知能力实际上早在 RoI Align 之前就已经有方法具备了这一思路的雏形那就是Position-Sensitive RoI Pooling可以直译为位置敏感的候选框池化简称 PS RoI Pooling.显然其重点就在这个“位置敏感”上下面就来详细展开1. RS RoI Pooling 的背景和思想#RS RoI Pooling 来传统 RoI Pooling 的一个核心问题是它们对空间信息“不敏感”。展开来说在 RoI Pooling 里我们将原始图像输入网络得到一个 feature map其尺寸为××根据基本的卷积知识我们知道这里的C 个通道本质上是学习得到的“语义滤波器”比如某些通道对“边缘”敏感、某些对“纹理”敏感而某些对“人脸整体”敏感等等。简单来说就是feature map 的一个通道对应一种提取出的特征。但问题在于同一个通道在左上角和右下角的“含义是一样的”。再针对这句话展开我们知道在 CNN 里一个通道不是随便来的它对应的是同一个卷积核filter在整张图上滑动得到的响应。也就是说同一个卷积核在不同位置检测的是“同一种模式”并不会受到空间位置的影响。比如某个通道学到了“检测眼睛”那这个通道在 feature map 上的左上位置有高响应就说明那里有“眼睛”、右下位置有高响应就说明那里也有“眼睛”它不会区分“这是左上还是右下”。现在回到我们的任务一个 RoI假设为人脸被分成 3×3根据认知我们当然知道左上是眼睛、中间是鼻子、下方是嘴等分布。但实际上 feature map 提供的其实是通道意义channel 5“有没有眼睛”channel 12“有没有鼻子”channel 27“有没有嘴巴”现在的矛盾点是通道本身不区分位置但任务却要求“不同位置关注不同语义”。如果网络要学习到上面的认知就要依靠反向传播中不同区域的梯度分布让网络隐式学习来实现。关键来了最终模型必须在同一套参数中同时学两件事学语义建模学习 channel 表示什么如 channel 5 眼睛、channel 12 鼻子这类信息。学空间对齐学习这些语义在不同空间位置的“使用方式”如左上区域更关注 channel 5中间区域更关注 channel 12 等。这两件事本质上是可以解耦的但现在却耦合在了一起。而且在这种位置无关的特征表示下不当的 Pooling 操作就会进一步压缩空间结构使不同位置的语义差异被平均化从而加剧信息混淆。于是RS RoI Pooling 的做法是把“位置”直接写进通道用某个固定的通道来专门负责某个位置实现“位置敏感”。下面就来展开其详细逻辑2.PS RoI Pooling 的具体改进#在理解了“位置敏感”的核心思想之后现在的问题就变成了如何在具体实现中把“空间位置”编码进通道为此PS RoI Pooling 的在 RoI Pooling 的框架下进行了两步关键改进构建位置敏感特征图按位置进行通道选择并池化下面就来逐个展开2.1 特征图处理#在传统的 RoI Pooling 中负责从原始图像中提取通用特征的主干网络backbone输出的 feature map 会被直接用于后续操作。但在 PS RoI Pooling 中会多出一个关键步骤在原 feature map 上额外接一个 1×1 卷积用于生成“位置敏感特征图”。假设 backbone 输出为××而我们希望最终得到的 RoI 划分后 bin 的数量是×同时任务中有 个类别那么这个 1×1 卷积的输出通道数将被设计为××也就是说最终得到的特征图尺寸为××(⋅2)如图所示这里的关键在于这 ⋅2 个通道是带有明确空间语义划分的通道。我们可以将其按类别进行分组每个类别有自己的 × 个通道并且每个通道对应 RoI 中的一个固定空间位置。举个例子假设 2 当前类别为 “人”那么该类别对应的 4 个通道就可以理解为通道编号语义1左上2右上3左下4右下总结这一步的逻辑如下通过 1×1 卷积在不改变空间分辨率的前提下对通道进行线性重组使其具备位置语义。2.2 通道池化#现在我们完成了位置敏感特征图的构建并且知道了每一个通道都对应于一个类别的 bin 很容易想到这一步的改进每个 bin 不再使用“所有通道”而是只使用“与自身位置对应的那一个通道”。我们继续上一步的例子来说明此时对于“人”类别我们已经得到了 4 个位置敏感通道bin 位置对应通道左上 (0,0)channel 1右上 (0,1)channel 2左下 (1,0)channel 3右下 (1,1)channel 4而到了这里具体的池化逻辑是这样的每一个 bin 的特征计算只在“对应的那一张位置敏感特征图”上进行并且只取该 bin 区域的值进行池化。到在完成所有 × 个 bin 的计算后对每个类别我们都会得到一个 × 大小结构化的输出。不同于原始 RoI Pooling 现在的结果不再是“混合语义特征”而是具有明确语义每个空间位置对当前类别的独立响应。实际上原论文最后还有一步改进就是将最后聚合的全连接层直接改为投票将所有位置的响应进行累加或平均得到该类别的最终得分。∑,(,)并不复杂简单理解就是在输出绑定空间位置的情况下每个元素都有明确语义局部判断我们直接使用它们合成全局判断就好。不再多说了。3.RS RoI Pooling 和 RoI Align#总结来说RS RoI Pooling 通过对特征图通道数的设计实现了一种较原始的“内容感知”。以此我们再对比来看看 RoI Align 。首先要说明的是时间线RoI Align 的提出晚于 RS RoI Pooling 1 年。R-FCN在设计上也并未引入精细的几何对齐机制而是通过通道绑定实现空间对齐。而 RoI Align 的出现则是因为在实例分割等任务中像素级误差会显著影响边界质量。这里很容易有这样一个想法看起来二者好像并不冲突能不能就像 Adam组合Momentum和RMSprop一样合成二者得到更好的方法可惜答案是否定的。问题在于这两种方法对“空间”有完全不同的定义。PS RoI Pooling 实际上是在做一件事把 RoI 内部的空间划分直接绑定到通道结构上。本质上来说这种逻辑划分的空间结构是“离散的”每个 bin 被确定在固定语义位置通道划分明确。而提出 RoI Align 的 Mask R-CNN 则相反空间必须保持连续性任何离散化都会带来误差。如果我们尝试“先 RoI Align再 PS Pooling”会导致通道和空间位置的硬绑定关系被破坏。因为插值之后一个位置的特征就会来自多个邻域不再严格属于某一个空间 bin。反过来如果“先 PS Pooling 再 Align”空间已经被映射到通道再做几何插值虽然可以实现但现在的特征已经不再依靠“连续性”了意义不大。因此在实际工程中二者往往不会一起使用。于此同时这两种方法虽然分别优化了不同问题但也都存在各自局限RS RoI Pooling虽然实现了初版的“内容感知”但结构仍是人为固定划分的。RoI Align几何对齐也是手工设计的插值规则。也就是说采样规则和结构仍然是静态的并不能“自适应”不同的内容。自然而然地一种最符合深度学习思想的逻辑出现了
）Position-Sensitive RoI Pooling
发布时间：2026/7/18 23:03:17
说到底这只是一个对齐问题上的改进我们在上篇的末尾也提到了新的方向能不能让采样过程具备一定的结构感知能力实际上早在 RoI Align 之前就已经有方法具备了这一思路的雏形那就是Position-Sensitive RoI Pooling可以直译为位置敏感的候选框池化简称 PS RoI Pooling.显然其重点就在这个“位置敏感”上下面就来详细展开1. RS RoI Pooling 的背景和思想#RS RoI Pooling 来传统 RoI Pooling 的一个核心问题是它们对空间信息“不敏感”。展开来说在 RoI Pooling 里我们将原始图像输入网络得到一个 feature map其尺寸为××根据基本的卷积知识我们知道这里的C 个通道本质上是学习得到的“语义滤波器”比如某些通道对“边缘”敏感、某些对“纹理”敏感而某些对“人脸整体”敏感等等。简单来说就是feature map 的一个通道对应一种提取出的特征。但问题在于同一个通道在左上角和右下角的“含义是一样的”。再针对这句话展开我们知道在 CNN 里一个通道不是随便来的它对应的是同一个卷积核filter在整张图上滑动得到的响应。也就是说同一个卷积核在不同位置检测的是“同一种模式”并不会受到空间位置的影响。比如某个通道学到了“检测眼睛”那这个通道在 feature map 上的左上位置有高响应就说明那里有“眼睛”、右下位置有高响应就说明那里也有“眼睛”它不会区分“这是左上还是右下”。现在回到我们的任务一个 RoI假设为人脸被分成 3×3根据认知我们当然知道左上是眼睛、中间是鼻子、下方是嘴等分布。但实际上 feature map 提供的其实是通道意义channel 5“有没有眼睛”channel 12“有没有鼻子”channel 27“有没有嘴巴”现在的矛盾点是通道本身不区分位置但任务却要求“不同位置关注不同语义”。如果网络要学习到上面的认知就要依靠反向传播中不同区域的梯度分布让网络隐式学习来实现。关键来了最终模型必须在同一套参数中同时学两件事学语义建模学习 channel 表示什么如 channel 5 眼睛、channel 12 鼻子这类信息。学空间对齐学习这些语义在不同空间位置的“使用方式”如左上区域更关注 channel 5中间区域更关注 channel 12 等。这两件事本质上是可以解耦的但现在却耦合在了一起。而且在这种位置无关的特征表示下不当的 Pooling 操作就会进一步压缩空间结构使不同位置的语义差异被平均化从而加剧信息混淆。于是RS RoI Pooling 的做法是把“位置”直接写进通道用某个固定的通道来专门负责某个位置实现“位置敏感”。下面就来展开其详细逻辑2.PS RoI Pooling 的具体改进#在理解了“位置敏感”的核心思想之后现在的问题就变成了如何在具体实现中把“空间位置”编码进通道为此PS RoI Pooling 的在 RoI Pooling 的框架下进行了两步关键改进构建位置敏感特征图按位置进行通道选择并池化下面就来逐个展开2.1 特征图处理#在传统的 RoI Pooling 中负责从原始图像中提取通用特征的主干网络backbone输出的 feature map 会被直接用于后续操作。但在 PS RoI Pooling 中会多出一个关键步骤在原 feature map 上额外接一个 1×1 卷积用于生成“位置敏感特征图”。假设 backbone 输出为××而我们希望最终得到的 RoI 划分后 bin 的数量是×同时任务中有 个类别那么这个 1×1 卷积的输出通道数将被设计为××也就是说最终得到的特征图尺寸为××(⋅2)如图所示这里的关键在于这 ⋅2 个通道是带有明确空间语义划分的通道。我们可以将其按类别进行分组每个类别有自己的 × 个通道并且每个通道对应 RoI 中的一个固定空间位置。举个例子假设 2 当前类别为 “人”那么该类别对应的 4 个通道就可以理解为通道编号语义1左上2右上3左下4右下总结这一步的逻辑如下通过 1×1 卷积在不改变空间分辨率的前提下对通道进行线性重组使其具备位置语义。2.2 通道池化#现在我们完成了位置敏感特征图的构建并且知道了每一个通道都对应于一个类别的 bin 很容易想到这一步的改进每个 bin 不再使用“所有通道”而是只使用“与自身位置对应的那一个通道”。我们继续上一步的例子来说明此时对于“人”类别我们已经得到了 4 个位置敏感通道bin 位置对应通道左上 (0,0)channel 1右上 (0,1)channel 2左下 (1,0)channel 3右下 (1,1)channel 4而到了这里具体的池化逻辑是这样的每一个 bin 的特征计算只在“对应的那一张位置敏感特征图”上进行并且只取该 bin 区域的值进行池化。到在完成所有 × 个 bin 的计算后对每个类别我们都会得到一个 × 大小结构化的输出。不同于原始 RoI Pooling 现在的结果不再是“混合语义特征”而是具有明确语义每个空间位置对当前类别的独立响应。实际上原论文最后还有一步改进就是将最后聚合的全连接层直接改为投票将所有位置的响应进行累加或平均得到该类别的最终得分。∑,(,)并不复杂简单理解就是在输出绑定空间位置的情况下每个元素都有明确语义局部判断我们直接使用它们合成全局判断就好。不再多说了。3.RS RoI Pooling 和 RoI Align#总结来说RS RoI Pooling 通过对特征图通道数的设计实现了一种较原始的“内容感知”。以此我们再对比来看看 RoI Align 。首先要说明的是时间线RoI Align 的提出晚于 RS RoI Pooling 1 年。R-FCN在设计上也并未引入精细的几何对齐机制而是通过通道绑定实现空间对齐。而 RoI Align 的出现则是因为在实例分割等任务中像素级误差会显著影响边界质量。这里很容易有这样一个想法看起来二者好像并不冲突能不能就像 Adam组合Momentum和RMSprop一样合成二者得到更好的方法可惜答案是否定的。问题在于这两种方法对“空间”有完全不同的定义。PS RoI Pooling 实际上是在做一件事把 RoI 内部的空间划分直接绑定到通道结构上。本质上来说这种逻辑划分的空间结构是“离散的”每个 bin 被确定在固定语义位置通道划分明确。而提出 RoI Align 的 Mask R-CNN 则相反空间必须保持连续性任何离散化都会带来误差。如果我们尝试“先 RoI Align再 PS Pooling”会导致通道和空间位置的硬绑定关系被破坏。因为插值之后一个位置的特征就会来自多个邻域不再严格属于某一个空间 bin。反过来如果“先 PS Pooling 再 Align”空间已经被映射到通道再做几何插值虽然可以实现但现在的特征已经不再依靠“连续性”了意义不大。因此在实际工程中二者往往不会一起使用。于此同时这两种方法虽然分别优化了不同问题但也都存在各自局限RS RoI Pooling虽然实现了初版的“内容感知”但结构仍是人为固定划分的。RoI Align几何对齐也是手工设计的插值规则。也就是说采样规则和结构仍然是静态的并不能“自适应”不同的内容。自然而然地一种最符合深度学习思想的逻辑出现了
