《Shape-IoU: 更精确的边界框回归度量考虑边界框形状和尺度》主要研究内容可以全面概括如下核心研究问题现有边界框回归损失的局限性论文指出现有的边界框回归损失函数如 IoU, GIoU, CIoU, SIoU 等主要关注预测框与真实框之间的几何关系如重叠面积、中心点距离、长宽比、角度等而普遍忽略了边界框本身固有的属性即边界框自身的形状和尺度对回归过程及结果的影响。核心研究发现与动机通过分析边界框的回归特性作者发现形状的影响当偏差位置偏移和形状偏差形状差异相同时真实框的形状会影响 IoU 值的变化。具体来说沿着真实框短边方向的偏差对 IoU 值的影响即造成的 IoU 下降比沿着长边方向的偏差更为显著。尺度的影响对于形状相同、偏差也相同的回归样本小尺度边界框的 IoU 值对形状的变化比大尺度边界框更为敏感。也就是说尺度越小形状因素对回归精度的影响越明显。基于以上发现作者认为一个好的回归损失函数应该考虑到这些由边界框自身形状和尺度带来的影响。核心贡献提出的新方法为了弥补现有研究的不足本文提出了一个新的边界框回归损失函数系列——Shape-IoU其主要创新点在于将边界框自身的形状和尺度作为计算损失的权重因子。Shape-IoU 损失函数核心思想根据真实框的形状动态地为水平方向x轴和垂直方向y轴的偏差分配不同的权重。关键组件ww和hh这是基于真实框的宽度w和高度h计算出的权重系数。如果真实框是瘦高的h w那么垂直方向hh的权重会更大意味着对垂直方向的偏差惩罚更重反之亦然。Shape-Distance将上述权重应用到中心点距离损失中使得损失函数对短边方向的偏移更加敏感。Shape-Ω类似地也将形状权重应用到边界框长宽比的形状损失中。最终的损失L_Shape-IoU结合了 IoU 损失、加权的距离损失和加权的形状损失。针对小目标的改进版本为了将 Shape-IoU 的思想应用于小目标检测任务小目标对 IoU 变化更敏感作者提出了两个变体Shape-Dot Distance将形状权重集成到 Dot Distance 中替代了原有的欧氏距离。Shape-NWD将形状权重集成到 Normalized Gaussian Wasserstein Distance (NWD) 中。实验验证作者通过在多个数据集和检测器上进行对比实验验证了方法的有效性数据集使用了通用目标检测数据集PASCAL VOC以及两个包含大量小目标的特定数据集VisDrone2019无人机航拍和AI-TOD遥感图像。检测器采用了当时最先进的单阶段检测器 YOLOv5、YOLOv7 和 YOLOv8。对比对象主要与同样先进的 SIoU 损失函数进行对比。实验结果在 PASCAL VOC 上Shape-IoU 相比 SIoU 在 YOLOv7 和 YOLOv8 上均有约0.5% 的 AP50 和 mAP50:95 的提升。在 VisDrone2019 上Shape-IoU 同样取得了0.3% 左右的稳定提升。在微小目标数据集 AI-TOD 上改进版本 Shape-IoU 带来了更显著的增益AP50 提升了1.6%。本文的研究内容是提出了一种新颖的、考虑边界框自身形状和尺度的边界框回归损失函数 Shape-IoU。该方法通过分析并利用边界框的固有几何属性来指导回归有效地解决了现有损失函数忽略此因素的问题并在多个检测任务上取得了性能提升达到了最先进的水平。这里是自己的论文阅读记录感兴趣的话可以参考一下如果需要阅读原文的话可以看这里如下所示项目地址在这里如下所示摘要作为检测器定位分支的重要组成部分边界框回归损失在目标检测任务中扮演着重要角色。现有的边界框回归方法通常考虑真实边界框与预测边界框之间的几何关系通过利用边界框的相对位置和形状来计算损失而忽略了边界框本身的形状和尺度等固有属性对边界框回归的影响。为了弥补现有研究的不足本文提出了一种关注边界框自身形状和尺度的边界框回归方法。首先我们分析了边界框的回归特性发现边界框本身的形状和尺度因素会对回归结果产生影响。基于上述结论我们提出了 Shape IoU 方法该方法能够通过关注边界框自身的形状和尺度来计算损失从而使边界框回归更加精确。最后我们通过大量的对比实验验证了我们的方法结果表明我们的方法能够有效提升检测性能并优于现有方法在不同检测任务中达到了最先进的性能。索引术语— 目标检测损失函数边界框回归图 1: 图中左侧和右侧的回归样本仅在边界框形状上有所不同且两个回归样本的偏差分别对应于真实边界框长边方向和短边方向两者偏差相同。从图中可以看出由真实边界框形状因素导致的回归效果差异。左侧图形的回归结果优于右侧图形。I. 引言目标检测是计算机视觉的基本任务之一旨在定位和识别图像中的物体。根据是否生成锚框可将其分为基于锚框的方法和无锚框的方法。基于锚框的算法包括 Faster R-CNN [1]、YOLO (You Only Look Once) 系列 [2]、SSD (Single Shot MultiBox Detector) [3] 和 RetinaNet [4]。无锚框检测算法包括 CornerNet [5]、CenterNet [6] 和 FCOS (Fully Convolutional One Stage Object Detection) [7]。在这些检测器中边界框回归损失函数作为定位分支的重要组成部分扮演着不可替代的角色。目标检测领域最常用的方法有 IoU [8]、GIoU [9]、CIoU [10]、SIoU [11] 等。IoU [8] 作为目标检测领域应用最广泛的损失函数其优点在于能更准确地描述预测框与真实边界框之间的匹配程度。其主要缺陷在于当两个框的重叠度为 0 时无法准确描述预测框与真实边界框之间的位置关系。GIoU [9] 通过引入最小外接框针对这一缺陷提供了具体的改进。CIoU [10] 在考虑最小化预测框与真实边界框中心点归一化距离的基础上增加了形状损失项从而进一步提高了检测精度。在 SIoU [11] 的工作中提出将预测框与真实边界框中心点连线的角度大小作为新的损失项进行考虑以期通过角度的变化更准确地判断预测框与真实边界框的匹配程度。总之以往的边界框回归方法主要通过在 IoU [8] 的基础上添加新的几何约束来实现更精确的回归。上述方法考虑了真实边界框和锚框的距离、形状和角度对边界框回归的影响但忽略了边界框本身的形状和尺度也会对边界框回归产生影响。为了进一步提高回归的准确性我们分析了边界框自身形状和角度的影响并提出了一种新一代的边界回归损失Shape-IoU。本文的主要贡献如下我们分析了边界框回归的特性并得出结论在边界框回归过程中边界框回归样本本身的形状和尺度因素会对回归结果产生影响。基于现有的边界框回归损失函数并考虑边界框回归样本本身的形状和尺度对边界框回归的影响我们提出了 shape-IoU 损失函数并针对微小目标检测任务提出了 shape-dot-distance 和 shape-nwd 损失。我们使用最先进的单阶段检测器在不同检测任务上进行了一系列对比实验实验结果证明本文方法的检测效果优于现有方法达到了最先进的性能。II. 相关工作A. 目标检测中基于 IoU 的度量近年来随着检测器的发展边界框回归损失也得到了迅速发展。最初 IoU 被提出用于评估边界框回归的状态随后 GIoU [9]、DIoU [10]、CIoU [10]、EIoU [12] 和 SIoU [11] 等方法通过在 IoU 基础上添加不同的约束条件不断更新以实现更好的检测效果。B. 微小目标检测中的度量基于 IoU 的度量适用于一般目标检测任务而在小目标检测情况下为了克服其自身对 IoU 值的敏感性提出了点距离 (Dot Distance) [13] 和归一化 Wasserstein 距离 (NWD) [14]。III. 方法A. 边界框回归特性分析如图 2 所示边界框回归样本 A 和 B 中真实边界框的尺度相同而 C 和 D 中真实边界框的尺度相同。A 和 D 中真实边界框的形状相同而 B 和 C 中真实边界框的形状相同。C 和 D 中边界框的尺度大于 A 和 B 中边界框的尺度。图 2a 中所有边界框的回归样本具有相同的偏差形状偏差为 0。图 2a 和图 2b 之间的区别在于图 2b 中所有边界框回归样本的形状偏差相同偏差为 0。图 2a 中的 A 和 B 偏差相同但 IoU 值存在差异。图 2a 中的 C 和 D 偏差相同但 IoU 值存在差异并且与图 2a 中的 A 和 B 相比IoU 值的差异不显著。图 2b 中的 A 和 B 形状偏差相同但 IoU 值存在差异。图 2b 中的 C 和 D 形状偏差相同但 IoU 值存在差异并且与图 2a 中的 A 和 B 相比IoU 值的差异不显著。图 2a 中 A 和 B 的 IoU 值产生差异的原因在于它们的真实边界框形状不同且偏差方向分别对应于它们的长边和短边方向。对于 A沿着其真实边界框长边方向的偏差对其 IoU 值影响较小而对于 B短边方向的偏差对其 IoU 值影响较大。与大尺度边界框相比较小尺度的边界框对 IoU 值的变化更敏感且真实边界框的形状对较小尺度边界框的 IoU 值影响更显著。由于 A 和 B 的尺度小于 C 和 D因此在形状和偏差相同的情况下IoU 值的变化更为显著。类似地在图 2b 中从形状偏差的角度分析边界框回归可以发现回归样本中真实边界框的形状会在回归过程中影响其 IoU 值。基于以上分析可以得出以下结论假设真实边界框不是正方形具有长边和短边那么当偏差和形状偏差相同且不全为 0 时回归样本中边界框形状和尺度的差异将导致其 IoU 值产生差异。对于相同尺度的边界框回归样本当回归样本的偏差和形状偏差相同且不全为 0 时边界框的形状将影响回归样本的 IoU 值。沿着边界框短边方向的偏差和形状偏差所对应的 IoU 值变化更为显著。对于具有相同形状边界框的回归样本当回归样本偏差和形状偏差相同且不全为 0 时与较大尺度的回归样本相比较小尺度边界框回归样本的 IoU 值受真实边界框形状的影响更显著。B. Shape-IoUshape-iou 的公式可由图 3 推导得出C. 小目标中的 Shape-IoUIV. 实验A. 在 YOLOv8 和 YOLOv7 上的 PASCAL VOC 实验PASCAL VOC 数据集是目标检测领域最流行的数据集之一本文使用 VOC2007 和 VOC2012 的 train 和 val 作为训练集共 16551 张图像使用 VOC2007 的 test 作为测试集包含 4952 张图像。本实验选择最先进的单阶段检测器 YOLOv8s 和 YOLOv7-tiny 在 VOC 数据集上进行对比实验并选择 SIoU 作为实验的对比方法。实验结果如表 I 所示B. 在 YOLOv8 上的 VisDrone2019 实验VisDrone2019 是目标检测领域最流行的无人机航拍图像数据集与一般数据集相比包含大量小目标。本实验选用 YOLOv8s 作为检测器对比方法为 SIoU。实验结果如下C. 在 YOLOv5 上的 AI-TOD 实验AI-TOD 是一个遥感图像数据集与一般数据集不同它包含大量微小目标目标的平均尺寸仅为 12.8 像素。本实验选用 YOLOv5s 作为检测器对比方法为 SIoU。实验结果如表 III 所示V. 结论在本文中我们总结了现有边界框回归方法的优缺点指出现有研究方法主要关注考虑真实边界框与预测框之间的几何约束而忽略了边界框本身的形状和尺度等几何因素对回归结果的影响。接着通过分析边界框的回归特性我们发现了边界框自身的几何因素能够影响回归的规律。基于以上分析我们提出了 Shape-IoU 方法该方法能够关注边界框自身的形状和尺度来计算损失从而提高精度。最后使用最先进的单阶段检测器在不同尺度的数据集上进行了一系列对比实验实验结果表明我们的方法优于现有方法达到了最先进的性能。
Shape-IoU: More Accurate Metric considering Bounding Box Shape and Scale——考虑边界框形状和尺度的更精确度量
发布时间：2026/5/17 22:07:37
《Shape-IoU: 更精确的边界框回归度量考虑边界框形状和尺度》主要研究内容可以全面概括如下核心研究问题现有边界框回归损失的局限性论文指出现有的边界框回归损失函数如 IoU, GIoU, CIoU, SIoU 等主要关注预测框与真实框之间的几何关系如重叠面积、中心点距离、长宽比、角度等而普遍忽略了边界框本身固有的属性即边界框自身的形状和尺度对回归过程及结果的影响。核心研究发现与动机通过分析边界框的回归特性作者发现形状的影响当偏差位置偏移和形状偏差形状差异相同时真实框的形状会影响 IoU 值的变化。具体来说沿着真实框短边方向的偏差对 IoU 值的影响即造成的 IoU 下降比沿着长边方向的偏差更为显著。尺度的影响对于形状相同、偏差也相同的回归样本小尺度边界框的 IoU 值对形状的变化比大尺度边界框更为敏感。也就是说尺度越小形状因素对回归精度的影响越明显。基于以上发现作者认为一个好的回归损失函数应该考虑到这些由边界框自身形状和尺度带来的影响。核心贡献提出的新方法为了弥补现有研究的不足本文提出了一个新的边界框回归损失函数系列——Shape-IoU其主要创新点在于将边界框自身的形状和尺度作为计算损失的权重因子。Shape-IoU 损失函数核心思想根据真实框的形状动态地为水平方向x轴和垂直方向y轴的偏差分配不同的权重。关键组件ww和hh这是基于真实框的宽度w和高度h计算出的权重系数。如果真实框是瘦高的h w那么垂直方向hh的权重会更大意味着对垂直方向的偏差惩罚更重反之亦然。Shape-Distance将上述权重应用到中心点距离损失中使得损失函数对短边方向的偏移更加敏感。Shape-Ω类似地也将形状权重应用到边界框长宽比的形状损失中。最终的损失L_Shape-IoU结合了 IoU 损失、加权的距离损失和加权的形状损失。针对小目标的改进版本为了将 Shape-IoU 的思想应用于小目标检测任务小目标对 IoU 变化更敏感作者提出了两个变体Shape-Dot Distance将形状权重集成到 Dot Distance 中替代了原有的欧氏距离。Shape-NWD将形状权重集成到 Normalized Gaussian Wasserstein Distance (NWD) 中。实验验证作者通过在多个数据集和检测器上进行对比实验验证了方法的有效性数据集使用了通用目标检测数据集PASCAL VOC以及两个包含大量小目标的特定数据集VisDrone2019无人机航拍和AI-TOD遥感图像。检测器采用了当时最先进的单阶段检测器 YOLOv5、YOLOv7 和 YOLOv8。对比对象主要与同样先进的 SIoU 损失函数进行对比。实验结果在 PASCAL VOC 上Shape-IoU 相比 SIoU 在 YOLOv7 和 YOLOv8 上均有约0.5% 的 AP50 和 mAP50:95 的提升。在 VisDrone2019 上Shape-IoU 同样取得了0.3% 左右的稳定提升。在微小目标数据集 AI-TOD 上改进版本 Shape-IoU 带来了更显著的增益AP50 提升了1.6%。本文的研究内容是提出了一种新颖的、考虑边界框自身形状和尺度的边界框回归损失函数 Shape-IoU。该方法通过分析并利用边界框的固有几何属性来指导回归有效地解决了现有损失函数忽略此因素的问题并在多个检测任务上取得了性能提升达到了最先进的水平。这里是自己的论文阅读记录感兴趣的话可以参考一下如果需要阅读原文的话可以看这里如下所示项目地址在这里如下所示摘要作为检测器定位分支的重要组成部分边界框回归损失在目标检测任务中扮演着重要角色。现有的边界框回归方法通常考虑真实边界框与预测边界框之间的几何关系通过利用边界框的相对位置和形状来计算损失而忽略了边界框本身的形状和尺度等固有属性对边界框回归的影响。为了弥补现有研究的不足本文提出了一种关注边界框自身形状和尺度的边界框回归方法。首先我们分析了边界框的回归特性发现边界框本身的形状和尺度因素会对回归结果产生影响。基于上述结论我们提出了 Shape IoU 方法该方法能够通过关注边界框自身的形状和尺度来计算损失从而使边界框回归更加精确。最后我们通过大量的对比实验验证了我们的方法结果表明我们的方法能够有效提升检测性能并优于现有方法在不同检测任务中达到了最先进的性能。索引术语— 目标检测损失函数边界框回归图 1: 图中左侧和右侧的回归样本仅在边界框形状上有所不同且两个回归样本的偏差分别对应于真实边界框长边方向和短边方向两者偏差相同。从图中可以看出由真实边界框形状因素导致的回归效果差异。左侧图形的回归结果优于右侧图形。I. 引言目标检测是计算机视觉的基本任务之一旨在定位和识别图像中的物体。根据是否生成锚框可将其分为基于锚框的方法和无锚框的方法。基于锚框的算法包括 Faster R-CNN [1]、YOLO (You Only Look Once) 系列 [2]、SSD (Single Shot MultiBox Detector) [3] 和 RetinaNet [4]。无锚框检测算法包括 CornerNet [5]、CenterNet [6] 和 FCOS (Fully Convolutional One Stage Object Detection) [7]。在这些检测器中边界框回归损失函数作为定位分支的重要组成部分扮演着不可替代的角色。目标检测领域最常用的方法有 IoU [8]、GIoU [9]、CIoU [10]、SIoU [11] 等。IoU [8] 作为目标检测领域应用最广泛的损失函数其优点在于能更准确地描述预测框与真实边界框之间的匹配程度。其主要缺陷在于当两个框的重叠度为 0 时无法准确描述预测框与真实边界框之间的位置关系。GIoU [9] 通过引入最小外接框针对这一缺陷提供了具体的改进。CIoU [10] 在考虑最小化预测框与真实边界框中心点归一化距离的基础上增加了形状损失项从而进一步提高了检测精度。在 SIoU [11] 的工作中提出将预测框与真实边界框中心点连线的角度大小作为新的损失项进行考虑以期通过角度的变化更准确地判断预测框与真实边界框的匹配程度。总之以往的边界框回归方法主要通过在 IoU [8] 的基础上添加新的几何约束来实现更精确的回归。上述方法考虑了真实边界框和锚框的距离、形状和角度对边界框回归的影响但忽略了边界框本身的形状和尺度也会对边界框回归产生影响。为了进一步提高回归的准确性我们分析了边界框自身形状和角度的影响并提出了一种新一代的边界回归损失Shape-IoU。本文的主要贡献如下我们分析了边界框回归的特性并得出结论在边界框回归过程中边界框回归样本本身的形状和尺度因素会对回归结果产生影响。基于现有的边界框回归损失函数并考虑边界框回归样本本身的形状和尺度对边界框回归的影响我们提出了 shape-IoU 损失函数并针对微小目标检测任务提出了 shape-dot-distance 和 shape-nwd 损失。我们使用最先进的单阶段检测器在不同检测任务上进行了一系列对比实验实验结果证明本文方法的检测效果优于现有方法达到了最先进的性能。II. 相关工作A. 目标检测中基于 IoU 的度量近年来随着检测器的发展边界框回归损失也得到了迅速发展。最初 IoU 被提出用于评估边界框回归的状态随后 GIoU [9]、DIoU [10]、CIoU [10]、EIoU [12] 和 SIoU [11] 等方法通过在 IoU 基础上添加不同的约束条件不断更新以实现更好的检测效果。B. 微小目标检测中的度量基于 IoU 的度量适用于一般目标检测任务而在小目标检测情况下为了克服其自身对 IoU 值的敏感性提出了点距离 (Dot Distance) [13] 和归一化 Wasserstein 距离 (NWD) [14]。III. 方法A. 边界框回归特性分析如图 2 所示边界框回归样本 A 和 B 中真实边界框的尺度相同而 C 和 D 中真实边界框的尺度相同。A 和 D 中真实边界框的形状相同而 B 和 C 中真实边界框的形状相同。C 和 D 中边界框的尺度大于 A 和 B 中边界框的尺度。图 2a 中所有边界框的回归样本具有相同的偏差形状偏差为 0。图 2a 和图 2b 之间的区别在于图 2b 中所有边界框回归样本的形状偏差相同偏差为 0。图 2a 中的 A 和 B 偏差相同但 IoU 值存在差异。图 2a 中的 C 和 D 偏差相同但 IoU 值存在差异并且与图 2a 中的 A 和 B 相比IoU 值的差异不显著。图 2b 中的 A 和 B 形状偏差相同但 IoU 值存在差异。图 2b 中的 C 和 D 形状偏差相同但 IoU 值存在差异并且与图 2a 中的 A 和 B 相比IoU 值的差异不显著。图 2a 中 A 和 B 的 IoU 值产生差异的原因在于它们的真实边界框形状不同且偏差方向分别对应于它们的长边和短边方向。对于 A沿着其真实边界框长边方向的偏差对其 IoU 值影响较小而对于 B短边方向的偏差对其 IoU 值影响较大。与大尺度边界框相比较小尺度的边界框对 IoU 值的变化更敏感且真实边界框的形状对较小尺度边界框的 IoU 值影响更显著。由于 A 和 B 的尺度小于 C 和 D因此在形状和偏差相同的情况下IoU 值的变化更为显著。类似地在图 2b 中从形状偏差的角度分析边界框回归可以发现回归样本中真实边界框的形状会在回归过程中影响其 IoU 值。基于以上分析可以得出以下结论假设真实边界框不是正方形具有长边和短边那么当偏差和形状偏差相同且不全为 0 时回归样本中边界框形状和尺度的差异将导致其 IoU 值产生差异。对于相同尺度的边界框回归样本当回归样本的偏差和形状偏差相同且不全为 0 时边界框的形状将影响回归样本的 IoU 值。沿着边界框短边方向的偏差和形状偏差所对应的 IoU 值变化更为显著。对于具有相同形状边界框的回归样本当回归样本偏差和形状偏差相同且不全为 0 时与较大尺度的回归样本相比较小尺度边界框回归样本的 IoU 值受真实边界框形状的影响更显著。B. Shape-IoUshape-iou 的公式可由图 3 推导得出C. 小目标中的 Shape-IoUIV. 实验A. 在 YOLOv8 和 YOLOv7 上的 PASCAL VOC 实验PASCAL VOC 数据集是目标检测领域最流行的数据集之一本文使用 VOC2007 和 VOC2012 的 train 和 val 作为训练集共 16551 张图像使用 VOC2007 的 test 作为测试集包含 4952 张图像。本实验选择最先进的单阶段检测器 YOLOv8s 和 YOLOv7-tiny 在 VOC 数据集上进行对比实验并选择 SIoU 作为实验的对比方法。实验结果如表 I 所示B. 在 YOLOv8 上的 VisDrone2019 实验VisDrone2019 是目标检测领域最流行的无人机航拍图像数据集与一般数据集相比包含大量小目标。本实验选用 YOLOv8s 作为检测器对比方法为 SIoU。实验结果如下C. 在 YOLOv5 上的 AI-TOD 实验AI-TOD 是一个遥感图像数据集与一般数据集不同它包含大量微小目标目标的平均尺寸仅为 12.8 像素。本实验选用 YOLOv5s 作为检测器对比方法为 SIoU。实验结果如表 III 所示V. 结论在本文中我们总结了现有边界框回归方法的优缺点指出现有研究方法主要关注考虑真实边界框与预测框之间的几何约束而忽略了边界框本身的形状和尺度等几何因素对回归结果的影响。接着通过分析边界框的回归特性我们发现了边界框自身的几何因素能够影响回归的规律。基于以上分析我们提出了 Shape-IoU 方法该方法能够关注边界框自身的形状和尺度来计算损失从而提高精度。最后使用最先进的单阶段检测器在不同尺度的数据集上进行了一系列对比实验实验结果表明我们的方法优于现有方法达到了最先进的性能。
