CenterFusion:Center-based Radar and Camera Fusion for 3D Object Detection简介框架CenterFusion中心点检测雷达关联radar特征提取实施详细信息结论简介提出了CenterFusion架构利用radar和camera数据做3D目标检测。该网络主要将radar的点云数据与图像中获得的初步检测结果相关联。然后生成雷达的特征图像与camera的特征图像结合精确估计目标的3D检测框。方法1. 提出一种CenterFusion网络架构。如图1.。2. 首先使用全卷机网络文中成为中心点检测网络主要是采用了热图生成中心点方法检测图像上目标的中心点。包含了3D位置、方向和尺寸。3. 提出一种Frustum截椎体没有尖的椎体关联的方法将radar探测数据与图像上的目标中心点相关联解决了关键数据关联问题。如图2、3所示。4. 相应的radar检测生成了雷达的特征图将其与图像特征图连接补充了图像特征最后用于二级回归到目标的特性如深度、旋转、速度等。如图5所示。框架图1. CenterFusion网络架构。首先使用由主干提取的图像特征来获得初步的3Dbox。Frustum关联模块使用初步框将雷达探测与目标关联并生成雷达特征图。然后将图像和雷达特征图连接起来并通过重新计算深度和旋转以及估计物体的速度和属性来改进初步检测图2 . Frustum 关联。使用图像特征左检测到的对象基于对象的3D边界框中生成ROI FrustumROI Frustum在BEV视角下的可视化右。δ用于增加测试阶段的截头体尺寸。d是训练阶段的真实深度和测试阶段的估计目标深度。图3.将雷达点扩展到3D柱上图。将支柱直接映射到图像上并用雷达深度信息进行替换会导致与对象中心的关联性较差并导致许多重叠的深度值中间图像。Frustum关联将雷达探测精确地映射到物体的中心并最小化重叠底部图像。当雷达探测柱的全部或部分位于box内时雷达探测仅与有真实或检测box的物体相关。Frustum关联还防止将背景物体如建筑物引起的雷达探测与前方物体关联如图像右侧的行人。CenterFusion在本节中介绍了用于3D物体检测的雷达和相机传感器融合方法。总体CenterFusion架构如图1所示。采用热图的峰值作为基于中心的对象检测网络来检测图像平面上对象的中心点并回归到其他对象信息如3D位置、方向和尺寸。本文提出了一种中间融合机制该机制将雷达探测与相应图像目标的中心点相关联并利用雷达和图像特征通过重新估计其深度、位置、旋转和属性来改进初步检测。融合机制的关键是雷达探测与目标的精确关联。中心点对象检测网络为图像中的每个对象类别生成热图。热图中的峰值表示物体可能的中心点这些位置的图像特征用于估计物体的其他信息如上面所提到的3D位置、方向等。为了在该情况中使用雷达信息需要将基于雷达的特征映射到图像上相应对象的中心这需要雷达探测和场景中对象之间的精确关联。代码网络的输入中心点检测采用CenterNet[34]检测网络对图像进行初步检测。首先使用完全卷积编码器-解码器骨干网络提取图像特征。遵循CenterNet结构并使用深度层聚合DLA网络的修改版本作为骨干网络。然后使用该网络提取的图像特征来预测图像中目标的中心点以及对象的2D尺寸宽度和高度、中心偏移、3D尺寸、深度和旋转。这些值由图1所示的主回归heads预测。每个主回归heads由一个256个通道的3×3卷积层和一个1×1卷积层组成生成所需的输出。这为场景中每个检测到的对象提供了一个准确的2D边界框和一个初步的3D边界框。雷达关联中心点检测网络仅使用每个对象中心的图像特征回归到所有其他对象信息。为了在这个过程中充分利用雷达数据首先需要将雷达探测与图像平面上的相应对象相关联。为了实现这一点一种新的方法是将每个雷达探测点映射到图像平面如果该点映射到该对象的2D边界框内并将其与对象关联。这不是一个非常稳健的解决方案因为雷达探测的目标和图像中的物体之间没有一对一的映射场景中的许多对象都会生成多个雷达探测并且也有与任何对象都不对应的雷达探测。此外由于雷达探测的z维度不准确或根本不存在因此映射的雷达探测可能最终位于其对应对象的2D边界框之外。最后从被遮挡物体获得的雷达探测测将映射到图像中的相同的区域很有可能会使得在2D图像平面中区分它们变得困难。Frustum关联机制开发了一种Frustum关联方法该方法使用对象的2D边界框及其估计的深度和大小为对象创建3D感兴趣区域RoI平截头体Frustum。有了一个精确的对象二维边界框为该对象创建一个Frustum如图3所示。这大大缩小了需要检查关联的雷达探测范围因为可以忽略这个Frustum之外的任何点。然后使用估计的物体深度、维度和旋转来创建物体周围的RoI以进一步过滤掉与该物体无关的雷达探测。如果在这个RoI内有多个雷达探测将最近的点作为雷达探测对应于这个物体。在训练阶段使用物体的3D地面真实边界框来创建一个紧密的RoI Frustum区域并将雷达探测与物体关联起来。在测试阶段如前所述使用对象的估计3D边界框计算RoI Frustum。在这种情况下使用参数δ来控制RoI Frustum的大小如图3所示。这是为了解释估计深度值的不准确因为在这个阶段物体的深度仅使用基于图像的特征来确定。即使估计深度稍有偏差使用此参数放大Frustum会增大将相应雷达探测包括在Frustum区域内部的可能性。应谨慎选择δ值因为大型RoI Frustum可以包括对附近物体的雷达探测。RoI Frustum方法可以轻松地关联重叠对象因为对象在3D空间中是分离的并且会有单独的RoI Frustum。它还消除了多检测关联问题因为只有RoI Frustum内最近的雷达探测与物体关联。然而这无助于解决z维度不准确的问题因为雷达探测可能由于其不准确的高度信息而位于相应对象的ROI Frustum区域之外。代码支柱扩展为了解决radar检测目标高度不准确的问题引入了一个称为支柱扩展的雷达点云预处理步骤其中每个雷达点扩展为固定大小的支柱如图4所示。柱子为雷达探测到的物理物体创造了更好的表示因为这些检测可以与三维空间中的一个维度相关联。有了这个新的表示如果其对应的支柱的全部或部分位于Frustum内简单地将雷达探测视为位于Frustum内部如图1所示。代码radar特征提取在将雷达探测与其对应的对象关联之后使用雷达探测的深度和速度为图像创建互补特征。特别是对于与物体相关的每一次雷达探测都会生成三个位于物体二维边界框中心和内部的热图通道如图4所示。热图的宽度和高度与对象的2D边界框成比例并由参数α控制。热图值是标准化物体深度d也是自中心坐标系中径向速度vx和vy的x和y分量其中i∈123是特征图通道Mi是归一化因子fi是特征值dvx或vycj x和cj y是图像上第j个对象的中心点的x和y坐标wj和hj是第j个目标的2D边界框的宽度和高度。如果两个对象具有重叠的热图区域则具有较小深度值的热图占主导地位因为只有最近的对象在图像中完全可见。生成的热图然后作为额外的通道连接到图像特征。这些特征被用作二次回归头的输入以重新计算对象的深度和旋转以及速度和分布。速度回归head估计车辆坐标系中物体实际速度的x和y分量。属性回归head为不同的对象类估计不同的属性例如Car类的移动或停放行人类的站立或坐着。二次回归头由3×3核的三个卷积层组成然后是1×1卷积层以生成所需的输出。与主要回归head相比额外的卷积层有助于从雷达特征图中学习更高级别的特征。最后一步是将重建head结果解码为3D边界框。box解码器块使用二级回归头中估计的深度、速度、旋转和属性并从一级回归头获取其他对象信息。实施详细信息使用预训练的CenterNet网络和DLA[32]骨干作为目标检测网络。DLA使用迭代深度聚合层来提高特征图的分辨率。CenterNet使用不同的主干架构比较其性能Hourglass网络[21]的性能优于其他网络。选择使用DLA网络因为在提供合理性能的同时训练所需的时间大大减少。直接使用发布的CenterNet模型该模型在nuScenes数据集上训练了140个epoch。默认情况下该模型不提供速度和属性预测。训练了30个epoch的速度和属性head并使用生成的模型作为基线。网络中的二次回归head被添加到CenterNet主干网络的顶部并使用图像和雷达功能在两个Nvidia P5000 GPU上进行了额外60个epoch的训练批量大小为26。在训练和测试期间将图像分辨率从最初的1600×900像素降低到800×450像素。在训练过程中使用数据增强包括随机左右翻转概率为0.5和随机移位从图像大小的0%到20%。同样的增强也适用于参考相机坐标系的雷达点云。不应用任何缩放增强因为它会改变3D测量。在测试时只使用翻转测试增强其中图像及其翻转效果被送入网络网络输出的平均值用于解码3D边界框。在利用CenterNet时没有使用的多尺度测试增强。支柱尺寸在[xyz]方向上设置为[0.20.21.5]米δ设置为在测试时将RoI Frustum的径向长度增加20%。对大多数回归头使用L1损失中心点热图head使用Focal损失、属性回归头使用二元交叉熵BCE损失。结论总之提出了一种新的雷达和相机融合算法称为CenterFusion以利用雷达信息进行稳健的3D物体检测。CenterFusion使用基于Frustum的关联方法将雷达探测与图像上的目标精确关联并创建基于雷达的特征图以补充中间融合方法中的图像特征。本文Frustum关联方法使用预阈值检测结果在3D空间中生成物体周围的RoI Frustum区域并将雷达探测映射到图像上目标的中心。还使用了支柱展开pillar expansion方法通过将雷达点转换为3D空间中固定大小的支柱来补偿雷达探测高度信息的不准确度。在具有挑战性的nuScenes 3D检测基准上评估了提出的方法其中CenterFusion优于最先进的基于相机的对象检测方法。
CenterFusion:Center-based Radar and Camera Fusion for 3D Object Detection
发布时间：2026/7/14 15:00:29
CenterFusion:Center-based Radar and Camera Fusion for 3D Object Detection简介框架CenterFusion中心点检测雷达关联radar特征提取实施详细信息结论简介提出了CenterFusion架构利用radar和camera数据做3D目标检测。该网络主要将radar的点云数据与图像中获得的初步检测结果相关联。然后生成雷达的特征图像与camera的特征图像结合精确估计目标的3D检测框。方法1. 提出一种CenterFusion网络架构。如图1.。2. 首先使用全卷机网络文中成为中心点检测网络主要是采用了热图生成中心点方法检测图像上目标的中心点。包含了3D位置、方向和尺寸。3. 提出一种Frustum截椎体没有尖的椎体关联的方法将radar探测数据与图像上的目标中心点相关联解决了关键数据关联问题。如图2、3所示。4. 相应的radar检测生成了雷达的特征图将其与图像特征图连接补充了图像特征最后用于二级回归到目标的特性如深度、旋转、速度等。如图5所示。框架图1. CenterFusion网络架构。首先使用由主干提取的图像特征来获得初步的3Dbox。Frustum关联模块使用初步框将雷达探测与目标关联并生成雷达特征图。然后将图像和雷达特征图连接起来并通过重新计算深度和旋转以及估计物体的速度和属性来改进初步检测图2 . Frustum 关联。使用图像特征左检测到的对象基于对象的3D边界框中生成ROI FrustumROI Frustum在BEV视角下的可视化右。δ用于增加测试阶段的截头体尺寸。d是训练阶段的真实深度和测试阶段的估计目标深度。图3.将雷达点扩展到3D柱上图。将支柱直接映射到图像上并用雷达深度信息进行替换会导致与对象中心的关联性较差并导致许多重叠的深度值中间图像。Frustum关联将雷达探测精确地映射到物体的中心并最小化重叠底部图像。当雷达探测柱的全部或部分位于box内时雷达探测仅与有真实或检测box的物体相关。Frustum关联还防止将背景物体如建筑物引起的雷达探测与前方物体关联如图像右侧的行人。CenterFusion在本节中介绍了用于3D物体检测的雷达和相机传感器融合方法。总体CenterFusion架构如图1所示。采用热图的峰值作为基于中心的对象检测网络来检测图像平面上对象的中心点并回归到其他对象信息如3D位置、方向和尺寸。本文提出了一种中间融合机制该机制将雷达探测与相应图像目标的中心点相关联并利用雷达和图像特征通过重新估计其深度、位置、旋转和属性来改进初步检测。融合机制的关键是雷达探测与目标的精确关联。中心点对象检测网络为图像中的每个对象类别生成热图。热图中的峰值表示物体可能的中心点这些位置的图像特征用于估计物体的其他信息如上面所提到的3D位置、方向等。为了在该情况中使用雷达信息需要将基于雷达的特征映射到图像上相应对象的中心这需要雷达探测和场景中对象之间的精确关联。代码网络的输入中心点检测采用CenterNet[34]检测网络对图像进行初步检测。首先使用完全卷积编码器-解码器骨干网络提取图像特征。遵循CenterNet结构并使用深度层聚合DLA网络的修改版本作为骨干网络。然后使用该网络提取的图像特征来预测图像中目标的中心点以及对象的2D尺寸宽度和高度、中心偏移、3D尺寸、深度和旋转。这些值由图1所示的主回归heads预测。每个主回归heads由一个256个通道的3×3卷积层和一个1×1卷积层组成生成所需的输出。这为场景中每个检测到的对象提供了一个准确的2D边界框和一个初步的3D边界框。雷达关联中心点检测网络仅使用每个对象中心的图像特征回归到所有其他对象信息。为了在这个过程中充分利用雷达数据首先需要将雷达探测与图像平面上的相应对象相关联。为了实现这一点一种新的方法是将每个雷达探测点映射到图像平面如果该点映射到该对象的2D边界框内并将其与对象关联。这不是一个非常稳健的解决方案因为雷达探测的目标和图像中的物体之间没有一对一的映射场景中的许多对象都会生成多个雷达探测并且也有与任何对象都不对应的雷达探测。此外由于雷达探测的z维度不准确或根本不存在因此映射的雷达探测可能最终位于其对应对象的2D边界框之外。最后从被遮挡物体获得的雷达探测测将映射到图像中的相同的区域很有可能会使得在2D图像平面中区分它们变得困难。Frustum关联机制开发了一种Frustum关联方法该方法使用对象的2D边界框及其估计的深度和大小为对象创建3D感兴趣区域RoI平截头体Frustum。有了一个精确的对象二维边界框为该对象创建一个Frustum如图3所示。这大大缩小了需要检查关联的雷达探测范围因为可以忽略这个Frustum之外的任何点。然后使用估计的物体深度、维度和旋转来创建物体周围的RoI以进一步过滤掉与该物体无关的雷达探测。如果在这个RoI内有多个雷达探测将最近的点作为雷达探测对应于这个物体。在训练阶段使用物体的3D地面真实边界框来创建一个紧密的RoI Frustum区域并将雷达探测与物体关联起来。在测试阶段如前所述使用对象的估计3D边界框计算RoI Frustum。在这种情况下使用参数δ来控制RoI Frustum的大小如图3所示。这是为了解释估计深度值的不准确因为在这个阶段物体的深度仅使用基于图像的特征来确定。即使估计深度稍有偏差使用此参数放大Frustum会增大将相应雷达探测包括在Frustum区域内部的可能性。应谨慎选择δ值因为大型RoI Frustum可以包括对附近物体的雷达探测。RoI Frustum方法可以轻松地关联重叠对象因为对象在3D空间中是分离的并且会有单独的RoI Frustum。它还消除了多检测关联问题因为只有RoI Frustum内最近的雷达探测与物体关联。然而这无助于解决z维度不准确的问题因为雷达探测可能由于其不准确的高度信息而位于相应对象的ROI Frustum区域之外。代码支柱扩展为了解决radar检测目标高度不准确的问题引入了一个称为支柱扩展的雷达点云预处理步骤其中每个雷达点扩展为固定大小的支柱如图4所示。柱子为雷达探测到的物理物体创造了更好的表示因为这些检测可以与三维空间中的一个维度相关联。有了这个新的表示如果其对应的支柱的全部或部分位于Frustum内简单地将雷达探测视为位于Frustum内部如图1所示。代码radar特征提取在将雷达探测与其对应的对象关联之后使用雷达探测的深度和速度为图像创建互补特征。特别是对于与物体相关的每一次雷达探测都会生成三个位于物体二维边界框中心和内部的热图通道如图4所示。热图的宽度和高度与对象的2D边界框成比例并由参数α控制。热图值是标准化物体深度d也是自中心坐标系中径向速度vx和vy的x和y分量其中i∈123是特征图通道Mi是归一化因子fi是特征值dvx或vycj x和cj y是图像上第j个对象的中心点的x和y坐标wj和hj是第j个目标的2D边界框的宽度和高度。如果两个对象具有重叠的热图区域则具有较小深度值的热图占主导地位因为只有最近的对象在图像中完全可见。生成的热图然后作为额外的通道连接到图像特征。这些特征被用作二次回归头的输入以重新计算对象的深度和旋转以及速度和分布。速度回归head估计车辆坐标系中物体实际速度的x和y分量。属性回归head为不同的对象类估计不同的属性例如Car类的移动或停放行人类的站立或坐着。二次回归头由3×3核的三个卷积层组成然后是1×1卷积层以生成所需的输出。与主要回归head相比额外的卷积层有助于从雷达特征图中学习更高级别的特征。最后一步是将重建head结果解码为3D边界框。box解码器块使用二级回归头中估计的深度、速度、旋转和属性并从一级回归头获取其他对象信息。实施详细信息使用预训练的CenterNet网络和DLA[32]骨干作为目标检测网络。DLA使用迭代深度聚合层来提高特征图的分辨率。CenterNet使用不同的主干架构比较其性能Hourglass网络[21]的性能优于其他网络。选择使用DLA网络因为在提供合理性能的同时训练所需的时间大大减少。直接使用发布的CenterNet模型该模型在nuScenes数据集上训练了140个epoch。默认情况下该模型不提供速度和属性预测。训练了30个epoch的速度和属性head并使用生成的模型作为基线。网络中的二次回归head被添加到CenterNet主干网络的顶部并使用图像和雷达功能在两个Nvidia P5000 GPU上进行了额外60个epoch的训练批量大小为26。在训练和测试期间将图像分辨率从最初的1600×900像素降低到800×450像素。在训练过程中使用数据增强包括随机左右翻转概率为0.5和随机移位从图像大小的0%到20%。同样的增强也适用于参考相机坐标系的雷达点云。不应用任何缩放增强因为它会改变3D测量。在测试时只使用翻转测试增强其中图像及其翻转效果被送入网络网络输出的平均值用于解码3D边界框。在利用CenterNet时没有使用的多尺度测试增强。支柱尺寸在[xyz]方向上设置为[0.20.21.5]米δ设置为在测试时将RoI Frustum的径向长度增加20%。对大多数回归头使用L1损失中心点热图head使用Focal损失、属性回归头使用二元交叉熵BCE损失。结论总之提出了一种新的雷达和相机融合算法称为CenterFusion以利用雷达信息进行稳健的3D物体检测。CenterFusion使用基于Frustum的关联方法将雷达探测与图像上的目标精确关联并创建基于雷达的特征图以补充中间融合方法中的图像特征。本文Frustum关联方法使用预阈值检测结果在3D空间中生成物体周围的RoI Frustum区域并将雷达探测映射到图像上目标的中心。还使用了支柱展开pillar expansion方法通过将雷达点转换为3D空间中固定大小的支柱来补偿雷达探测高度信息的不准确度。在具有挑战性的nuScenes 3D检测基准上评估了提出的方法其中CenterFusion优于最先进的基于相机的对象检测方法。
)
