好的我们来深入聊聊BEV 融合这个方向。BEVBird‘s-Eye-View鸟瞰图融合的核心思想就是把相机和激光雷达这两种不同“眼睛”看到的东西都统一转换到从上往下的鸟瞰视角下再进行特征融合。这么做的好处是BEV空间天然就是做路径规划和障碍物判断的地方感知结果能直接拿来用。不过早期的 BEV 融合方法比如开山之作BEVFusion虽然统一了坐标系但相机和激光雷达在融合前基本是“各干各的”没有交互。这导致相机分支依然缺乏准确的深度信息融合的潜力没有被完全挖掘出来。而你提到的GAFusion正是针对这个痛点提出的解决方案。我们可以把它当作一个绝佳的“解剖案例”来理解当前 BEV 融合的先进理念。 深度解剖 GAFusion当 LiDAR 成为相机的“老师”GAFusion 最核心的洞察是与其让相机和激光雷达在融合时才见面不如让激光雷达提前介入主动“教”相机如何更好地理解三维世界。它的创新可以拆解为以下几个环环相扣的模块。下图是 GAFusion 的整体架构清晰地展示了数据如何从输入到输出以及各个核心模块在流程中的位置LiDAR引导模块稀疏深度引导SDGLiDAR占据引导LOG输入多视角图像与LiDAR点云特征提取双流Backbone多尺度双路径TransformerMSDPT扩大感受野LiDAR BEV特征提取额外下采样稀疏高度压缩相机BEV特征LiDAR BEV特征LiDAR引导自适应融合TransformerLGAFT时序融合模块3D目标检测头最终检测结果3D边界框第一课教相机“看”深度 (Sparse Depth Guidance, SDG)问题纯视觉方法如LSS Lift-Splat-Shoot在将2D图像特征“提升”到3D时需要预测每个像素的深度分布。但这个预测是模糊的、靠“猜”的。GAFusion 的创新它利用激光雷达生成的稀疏但绝对精确的深度图作为“标准答案”或“强力提示”去引导相机特征的深度预测过程。这相当于告诉神经网络“在这些有激光雷达点的像素位置上深度是精确已知的你的预测要以它们为准绳。” 这样一来相机特征就具备了更准确的深度信息为后续融合打下了坚实基础。第二课教相机“盯”物体 (LiDAR Occupancy Guidance, LOG)问题即使有了深度引导相机生成的3D特征体中仍包含大量背景信息计算资源没有被集中在最有价值的物体区域。GAFusion 的创新它借鉴了“占据预测”Occupancy Prediction任务的思想用激光雷达点云生成的占据特征即知道3D空间中哪些格子被物体占据了去引导相机生成的3D特征体。这相当于用激光雷达的几何事实给相机的3D想象画了一个重点“多关注这些被占据的区域它们才是可能有物体的地方。”融合课全局视角下的自适应融合 (LiDAR-guided Adaptive Fusion Transformer, LGAFT)问题传统的融合可能是简单的拼接或加权平均没有考虑不同位置、不同物体应该更信赖哪个传感器。GAFusion 的创新在经过前两步的“教学”后相机和激光雷达的BEV特征都已经准备就绪。LGAFT模块登场它利用Transformer的全局注意力机制让两个模态的BEV特征进行充分的交互。更重要的是这种交互是自适应的——模型会根据特征本身动态地学习在哪些区域更应该依赖激光雷达的几何信息在哪些区域更应该依赖相机的语义信息实现真正的“按需融合”。辅助课程看得更广 (Multi-Scale Dual-Path Transformer, MSDPT)问题单一的尺度限制了模型对大物体和小物体的感知能力。GAFusion 的创新MSDPT模块通过多尺度设计和双路径处理有效地扩大了模型在BEV空间中的感受野。这使得模型既能看清近处的大物体也能捕捉到远处的小物体提升了整体的感知能力。最终GAFusion 通过在融合前、融合中的全流程中引入激光雷达的引导在nuScenes数据集上取得了73.6% mAP和74.9% NDS的顶尖成绩 充分证明了其“引导式融合”思路的有效性。 总结与延伸GAFusion 的成功标志着 BEV 融合从“特征对齐后的简单混合”进化到了“基于几何引导的深度交互”阶段。它告诉我们好的融合不是简单的 11而是让一个模态的优势去弥补另一个模态的劣势从而产生化学反应的11 2。沿着这个思路你可以进一步思考或探索如何将这种引导思想应用到 Occupancy 任务中实际上你已经提到了 FusionOcc/MS-Occ如果激光雷达信号不可靠如恶劣天气这种引导机制该如何调整这又与你提到的 ReliFusion 等可靠性建模方向紧密相关能否设计更轻量级的引导模块实现性能和效率的更好平衡
BEV 融合
发布时间：2026/5/18 3:45:38
好的我们来深入聊聊BEV 融合这个方向。BEVBird‘s-Eye-View鸟瞰图融合的核心思想就是把相机和激光雷达这两种不同“眼睛”看到的东西都统一转换到从上往下的鸟瞰视角下再进行特征融合。这么做的好处是BEV空间天然就是做路径规划和障碍物判断的地方感知结果能直接拿来用。不过早期的 BEV 融合方法比如开山之作BEVFusion虽然统一了坐标系但相机和激光雷达在融合前基本是“各干各的”没有交互。这导致相机分支依然缺乏准确的深度信息融合的潜力没有被完全挖掘出来。而你提到的GAFusion正是针对这个痛点提出的解决方案。我们可以把它当作一个绝佳的“解剖案例”来理解当前 BEV 融合的先进理念。 深度解剖 GAFusion当 LiDAR 成为相机的“老师”GAFusion 最核心的洞察是与其让相机和激光雷达在融合时才见面不如让激光雷达提前介入主动“教”相机如何更好地理解三维世界。它的创新可以拆解为以下几个环环相扣的模块。下图是 GAFusion 的整体架构清晰地展示了数据如何从输入到输出以及各个核心模块在流程中的位置LiDAR引导模块稀疏深度引导SDGLiDAR占据引导LOG输入多视角图像与LiDAR点云特征提取双流Backbone多尺度双路径TransformerMSDPT扩大感受野LiDAR BEV特征提取额外下采样稀疏高度压缩相机BEV特征LiDAR BEV特征LiDAR引导自适应融合TransformerLGAFT时序融合模块3D目标检测头最终检测结果3D边界框第一课教相机“看”深度 (Sparse Depth Guidance, SDG)问题纯视觉方法如LSS Lift-Splat-Shoot在将2D图像特征“提升”到3D时需要预测每个像素的深度分布。但这个预测是模糊的、靠“猜”的。GAFusion 的创新它利用激光雷达生成的稀疏但绝对精确的深度图作为“标准答案”或“强力提示”去引导相机特征的深度预测过程。这相当于告诉神经网络“在这些有激光雷达点的像素位置上深度是精确已知的你的预测要以它们为准绳。” 这样一来相机特征就具备了更准确的深度信息为后续融合打下了坚实基础。第二课教相机“盯”物体 (LiDAR Occupancy Guidance, LOG)问题即使有了深度引导相机生成的3D特征体中仍包含大量背景信息计算资源没有被集中在最有价值的物体区域。GAFusion 的创新它借鉴了“占据预测”Occupancy Prediction任务的思想用激光雷达点云生成的占据特征即知道3D空间中哪些格子被物体占据了去引导相机生成的3D特征体。这相当于用激光雷达的几何事实给相机的3D想象画了一个重点“多关注这些被占据的区域它们才是可能有物体的地方。”融合课全局视角下的自适应融合 (LiDAR-guided Adaptive Fusion Transformer, LGAFT)问题传统的融合可能是简单的拼接或加权平均没有考虑不同位置、不同物体应该更信赖哪个传感器。GAFusion 的创新在经过前两步的“教学”后相机和激光雷达的BEV特征都已经准备就绪。LGAFT模块登场它利用Transformer的全局注意力机制让两个模态的BEV特征进行充分的交互。更重要的是这种交互是自适应的——模型会根据特征本身动态地学习在哪些区域更应该依赖激光雷达的几何信息在哪些区域更应该依赖相机的语义信息实现真正的“按需融合”。辅助课程看得更广 (Multi-Scale Dual-Path Transformer, MSDPT)问题单一的尺度限制了模型对大物体和小物体的感知能力。GAFusion 的创新MSDPT模块通过多尺度设计和双路径处理有效地扩大了模型在BEV空间中的感受野。这使得模型既能看清近处的大物体也能捕捉到远处的小物体提升了整体的感知能力。最终GAFusion 通过在融合前、融合中的全流程中引入激光雷达的引导在nuScenes数据集上取得了73.6% mAP和74.9% NDS的顶尖成绩 充分证明了其“引导式融合”思路的有效性。 总结与延伸GAFusion 的成功标志着 BEV 融合从“特征对齐后的简单混合”进化到了“基于几何引导的深度交互”阶段。它告诉我们好的融合不是简单的 11而是让一个模态的优势去弥补另一个模态的劣势从而产生化学反应的11 2。沿着这个思路你可以进一步思考或探索如何将这种引导思想应用到 Occupancy 任务中实际上你已经提到了 FusionOcc/MS-Occ如果激光雷达信号不可靠如恶劣天气这种引导机制该如何调整这又与你提到的 ReliFusion 等可靠性建模方向紧密相关能否设计更轻量级的引导模块实现性能和效率的更好平衡
