YOLO26-RGBIR-DGF官方 YOLO26 的 RGB IR 双主干动态融合改进以及 M3FD-200 百轮实跑实验Ai学术叫叫兽独家关键词YOLO26、RGB-IR、多模态目标检测、M3FD、动态门控融合、P3/P4/P5、模态权重热图、低光检测、热源干扰、遮挡鲁棒性1. 介绍总结本文参考的多模态检测思想主要来自 CVPR 工作Target-Aware Dual Adversarial Learning and a Multi-Scenario Multi-Modality Benchmark to Fuse Infrared and Visible for Object Detection。该工作提出 M3FD 多场景红外-可见光检测基准强调红外图像能够在夜间、低照度、烟雾与弱纹理条件下突出热目标可见光图像能够保留颜色、纹理、边缘和语义上下文。二者互补但固定相加或单纯图像级融合容易把无效模态的噪声传递给检测头。摘要翻译提炼原文的核心观点是红外与可见光融合不应只追求视觉上“更清楚”的融合图像而应服务于目标检测任务本身。M3FD 提供配准的红外/可见光图像对与检测标注使研究者能够直接评估融合策略对检测精度、误检抑制和跨场景鲁棒性的贡献。介绍部分提炼低光下 RGB 纹理退化热目标在 IR 中更稳定强热源或热反射场景下 IR 可能产生误检RGB 的纹理和边缘反而更可靠遮挡场景中不同模态常在不同区域保留有效线索。因此多模态检测需要“按场景、按尺度、按空间位置”动态选择模态而不是使用固定权重。参考来源来源链接M3FD / TarDAL 官方仓库https://github.com/JinyuanLiu-CV/TarDAL本文开源代码https://github.com/Aixsjjs/YOLO26-RGBIR-.gitGithub开源主页https://github.com/Aixsjjs2. 为什么要融合与改进模块核心结构2.1 为什么 RGB 与 IR 不能固定相加场景RGB 优势IR 优势固定融合风险动态融合目标白天正常光照纹理、颜色、边缘清晰热目标未必突出引入不必要热噪声RGB 权重更高夜间低光细节弱、噪声大热轮廓稳定RGB 过强导致漏检IR 权重上升热源干扰可通过纹理区分伪目标热响应可能过强热斑误检抑制平滑大热区局部遮挡残余边缘可用热轮廓可补充全局权重无法局部互补空间位置级选择烟雾弱纹理RGB 退化明显IR 穿透性更强单模态不稳定多尺度门控融合本改进采用RGBIR Dynamic Gated Fusion (RGBIR-DGF)。模型输入为[R,G,B,IR]通过显式双主干分别编码 RGB 与 IR在 P3/P4/P5 三个检测尺度进行动态融合YOLO Detect Head 保持原结构。2.2 改进模块核心公式对于第l个尺度层F_rgb^l, F_ir^l, l ∈ {P3, P4, P5}先构造跨模态关系Q^l Concat(F_rgb^l, F_ir^l, |F_rgb^l - F_ir^l|, F_rgb^l × F_ir^l)再由局部门控、全局门控与可靠性先验生成权重W^l Softmax((G_local(Q^l) G_global(Q^l) λR^l) / τ)最终输出F_fuse^l Conv(Concat(W_rgb^l · F_rgb^l W_ir^l · F_ir^l, Detail(W_rgb^l · F_rgb^l, W_ir^l · F_ir^l, |F_rgb^l - F_ir^l|)))结构作用针对问题RGBIRSplit将 4 通道输入拆成 RGB 与 IR 两路避免早期混合导致模态来源不可分双主干 BackboneRGB/IR 独立编码保留各模态专属特征G_local空间位置级权重遮挡、局部热源、小目标G_global整帧场景权重白天、夜晚、低光、强热背景可靠性先验R^l强化纹理抑制平滑热斑热源干扰与伪目标last_weights缓存权重导出每层/每帧热图3. 融合方法总览、优势特点、原理与网络结构图3.1 三类融合策略对比方法融合位置原理优势局限实验角色Early Fusion输入层或 StemRGB 与 IR 早期拼接或轻量门控简单、速度快、参数少难解释模态退化来源基线消融P3/P4/P5 DGFBackbone 输出多尺度层双主干独立编码多尺度动态融合可解释强检测头不变论文表达清晰参数高于单主干本文落地方案3.2 本文采用的网络结构weightsweightsweightsInput: R,G,B,IRRGBIRSplitRGB BackboneIR BackboneP3 RGBP4 RGBP5 RGBP3 IRP4 IRP5 IRRGBIR-DGF P3RGBIR-DGF P4RGBIR-DGF P5YOLO26 PAN/FPNOriginal YOLO Detect HeadP3 RGB/IR HeatmapP4 RGB/IR HeatmapP5 RGB/IR Heatmap3.3 100 轮对比实验结果数据采用 M3FD 原始 RGB/IR 图像不生成 TIFF。当前实验子集为 200 张训练集160张验证集40张类别为People, Car, Bus, Motorcycle, Lamp, Truck。Best epoch 指标对比3.4 热力图与检测效果对比RGBIR 模型可导出 P3/P4/P5 每层每帧的 RGB/IR 权重RGB-only 模型没有模态选择权重因此热图对比的关键结论是RGBIR 不仅给出检测结果还给出“本帧本层为什么偏向 RGB 或 IR”的解释证据。4. 原网络和融合后特点对比与注意事项维度原 YOLO26 RGB-onlyYOLO26-RGBIR-P345DGF输入3 通道 RGB4 通道[R,G,B,IR]主干单主干RGB/IR 双主干融合位置无P3/P4/P5融合方式无动态门控不固定相加检测头原 YOLO Detect保持原 YOLO Detect可解释性只能看检测结果或常规曲线输出每层/每帧 RGB/IR 权重热图低光场景RGB 退化明显IR 权重可上升热源干扰无显式抑制可靠性先验抑制平滑热斑遮挡场景单模态线索有限空间位置级模态互补工程代价参数少、速度快参数与显存增加需要 RGB/IR 成对数据关键注意事项项目说明数据对齐M3FD 原始 RGB/IR 图像需要文件名和空间尺寸对应若尺寸不同读取阶段会将 IR resize 到 RGB 尺寸标签格式与 COCO128 风格一致使用images/train、images/val、labels/train、labels/val文件夹通道顺序模型输入约定为[R,G,B,IR]RGB-only 对照使用同一批 RGB 图像和标签训练参数完全一致热图解释RGBIR 热图是模态选择权重RGB-only 不存在 RGB/IR 权重写在最后学术因方向、个人实验和写作能力以及具体创新内容的不同而无法做到一通百通关注UPAi学术叫叫兽在所有B站资料中留下联系方式以便在科研之余为家人们答疑解惑本up主获得过国奖发表多篇SCI擅长目标检测领域拥有多项竞赛经历拥有软件著作权核心期刊等经历。因为经历过所以更懂小白的痛苦因为经历过所以更具有指向性的指导祝所有科研工作者都能够在自己的领域上更上一层楼微信公众号Ai计算机视觉
YOLO26-RGBIR-DGF：官方 YOLO26 的 RGB + IR 双主干动态融合改进以及 M3FD-200 百轮实跑实验
发布时间：2026/7/8 3:22:32
YOLO26-RGBIR-DGF官方 YOLO26 的 RGB IR 双主干动态融合改进以及 M3FD-200 百轮实跑实验Ai学术叫叫兽独家关键词YOLO26、RGB-IR、多模态目标检测、M3FD、动态门控融合、P3/P4/P5、模态权重热图、低光检测、热源干扰、遮挡鲁棒性1. 介绍总结本文参考的多模态检测思想主要来自 CVPR 工作Target-Aware Dual Adversarial Learning and a Multi-Scenario Multi-Modality Benchmark to Fuse Infrared and Visible for Object Detection。该工作提出 M3FD 多场景红外-可见光检测基准强调红外图像能够在夜间、低照度、烟雾与弱纹理条件下突出热目标可见光图像能够保留颜色、纹理、边缘和语义上下文。二者互补但固定相加或单纯图像级融合容易把无效模态的噪声传递给检测头。摘要翻译提炼原文的核心观点是红外与可见光融合不应只追求视觉上“更清楚”的融合图像而应服务于目标检测任务本身。M3FD 提供配准的红外/可见光图像对与检测标注使研究者能够直接评估融合策略对检测精度、误检抑制和跨场景鲁棒性的贡献。介绍部分提炼低光下 RGB 纹理退化热目标在 IR 中更稳定强热源或热反射场景下 IR 可能产生误检RGB 的纹理和边缘反而更可靠遮挡场景中不同模态常在不同区域保留有效线索。因此多模态检测需要“按场景、按尺度、按空间位置”动态选择模态而不是使用固定权重。参考来源来源链接M3FD / TarDAL 官方仓库https://github.com/JinyuanLiu-CV/TarDAL本文开源代码https://github.com/Aixsjjs/YOLO26-RGBIR-.gitGithub开源主页https://github.com/Aixsjjs2. 为什么要融合与改进模块核心结构2.1 为什么 RGB 与 IR 不能固定相加场景RGB 优势IR 优势固定融合风险动态融合目标白天正常光照纹理、颜色、边缘清晰热目标未必突出引入不必要热噪声RGB 权重更高夜间低光细节弱、噪声大热轮廓稳定RGB 过强导致漏检IR 权重上升热源干扰可通过纹理区分伪目标热响应可能过强热斑误检抑制平滑大热区局部遮挡残余边缘可用热轮廓可补充全局权重无法局部互补空间位置级选择烟雾弱纹理RGB 退化明显IR 穿透性更强单模态不稳定多尺度门控融合本改进采用RGBIR Dynamic Gated Fusion (RGBIR-DGF)。模型输入为[R,G,B,IR]通过显式双主干分别编码 RGB 与 IR在 P3/P4/P5 三个检测尺度进行动态融合YOLO Detect Head 保持原结构。2.2 改进模块核心公式对于第l个尺度层F_rgb^l, F_ir^l, l ∈ {P3, P4, P5}先构造跨模态关系Q^l Concat(F_rgb^l, F_ir^l, |F_rgb^l - F_ir^l|, F_rgb^l × F_ir^l)再由局部门控、全局门控与可靠性先验生成权重W^l Softmax((G_local(Q^l) G_global(Q^l) λR^l) / τ)最终输出F_fuse^l Conv(Concat(W_rgb^l · F_rgb^l W_ir^l · F_ir^l, Detail(W_rgb^l · F_rgb^l, W_ir^l · F_ir^l, |F_rgb^l - F_ir^l|)))结构作用针对问题RGBIRSplit将 4 通道输入拆成 RGB 与 IR 两路避免早期混合导致模态来源不可分双主干 BackboneRGB/IR 独立编码保留各模态专属特征G_local空间位置级权重遮挡、局部热源、小目标G_global整帧场景权重白天、夜晚、低光、强热背景可靠性先验R^l强化纹理抑制平滑热斑热源干扰与伪目标last_weights缓存权重导出每层/每帧热图3. 融合方法总览、优势特点、原理与网络结构图3.1 三类融合策略对比方法融合位置原理优势局限实验角色Early Fusion输入层或 StemRGB 与 IR 早期拼接或轻量门控简单、速度快、参数少难解释模态退化来源基线消融P3/P4/P5 DGFBackbone 输出多尺度层双主干独立编码多尺度动态融合可解释强检测头不变论文表达清晰参数高于单主干本文落地方案3.2 本文采用的网络结构weightsweightsweightsInput: R,G,B,IRRGBIRSplitRGB BackboneIR BackboneP3 RGBP4 RGBP5 RGBP3 IRP4 IRP5 IRRGBIR-DGF P3RGBIR-DGF P4RGBIR-DGF P5YOLO26 PAN/FPNOriginal YOLO Detect HeadP3 RGB/IR HeatmapP4 RGB/IR HeatmapP5 RGB/IR Heatmap3.3 100 轮对比实验结果数据采用 M3FD 原始 RGB/IR 图像不生成 TIFF。当前实验子集为 200 张训练集160张验证集40张类别为People, Car, Bus, Motorcycle, Lamp, Truck。Best epoch 指标对比3.4 热力图与检测效果对比RGBIR 模型可导出 P3/P4/P5 每层每帧的 RGB/IR 权重RGB-only 模型没有模态选择权重因此热图对比的关键结论是RGBIR 不仅给出检测结果还给出“本帧本层为什么偏向 RGB 或 IR”的解释证据。4. 原网络和融合后特点对比与注意事项维度原 YOLO26 RGB-onlyYOLO26-RGBIR-P345DGF输入3 通道 RGB4 通道[R,G,B,IR]主干单主干RGB/IR 双主干融合位置无P3/P4/P5融合方式无动态门控不固定相加检测头原 YOLO Detect保持原 YOLO Detect可解释性只能看检测结果或常规曲线输出每层/每帧 RGB/IR 权重热图低光场景RGB 退化明显IR 权重可上升热源干扰无显式抑制可靠性先验抑制平滑热斑遮挡场景单模态线索有限空间位置级模态互补工程代价参数少、速度快参数与显存增加需要 RGB/IR 成对数据关键注意事项项目说明数据对齐M3FD 原始 RGB/IR 图像需要文件名和空间尺寸对应若尺寸不同读取阶段会将 IR resize 到 RGB 尺寸标签格式与 COCO128 风格一致使用images/train、images/val、labels/train、labels/val文件夹通道顺序模型输入约定为[R,G,B,IR]RGB-only 对照使用同一批 RGB 图像和标签训练参数完全一致热图解释RGBIR 热图是模态选择权重RGB-only 不存在 RGB/IR 权重写在最后学术因方向、个人实验和写作能力以及具体创新内容的不同而无法做到一通百通关注UPAi学术叫叫兽在所有B站资料中留下联系方式以便在科研之余为家人们答疑解惑本up主获得过国奖发表多篇SCI擅长目标检测领域拥有多项竞赛经历拥有软件著作权核心期刊等经历。因为经历过所以更懂小白的痛苦因为经历过所以更具有指向性的指导祝所有科研工作者都能够在自己的领域上更上一层楼微信公众号Ai计算机视觉
)
