【YOLOv8多模态融合改进】| TGRS 2025 HFFE分层特征融合编码器 双模态注意力加权 + 跨尺度对齐融合，强化弱小目标多模态特征互补

一、本文介绍本文记录的是利用分层特征融合模块HFFE改进YOLOv8的可见光-红外双模态目标检测。HFFE（Hierarchical Feature Fusion Encoder）通过可见光-红外特征分辨率对齐、空间注意力模态筛选与坐标注意力位置编码结合，自适应完成深浅层双模态特征加权交互，打通可见光纹理与红外热辐射信息融合通路。本文利用HFFE模块，先通过双线性插值统一不同层级可见光、红外特征空间尺度，再借助空间注意力分别滤除两类模态无关背景，生成跨模态空间权重矩阵动态分配模态特征贡献，依托坐标注意力留存多模态小目标空间位置信息，针对性增强红外弱小目标热特征与可见光轮廓纹理，同步抑制可见光杂波、红外热云无效背景干扰，在编码器分层融合阶段实现双模态细节与全局热语义高效互补，解决传统单尺度拼接带来的模态语义错位问题，大幅提升复杂暗光、海面云层场景下多模态红外小目标检测精度。专栏目录：《多模态模型改进》目录一览 | 专栏介绍 ，多模态的全方位改进，提供多模态模型改进完整项目包-开箱即用专栏地址：YOLO系列模型的多模态融合改进——极易上手、非常好发文的多模态改进教程！文章目录一、本文介绍二、HFFE介绍2.1 设计出发点2.2 模块结构2.3 模块优势三、HFFE实现代码四、添加步骤4.1 修改一4.2 修改二4.3 修改三五、yaml模型文件5.1 中期融合⭐5.2 中-后期融合⭐5.3 后期融合⭐六、成功运行结果二、HFFE介绍2.1 设计出发点可见光模态富含纹理、边缘细节，但低照度、云雾场景目标对比度极低；红外模态突出热辐射弱小目标，但缺失场景纹理与空间轮廓。传统同尺度跳跃连接仅简单拼接两类模态单层特征，存在三大缺陷：高低层级、双模态特征语义鸿沟大，直接融合会引入可见光杂波与红外背景噪声；无法自适应区分可见光纹理特征、红外热目标特征的贡献度，弱小目标易被可见光细节淹没；缺少跨层级、跨模态双向交互，不能同步聚合浅层多模态细节与深层全局热语义。因此设计HFFE，依托空间+坐标双注意力实现可见光-红外多模态分层自适应融合，对齐不同尺度双模态特征、区分模态专属有效信息，抑制两类模态冗余背景干扰。2.2 模块结构HFFE（Hierarchical Feature Fusion Encoder）分层特征融合编码器：多模态分辨率对齐：输入可见光浅层细节特征、红外深层语义特征，对高层红外特征双线性上采样匹配浅层可见光尺寸，消除模态尺度差；双注意力精炼：分别对可见光、红外特征执行空间注意力SAM过滤背景，再生成跨模态空间权重矩阵SWM双向加权；坐标注意力跨模态关联：编码可见光轮廓、红外热目标横竖空间位置，保留多模态小目标定位信息；分层融合输出