(tip26) Interactive Spatial-Frequency Fusion Mamba for Multi-Modal Image Fusion

作者认为现有多模态图像融合方法MMIF在频率域应用方面未实现多尺度高低频的自适应整合高频噪声抑制效果不佳。同时Mamba能以线性计算复杂度建模图像的长距离依赖为 MMIF 提供了高效的特征提取方案。为此作者构建了ISFM 框架整体包含 模态特定提取器MSE、多尺度频率融合MFF、交互式空频融合ISF 三个模块其实中核心是 MFF 和 ISF。多尺度频率融合MFF如下图所示采用 DWT将 特征分解为低频LL和高频LH/HL/HH分量设计LFFB低频融合块通过池化 深度卷积提取多尺度全局信息结合空间注意力实现低频自适应融合设计HFFB高频融合块通过不同尺寸平均池化相减增强边缘细节、抑制噪声实现高频特征的鲁棒融合。输出两个特征分别为用于 ISF 引导的特征、转换为空间域的特征。交互式空频融合ISF核心为频率引导曼巴FGM和频率引导门FGG实现频率特征对空间融合的跨模态引导。FGM 通过深度卷积 2D-SSM 处理空间特征结合 FGG 生成的门控特征调制空间特征实现空频信息的交互式整合 FGG 对空间特征和频率特征进行全局编码生成自适应门控权重引导空间特征的跨模态融合提升互补信息挖掘能力。实验部分可以参考作者论文这里不过多介绍。