Abstract跨模态迁移方法在将基于 RGB 的基础模型扩展到非 RGB 模态方面取得了显著进展。然而现有的迁移范式主要是面向任务的这意味着一旦任务发生变化就需要重新训练并重新存储模型从而在数据、计算和存储方面造成大量冗余。为了解决这一局限性我们提出了一种高效的跨模态迁移范式将整个过程解耦为一次性的通用模态知识迁移和灵活的任务知识迁移两个阶段。在第一阶段我们提出了一种渐进式自监督调优策略该策略结合了模态感知的结构重建与语义判别学习使模型能够仅利用无标注数据通过一次训练过程学习与任务无关的模态知识并生成可复用的目标模态 LoRA。在第二阶段我们引入模态 LoRA并进一步提出了任务提示的模态专家混合模块。该设计能够实现轻量级的任务知识注入同时在多模态融合过程中有效平衡任务特定知识、模态通用知识和模态特定知识以适应多种下游任务。在六种跨模态迁移场景下开展的大量实验以及对数据、计算和存储效率的分析均证明了我们方法的优越性。1. Introduction热成像、深度、事件相机和 LiDAR 等多模态数据能够提供 RGB 图像之外的互补信息因此在各类下游视觉应用中变得越来越有价值 [6, 20, 29, 44]。然而由于标注数据稀缺以及这些模态与易于获取的 RGB 数据之间存在数据不平衡这些领域中的大规模基础模型仍然发展不足。因此现有方法通常依赖于针对每一种模态和每一个下游任务分别训练任务特定模型。考虑到这些传感器模态与 RGB 之间共享一定的视觉先验近期研究 [21, 26, 48, 54, 59] 开始探索跨模态迁移技术以将 RGB 基础模型适配到非 RGB 模态。例如Zhao 等人 [59] 采用了一种参数高效的适配器策略在文本引导下将 SAM 2 [37] 迁移为 RGB-热成像语义分割模型。Yu 等人 [54] 则提出了 DSAM 模型用于探索 RGB 与深度模态之间的交互从而使 SAM [19] 模型能够适配于基于深度的伪装目标检测任务。尽管这些工作取得了较有前景的结果但它们仍然遵循面向任务的迁移范式即直接使用任务特定的标注数据进行监督训练从而将 RGB 基础模型适配到某一特定目标模态任务。因此当切换到一个新任务时需要额外收集标注数据、从头重新训练模型并单独存储该模型。这忽略了不同任务之间共享的模态知识并带来了大量的标注、计算和存储成本。为克服这些局限性我们旨在实现一种高效的跨模态迁移方法使模型在适配到下游非 RGB 领域时能够同时保持较高的数据效率、计算效率和存储效率。基于上述讨论我们对从 RGB 到非 RGB 模态的迁移过程提出了两个关键观察。首先现有跨模态迁移方法 [3, 21, 26, 54, 59] 中的面向任务迁移范式将模态差异和任务差异的学习耦合在同一个适配过程中。因此当模型需要适配到新的下游任务时必须从头重新训练从而带来大量的计算和存储成本。然而这种范式忽略了一个重要认识尽管下游任务可能各不相同但主导跨模态差异的模态差异在不同任务之间很大程度上是共享的可以通过一次性微调过程加以解决并且所学习到的模态适配能力可以通过一个统一模块在不同任务之间复用从而避免冗余的重复训练。因此开发更加高效的训练策略和迁移范式对于提升计算效率和存储效率至关重要。其次从 RGB 基础模型到非 RGB 模态的跨模态迁移同时涉及模态差异和任务差异其中模态差异是主要挑战 [32, 46]。因此仅依赖任务特定的标注数据不足以同时弥合这两类差异尤其是在某一具体任务的标注样本稀缺时更是如此。尽管来自不同任务的目标模态数据具有异构的标注形式但它们共同刻画了目标模态在模态层面的内在特征和底层分布。因此将这些来自不同任务的数据汇聚成一个大规模无标注数据集对于学习与任务无关的模态知识至关重要。因此有效的跨模态迁移必须利用无标注数据来提升数据效率。基于上述分析我们提出了一种新的跨模态迁移范式将迁移过程解耦为一次性的通用模态知识迁移阶段一和灵活的任务知识迁移阶段二。在阶段一中关键挑战在于设计一种有效的训练策略使模型能够在不依赖任务标签的情况下学习通用的目标模态知识。为此受自监督学习SSL在视觉表征学习中取得成功的启发我们引入了一种渐进式自监督调优策略Progressive Self-Supervised Tuning, PSST。该策略利用了非 RGB 模态的一个关键特性其结构模式和辐射模式本身就蕴含着语义线索。具体而言我们引入了基于 MAE [14] 的结构重建和基于 DINOv2 [33] 的语义判别学习并通过上述特性将这两种自监督学习技术结合起来从而仅利用无标注数据逐步学习从低层纹理与结构到高层语义的模态知识。阶段一仅需执行一次训练得到的目标模态 LoRA 会被存储下来并在阶段二中复用于不同的下游任务。阶段二中为了实现灵活、快速且鲁棒的任务级适配我们提出了任务提示的模态专家混合模块Task-Prompted Mixture-of-Modality Experts, TP-MoME。该模块通过可控且轻量级的视觉提示将任务特定知识注入模型并采用 MoME 设计进行多模态融合从而在面向不同下游任务的融合过程中有效平衡任务特定知识、模态通用知识和模态特定知识。实验结果表明我们的方法在六种跨模态迁移场景中均展现出卓越性能。此外与 SOTA 跨模态迁移方法相比我们的方法在标注数据占比低于20%的情况下将平均交并比mIoU提升6.2%达到相同性能阈值所需的训练轮数减少9轮并且在相同数量的下游任务下可训练参数效率提升44.3%。我们的主要贡献总结如下1我们探索了跨模态迁移中的效率问题并提出了一种新的迁移范式将迁移过程解耦为一次性的通用模态知识迁移和灵活的任务知识迁移从而实现较高的数据效率、计算效率和存储效率。2我们提出了一种渐进式自监督调优策略该策略能够仅利用无标注数据通过一次性训练实现与任务无关的模态知识学习并获得可复用的目标模态 LoRA。3我们提出了一种任务提示的模态专家混合模块Task-Prompted Mixture-of-Modality Experts, TP-MoME。该模块旨在实现轻量级、灵活且鲁棒的任务知识注入以适配多样化的下游任务。其核心设计包含两个关键部分任务提示Task Prompt和模态专家混合MoME。任务提示Task Prompt是一种可学习的视觉提示向量它作为任务特定知识的轻量级载体。对于每一个下游任务例如热成像语义分割、深度目标检测我们仅需训练一个微小的任务提示向量而无需对整个模型或模态适配模块进行重新训练。这使得模型能够以极低的参数成本通常仅占模型总参数的0.1%以下快速适应新任务显著提升了计算和存储效率。模态专家混合MoME则负责在推理过程中进行多模态融合。它由多个“专家”Expert网络组成每个专家被设计为擅长处理特定类型的知识任务特定专家专注于从任务提示中提取的、与当前任务高度相关的特征模态通用专家负责处理从阶段一获得的、与任务无关的通用模态知识存储在目标模态 LoRA 中模态特定专家则捕捉目标模态如热成像、深度独有的底层信号特性。一个可学习的门控网络Gating Network会根据输入样本动态计算权重将这些专家的输出进行加权融合。这种设计确保了在面对不同下游任务时模型能够智能地平衡任务特定知识、模态通用知识和模态特定知识从而获得最优的跨模态表示。TP-MoME 模块的优势在于其解耦的设计哲学它将一次性的模态知识学习阶段一与灵活的任务知识注入阶段二分离。这不仅避免了为每个新任务重复进行昂贵的跨模态适配训练还通过专家混合机制增强了模型在不同任务和场景下的泛化能力与鲁棒性。4我们在六种跨模态迁移场景下对所提出方法进行了评估并从数据效率、计算效率和存储效率三个方面进行了分析以证明该方法的有效性和优越性。2. Related Works2.1. VFMs and Transfer Learning在大规模 RGB 数据上预训练的视觉基础模型Vision Foundation Models, VFMs已经在多种视觉任务中展现出卓越的泛化能力。SAM [19] 及其视频扩展模型 SAM 2 [37] 通过在十亿级掩码数据上训练的可提示架构表现出强大的零样本分割能力。除分割任务外CLIP [36] 和 DINOv2 [33] 等模型也为跨模态理解和密集预测提供了强大的特征表示。为了有效地将这些模型适配到下游任务参数高效迁移学习技术受到了广泛关注例如 LoRA [2, 24, 53]、适配器adapter[4, 10, 47, 58] 和提示调优prompt tuning[18, 21, 55, 62]。这些方法能够在冻结骨干网络的基础上仅引入少量额外参数实现轻量级适配。近期研究已成功将这类技术应用于视觉基础模型在避免完整模型重新训练的同时在分割 [21, 30, 47, 49]、检测 [12, 38, 60] 和分类 [1, 41, 58] 等任务上取得了优异性能。2.2. Cross-Modal Transfer and Adaptation跨模态迁移旨在将基于 RGB 的模型扩展到深度、热成像、事件相机等非 RGB 模态。近期研究 [3, 9, 15, 26, 28, 34, 35, 47, 54, 59, 63, 64] 越来越多地将预训练视觉基础模型VFMs引入跨模态任务中。例如Cai 等人 [3] 将模态感知提示引入 SAM [19]用于 RGBX 分割而 DSAM [54] 则将 SAM [19] 适配到深度模态用于伪装目标检测。此外SHIFNet [59] 利用语言引导将 SAM 2 [37] 适配到 RGB-T 分割任务中。除 SAM 之外RGB-Th-Bench [31] 探索了视觉语言模型VLMs中的 RGB-T 理解能力VS-TDX [5] 则分析了 VLMs 在解释非 RGB 传感器数据方面能力有限的问题并提出了传感器感知微调方法。尽管这些方法取得了进展但现有方法在很大程度上仍然是面向任务的即使用标注数据针对特定任务进行端到端训练。该范式要求每遇到一个新任务都重新训练并重新存储模型参数从而在标注、计算和存储方面造成显著冗余限制了跨模态基础模型的可扩展性和实际部署。在本文中我们旨在开发一种高效的跨模态迁移范式。2.3. Mixture-of-Experts Methods混合专家Mixture-of-Experts, MoE架构近年来在计算机视觉领域受到越来越多关注因为其能够高效地扩展模型容量。Vision MoE [40] 率先在 Vision Transformer 中引入稀疏专家层随后研究 [7, 50, 51] 将 MoE 扩展到密集预测任务中使不同专家能够专注于不同的视觉模式或语义区域以支持多任务学习。此外MoE 也被应用于与文本相关的多模态学习中 [13, 16, 23, 63]。例如Uni-MoE [23] 探索了视觉问答Visual Question Answering, VQA领域建模语音、音频和文本模态之间的交互而 FuseMoE [13] 和 CL-MoE [16] 则聚焦于基于 RGB 图像数据的视觉问答任务。对于非 RGB 视觉任务MLE-SAM [63] 将不同模态对应的 LoRA 视为专家模型并采用门控机制进行分割任务中的融合。然而这本质上与非 MoE 的多模态融合方式并无明显差异。在本文中我们提出了 TP-MoME这是一种专门面向跨模态迁移设计的新方法能够利用 MoE 的独特优势实现灵活的多模态融合。3. Proposed Method3.1. Overview在本文中我们提出了一种两阶段训练流程将跨模态迁移过程解耦为一次性的通用知识迁移和灵活的任务知识迁移以实现高效的迁移学习。整体框架如图 2 所示。形式化地令表示从互联网收集的大规模无标注目标模态数据集合其中 (m) 表示目标模态的索引。在阶段一中第 3.2 节渐进式自监督调优策略Progressive Self-Supervised Tuning, PSST在 (X) 上联合利用基于 MAE 的结构重建和 DINOv2 风格的语义对齐逐步捕获低层的模态感知结构和高层语义表征。对于每一种目标模态阶段一仅训练一次即可获得可复用的模态 LoRA。在阶段二中第 3.3 节给定带标注的下游任务样本 ((X, Y))根据任务需求部署对应的模态特定 LoRA。可学习的视觉提示 (P) 被插入到每个模块中用于获取任务知识同时模态专家混合模块Mixture-of-Modality-Experts, MoME被引入到指定模块中以实现多模态融合。最终融合后的嵌入表示或单模态嵌入表示会被输入到多模态或单模态任务解码器中。3.2. Progressive Self-supervised Tuning Strategy为了实现无标签的跨模态知识迁移我们收集了多样化的目标模态数据这些数据涵盖低层和高层任务。由于不同任务之间的语义标注并不一致统一的监督训练难以实现。受自监督学习Self-Supervised Learning, SSL能够从多样化数据中学习鲁棒表征这一能力的启发我们提出了一种渐进式自监督调优策略Progressive Self-Supervised Tuning, PSST。然而并非所有自监督学习任务都适合非 RGB 模态学习。最常用的对比学习目标通常是基于 RGB 先验设计的例如要求模型在不同图像之间保持亮度和纹理不变性。相比之下对于热成像、深度或事件相机等非 RGB 模态而言亮度或纹理的变化往往对应着语义内容的变化。基于这一观察我们认为MAE 风格的单图像重建和 DINOv2 风格的自蒸馏/自教学方法更适合非 RGB 模态学习并将二者结合起来以逐步学习从低层纹理与结构到高层语义的模态感知知识。MAE 预热训练。在预热阶段我们执行一种模态感知的掩码自编码预训练以捕获目标模态的内在结构。给定一张无标注的非 RGB 图像 (x_m \in X_m)掩码生成器 (G(\cdot)) 会选择一部分图像块作为可见块。经过掩码后的输入 (\tilde{x}m x_m \odot G(x_m)) 被送入由模态 LoRA (\Delta\theta) 增强的冻结骨干网络 (E{\theta_0}) 中进行编码[z_m E_{\theta_0\Delta\theta}(\tilde{x}_m). \tag{1}]随后MAE 解码头 (D_{\text{MAE}}) 对原始图像进行重建其重建目标为[\mathcal{L}{\text{MAE}} \frac{1}{|G|}\sum{i \in G}\left|D_{\text{MAE}}(z_m)i - x{m,i}\right|_1. \tag{2}]该训练过程会持续若干个 epoch以促使 (\Delta\theta) 内化目标模态特有的局部结构。在预热阶段之后我们从无标注数据中筛选出一个子集 (D_{\text{high},m})。该子集包含结构复杂度较高或语义信息较丰富的样本这一点可以通过较高的 MAE 重建方差来体现。在该子集上我们联合训练 MAE 分支和 DINOv2 分支其中前者提供结构监督后者侧重于语义对齐。在训练过程中MAE 分支和 DINOv2 分支中的学生网络共享同一个冻结骨干网络以及可训练的 LoRA 参数这些 LoRA 参数通过梯度反向传播进行更新。而 DINOv2 分支中的教师网络保持固定其权重通过学生网络权重的指数滑动平均Exponential Moving Average, EMA进行更新。3.3. Task-Prompted Mixture-of-Modality Experts为了将上述模态 LoRA 应用于后续下游任务同时在仅引入少量额外参数的情况下实现快速且鲁棒的适配我们提出了一个任务提示的模态专家混合模块Task-Prompted Mixture-of-Modality Experts, TP-MoME。该模块通过提示学习实现轻量级的任务知识注入并引导一个灵活的模态专家混合模块Mixture-of-Modality Experts, MoME在多模态融合过程中有效平衡模态通用性与模态特异性。
Decoupled and Reusable Adaptation for Efficient Cross-Modal Transfer
发布时间：2026/7/6 13:36:21
Abstract跨模态迁移方法在将基于 RGB 的基础模型扩展到非 RGB 模态方面取得了显著进展。然而现有的迁移范式主要是面向任务的这意味着一旦任务发生变化就需要重新训练并重新存储模型从而在数据、计算和存储方面造成大量冗余。为了解决这一局限性我们提出了一种高效的跨模态迁移范式将整个过程解耦为一次性的通用模态知识迁移和灵活的任务知识迁移两个阶段。在第一阶段我们提出了一种渐进式自监督调优策略该策略结合了模态感知的结构重建与语义判别学习使模型能够仅利用无标注数据通过一次训练过程学习与任务无关的模态知识并生成可复用的目标模态 LoRA。在第二阶段我们引入模态 LoRA并进一步提出了任务提示的模态专家混合模块。该设计能够实现轻量级的任务知识注入同时在多模态融合过程中有效平衡任务特定知识、模态通用知识和模态特定知识以适应多种下游任务。在六种跨模态迁移场景下开展的大量实验以及对数据、计算和存储效率的分析均证明了我们方法的优越性。1. Introduction热成像、深度、事件相机和 LiDAR 等多模态数据能够提供 RGB 图像之外的互补信息因此在各类下游视觉应用中变得越来越有价值 [6, 20, 29, 44]。然而由于标注数据稀缺以及这些模态与易于获取的 RGB 数据之间存在数据不平衡这些领域中的大规模基础模型仍然发展不足。因此现有方法通常依赖于针对每一种模态和每一个下游任务分别训练任务特定模型。考虑到这些传感器模态与 RGB 之间共享一定的视觉先验近期研究 [21, 26, 48, 54, 59] 开始探索跨模态迁移技术以将 RGB 基础模型适配到非 RGB 模态。例如Zhao 等人 [59] 采用了一种参数高效的适配器策略在文本引导下将 SAM 2 [37] 迁移为 RGB-热成像语义分割模型。Yu 等人 [54] 则提出了 DSAM 模型用于探索 RGB 与深度模态之间的交互从而使 SAM [19] 模型能够适配于基于深度的伪装目标检测任务。尽管这些工作取得了较有前景的结果但它们仍然遵循面向任务的迁移范式即直接使用任务特定的标注数据进行监督训练从而将 RGB 基础模型适配到某一特定目标模态任务。因此当切换到一个新任务时需要额外收集标注数据、从头重新训练模型并单独存储该模型。这忽略了不同任务之间共享的模态知识并带来了大量的标注、计算和存储成本。为克服这些局限性我们旨在实现一种高效的跨模态迁移方法使模型在适配到下游非 RGB 领域时能够同时保持较高的数据效率、计算效率和存储效率。基于上述讨论我们对从 RGB 到非 RGB 模态的迁移过程提出了两个关键观察。首先现有跨模态迁移方法 [3, 21, 26, 54, 59] 中的面向任务迁移范式将模态差异和任务差异的学习耦合在同一个适配过程中。因此当模型需要适配到新的下游任务时必须从头重新训练从而带来大量的计算和存储成本。然而这种范式忽略了一个重要认识尽管下游任务可能各不相同但主导跨模态差异的模态差异在不同任务之间很大程度上是共享的可以通过一次性微调过程加以解决并且所学习到的模态适配能力可以通过一个统一模块在不同任务之间复用从而避免冗余的重复训练。因此开发更加高效的训练策略和迁移范式对于提升计算效率和存储效率至关重要。其次从 RGB 基础模型到非 RGB 模态的跨模态迁移同时涉及模态差异和任务差异其中模态差异是主要挑战 [32, 46]。因此仅依赖任务特定的标注数据不足以同时弥合这两类差异尤其是在某一具体任务的标注样本稀缺时更是如此。尽管来自不同任务的目标模态数据具有异构的标注形式但它们共同刻画了目标模态在模态层面的内在特征和底层分布。因此将这些来自不同任务的数据汇聚成一个大规模无标注数据集对于学习与任务无关的模态知识至关重要。因此有效的跨模态迁移必须利用无标注数据来提升数据效率。基于上述分析我们提出了一种新的跨模态迁移范式将迁移过程解耦为一次性的通用模态知识迁移阶段一和灵活的任务知识迁移阶段二。在阶段一中关键挑战在于设计一种有效的训练策略使模型能够在不依赖任务标签的情况下学习通用的目标模态知识。为此受自监督学习SSL在视觉表征学习中取得成功的启发我们引入了一种渐进式自监督调优策略Progressive Self-Supervised Tuning, PSST。该策略利用了非 RGB 模态的一个关键特性其结构模式和辐射模式本身就蕴含着语义线索。具体而言我们引入了基于 MAE [14] 的结构重建和基于 DINOv2 [33] 的语义判别学习并通过上述特性将这两种自监督学习技术结合起来从而仅利用无标注数据逐步学习从低层纹理与结构到高层语义的模态知识。阶段一仅需执行一次训练得到的目标模态 LoRA 会被存储下来并在阶段二中复用于不同的下游任务。阶段二中为了实现灵活、快速且鲁棒的任务级适配我们提出了任务提示的模态专家混合模块Task-Prompted Mixture-of-Modality Experts, TP-MoME。该模块通过可控且轻量级的视觉提示将任务特定知识注入模型并采用 MoME 设计进行多模态融合从而在面向不同下游任务的融合过程中有效平衡任务特定知识、模态通用知识和模态特定知识。实验结果表明我们的方法在六种跨模态迁移场景中均展现出卓越性能。此外与 SOTA 跨模态迁移方法相比我们的方法在标注数据占比低于20%的情况下将平均交并比mIoU提升6.2%达到相同性能阈值所需的训练轮数减少9轮并且在相同数量的下游任务下可训练参数效率提升44.3%。我们的主要贡献总结如下1我们探索了跨模态迁移中的效率问题并提出了一种新的迁移范式将迁移过程解耦为一次性的通用模态知识迁移和灵活的任务知识迁移从而实现较高的数据效率、计算效率和存储效率。2我们提出了一种渐进式自监督调优策略该策略能够仅利用无标注数据通过一次性训练实现与任务无关的模态知识学习并获得可复用的目标模态 LoRA。3我们提出了一种任务提示的模态专家混合模块Task-Prompted Mixture-of-Modality Experts, TP-MoME。该模块旨在实现轻量级、灵活且鲁棒的任务知识注入以适配多样化的下游任务。其核心设计包含两个关键部分任务提示Task Prompt和模态专家混合MoME。任务提示Task Prompt是一种可学习的视觉提示向量它作为任务特定知识的轻量级载体。对于每一个下游任务例如热成像语义分割、深度目标检测我们仅需训练一个微小的任务提示向量而无需对整个模型或模态适配模块进行重新训练。这使得模型能够以极低的参数成本通常仅占模型总参数的0.1%以下快速适应新任务显著提升了计算和存储效率。模态专家混合MoME则负责在推理过程中进行多模态融合。它由多个“专家”Expert网络组成每个专家被设计为擅长处理特定类型的知识任务特定专家专注于从任务提示中提取的、与当前任务高度相关的特征模态通用专家负责处理从阶段一获得的、与任务无关的通用模态知识存储在目标模态 LoRA 中模态特定专家则捕捉目标模态如热成像、深度独有的底层信号特性。一个可学习的门控网络Gating Network会根据输入样本动态计算权重将这些专家的输出进行加权融合。这种设计确保了在面对不同下游任务时模型能够智能地平衡任务特定知识、模态通用知识和模态特定知识从而获得最优的跨模态表示。TP-MoME 模块的优势在于其解耦的设计哲学它将一次性的模态知识学习阶段一与灵活的任务知识注入阶段二分离。这不仅避免了为每个新任务重复进行昂贵的跨模态适配训练还通过专家混合机制增强了模型在不同任务和场景下的泛化能力与鲁棒性。4我们在六种跨模态迁移场景下对所提出方法进行了评估并从数据效率、计算效率和存储效率三个方面进行了分析以证明该方法的有效性和优越性。2. Related Works2.1. VFMs and Transfer Learning在大规模 RGB 数据上预训练的视觉基础模型Vision Foundation Models, VFMs已经在多种视觉任务中展现出卓越的泛化能力。SAM [19] 及其视频扩展模型 SAM 2 [37] 通过在十亿级掩码数据上训练的可提示架构表现出强大的零样本分割能力。除分割任务外CLIP [36] 和 DINOv2 [33] 等模型也为跨模态理解和密集预测提供了强大的特征表示。为了有效地将这些模型适配到下游任务参数高效迁移学习技术受到了广泛关注例如 LoRA [2, 24, 53]、适配器adapter[4, 10, 47, 58] 和提示调优prompt tuning[18, 21, 55, 62]。这些方法能够在冻结骨干网络的基础上仅引入少量额外参数实现轻量级适配。近期研究已成功将这类技术应用于视觉基础模型在避免完整模型重新训练的同时在分割 [21, 30, 47, 49]、检测 [12, 38, 60] 和分类 [1, 41, 58] 等任务上取得了优异性能。2.2. Cross-Modal Transfer and Adaptation跨模态迁移旨在将基于 RGB 的模型扩展到深度、热成像、事件相机等非 RGB 模态。近期研究 [3, 9, 15, 26, 28, 34, 35, 47, 54, 59, 63, 64] 越来越多地将预训练视觉基础模型VFMs引入跨模态任务中。例如Cai 等人 [3] 将模态感知提示引入 SAM [19]用于 RGBX 分割而 DSAM [54] 则将 SAM [19] 适配到深度模态用于伪装目标检测。此外SHIFNet [59] 利用语言引导将 SAM 2 [37] 适配到 RGB-T 分割任务中。除 SAM 之外RGB-Th-Bench [31] 探索了视觉语言模型VLMs中的 RGB-T 理解能力VS-TDX [5] 则分析了 VLMs 在解释非 RGB 传感器数据方面能力有限的问题并提出了传感器感知微调方法。尽管这些方法取得了进展但现有方法在很大程度上仍然是面向任务的即使用标注数据针对特定任务进行端到端训练。该范式要求每遇到一个新任务都重新训练并重新存储模型参数从而在标注、计算和存储方面造成显著冗余限制了跨模态基础模型的可扩展性和实际部署。在本文中我们旨在开发一种高效的跨模态迁移范式。2.3. Mixture-of-Experts Methods混合专家Mixture-of-Experts, MoE架构近年来在计算机视觉领域受到越来越多关注因为其能够高效地扩展模型容量。Vision MoE [40] 率先在 Vision Transformer 中引入稀疏专家层随后研究 [7, 50, 51] 将 MoE 扩展到密集预测任务中使不同专家能够专注于不同的视觉模式或语义区域以支持多任务学习。此外MoE 也被应用于与文本相关的多模态学习中 [13, 16, 23, 63]。例如Uni-MoE [23] 探索了视觉问答Visual Question Answering, VQA领域建模语音、音频和文本模态之间的交互而 FuseMoE [13] 和 CL-MoE [16] 则聚焦于基于 RGB 图像数据的视觉问答任务。对于非 RGB 视觉任务MLE-SAM [63] 将不同模态对应的 LoRA 视为专家模型并采用门控机制进行分割任务中的融合。然而这本质上与非 MoE 的多模态融合方式并无明显差异。在本文中我们提出了 TP-MoME这是一种专门面向跨模态迁移设计的新方法能够利用 MoE 的独特优势实现灵活的多模态融合。3. Proposed Method3.1. Overview在本文中我们提出了一种两阶段训练流程将跨模态迁移过程解耦为一次性的通用知识迁移和灵活的任务知识迁移以实现高效的迁移学习。整体框架如图 2 所示。形式化地令表示从互联网收集的大规模无标注目标模态数据集合其中 (m) 表示目标模态的索引。在阶段一中第 3.2 节渐进式自监督调优策略Progressive Self-Supervised Tuning, PSST在 (X) 上联合利用基于 MAE 的结构重建和 DINOv2 风格的语义对齐逐步捕获低层的模态感知结构和高层语义表征。对于每一种目标模态阶段一仅训练一次即可获得可复用的模态 LoRA。在阶段二中第 3.3 节给定带标注的下游任务样本 ((X, Y))根据任务需求部署对应的模态特定 LoRA。可学习的视觉提示 (P) 被插入到每个模块中用于获取任务知识同时模态专家混合模块Mixture-of-Modality-Experts, MoME被引入到指定模块中以实现多模态融合。最终融合后的嵌入表示或单模态嵌入表示会被输入到多模态或单模态任务解码器中。3.2. Progressive Self-supervised Tuning Strategy为了实现无标签的跨模态知识迁移我们收集了多样化的目标模态数据这些数据涵盖低层和高层任务。由于不同任务之间的语义标注并不一致统一的监督训练难以实现。受自监督学习Self-Supervised Learning, SSL能够从多样化数据中学习鲁棒表征这一能力的启发我们提出了一种渐进式自监督调优策略Progressive Self-Supervised Tuning, PSST。然而并非所有自监督学习任务都适合非 RGB 模态学习。最常用的对比学习目标通常是基于 RGB 先验设计的例如要求模型在不同图像之间保持亮度和纹理不变性。相比之下对于热成像、深度或事件相机等非 RGB 模态而言亮度或纹理的变化往往对应着语义内容的变化。基于这一观察我们认为MAE 风格的单图像重建和 DINOv2 风格的自蒸馏/自教学方法更适合非 RGB 模态学习并将二者结合起来以逐步学习从低层纹理与结构到高层语义的模态感知知识。MAE 预热训练。在预热阶段我们执行一种模态感知的掩码自编码预训练以捕获目标模态的内在结构。给定一张无标注的非 RGB 图像 (x_m \in X_m)掩码生成器 (G(\cdot)) 会选择一部分图像块作为可见块。经过掩码后的输入 (\tilde{x}m x_m \odot G(x_m)) 被送入由模态 LoRA (\Delta\theta) 增强的冻结骨干网络 (E{\theta_0}) 中进行编码[z_m E_{\theta_0\Delta\theta}(\tilde{x}_m). \tag{1}]随后MAE 解码头 (D_{\text{MAE}}) 对原始图像进行重建其重建目标为[\mathcal{L}{\text{MAE}} \frac{1}{|G|}\sum{i \in G}\left|D_{\text{MAE}}(z_m)i - x{m,i}\right|_1. \tag{2}]该训练过程会持续若干个 epoch以促使 (\Delta\theta) 内化目标模态特有的局部结构。在预热阶段之后我们从无标注数据中筛选出一个子集 (D_{\text{high},m})。该子集包含结构复杂度较高或语义信息较丰富的样本这一点可以通过较高的 MAE 重建方差来体现。在该子集上我们联合训练 MAE 分支和 DINOv2 分支其中前者提供结构监督后者侧重于语义对齐。在训练过程中MAE 分支和 DINOv2 分支中的学生网络共享同一个冻结骨干网络以及可训练的 LoRA 参数这些 LoRA 参数通过梯度反向传播进行更新。而 DINOv2 分支中的教师网络保持固定其权重通过学生网络权重的指数滑动平均Exponential Moving Average, EMA进行更新。3.3. Task-Prompted Mixture-of-Modality Experts为了将上述模态 LoRA 应用于后续下游任务同时在仅引入少量额外参数的情况下实现快速且鲁棒的适配我们提出了一个任务提示的模态专家混合模块Task-Prompted Mixture-of-Modality Experts, TP-MoME。该模块通过提示学习实现轻量级的任务知识注入并引导一个灵活的模态专家混合模块Mixture-of-Modality Experts, MoME在多模态融合过程中有效平衡模态通用性与模态特异性。
 代码实现详解：从 Patch Embedding 到 MLP Head 的 5 个关键模块)
