A Comprehensive Survey on Multimodal RAG: AllCombinations of Modalities as Input and Output

该论文作为多模态检索增强生成MM-RAG领域的全景式综述系统梳理了涵盖 “输入 - 输出模态组合”“核心工作流”“训练与评估” 的完整方法体系其核心价值在于首次构建了全模态组合的分类框架并标准化了 MM-RAG 的四阶段工作流方法为领域研究提供了统一的技术参考。以下是论文详述的全部核心方法一、基于输入 - 输出模态组合的方法分类体系论文以 “输入模态 × 输出模态” 为核心维度构建了覆盖文本、图像、音频、视频、代码、3D 数据、结构化数据等 7 类核心模态的分类框架共 54 种潜在组合其中 18 种已有相关研究。针对每类有效组合明确了对应的核心方法检索器 生成器与任务适配逻辑1. 单模态输入 - 单模态输出表格模态组合核心检索方法核心生成方法典型任务关键技术细节文本→文本T→T-通用 LLMGPT、T5、LLaMA文本问答、摘要复用传统文本 RAG 方法新增跨模态知识关联机制图像→文本I→T双编码器架构CLIP、ViTBERT、ResNetBERT通用 LLM、视觉 LLMInstructBLIP、LLaVA图像描述、视觉问答图像通过 captioning 或 CLIP 编码对齐文本空间检索相似图像的文本描述增强生成文本→图像T→I双编码器架构CLIP扩散模型Stable Diffusion、GAN、视觉 LLMLaVIT、LLaVA文本生成图像检索相似文本 - 图像对提取视觉特征引导生成优化细节真实性音频→文本A→T音频专用编码器Wav2vec、VGGish、HuBERT、双编码器CLAP通用 LLMGPT、T5音频描述音频转化为谱图或嵌入向量检索相似音频的文本描述作为生成参考文本→音频T→A双编码器CLAP、RoBERTHTS-AT音频专用生成器HiFi-GAN、扩散模型、音频 LLMWhisper、QwenAudio文本生成音频检索文本 - 音频对提取声学特征如 mel 谱图引导波形生成视频→文本V→T视频专用编码器VideoMAE、CLIP 帧编码通用 LLM、视觉 LLMVideo-LLaVA视频描述、视频问答视频拆分为帧 音频分别转化为文本描述检索相似视频的文本序列增强推理文本→视频T→V双编码器CLIP扩散模型文本生成视频检索文本 - 视频对提取时空特征引导帧序列生成保证连贯性文本→3DT→3D双编码器CLIP扩散模型文本生成 3D 数据检索文本 - 3D 资产对通过 2D 先验信息如视角图像引导 3D 几何结构生成代码→文本C→T稀疏检索BM25、AST 匹配、代码专用编码器CodeT5、GraphCodeBERT通用 LLM、代码专用 LLMCodeX、CodeGen代码摘要检索语法 / 语义相似代码片段提取注释与功能描述辅助生成文本→代码T→C代码专用编码器CodeT5、GraphCodeBERT代码专用 LLMCodeX、CodeGen代码生成、Text-to-SQL检索自然语言 - 代码映射对复用相似逻辑的代码结构代码→代码C→C代码专用编码器CodeT5、GraphCodeBERT代码专用 LLMCodeGen、RepoCoder代码补全检索跨文件代码片段、API 文档基于语法依赖生成补全内容2. 多模态输入 - 单模态输出表格模态组合核心检索方法核心生成方法典型任务关键技术细节文本 图像→文本TI→T双编码器架构CLIP、BERTResNet、ViTT5通用 LLM、视觉 LLMGPT-4o、InstructBLIP视觉问答、视觉对话文本与图像分别编码后对齐语义空间检索多模态文档文本 图像提取联合证据文本 视频→文本TV→T视频专用编码器InternVideo2 文本编码器BERT视觉 LLMVideo-LLaVA视频问答文本查询与视频帧 / 音频描述联合检索整合跨模态证据生成答案文本 结构化数据→文本TS→T稠密检索BERT、T5、查询语言生成SQL/SPARQL通用 LLM知识库问答KBQA、表格问答Table QA检索知识图谱子图或相关表格将结构化数据转化为文本格式融入生成3. 多模态输入 - 多模态输出目前相关研究较少典型组合为 “文本 图像→文本 图像”核心方法为检索方法双编码器架构CLIP检索多模态文档中的文本 - 图像关联对生成方法视觉 LLMGPT-4o、MiniCPM-V基于检索到的跨模态关联证据同步生成文本解释与图像优化结果如风格迁移、细节补充典型任务图像编辑 文本说明、多模态报告生成。二、MM-RAG 四阶段核心工作流方法论文明确 MM-RAG 的通用工作流包含 “预检索Pre-Retrieval、检索Retrieval、增强Augmentation、生成Generation” 四阶段各阶段方法如下1. 预检索阶段知识库与查询准备方法1知识库准备方法核心目标是将多模态原始数据转化为可检索格式包含 4 类关键方法数据预处理清洁与标准化去除噪声数据如模糊图像、畸形代码统一模态格式如图像分辨率、音频采样率分块策略文本采用固定长度 / 滑动窗口分块图像通过目标检测提取 ROI感兴趣区域音频 / 视频按时间片段分块代码按函数 / 类结构分块元数据附着为多模态内容添加标签如图像类别、视频时间戳、代码语言类型支持快速筛选。知识库组织方法单模态嵌入Uni-modal Embedding不同模态通过专用编码器转化为嵌入向量存储在独立向量库检索时拆分查询为单模态子查询分别检索成对存储Pair-wise Storage基于双模态成对数据如图像 - 文本对、音频 - 文本对以一种模态为键、另一种为值存储检索时通过键模态匹配获取值模态统一嵌入Unified Embedding使用跨模态编码器如 CLIP、CLAP、Qwen2-Audio将所有模态映射到同一语义空间存储为统一嵌入向量图构建Graph Construction提取模态内 / 跨模态实体与关系构建知识图谱如图像场景图、代码依赖图、视频时空图支持多跳检索与推理。2查询准备方法核心目标是优化原始查询提升检索相关性包含 5 类关键方法查询扩展Query Expansion通过 LLM 生成伪答案 / 伪文档或通过 VLM 生成图像 / 视频的补充描述与原始查询拼接扩展语义查询改写Query Paraphrase利用 MLLM 重述查询保留核心意图的同时适配检索器的表达偏好如代码查询的语法标准化查询转换Query Transformation将非文本模态图像 / 音频 / 视频通过专家模型OCR、图像 captioning、ASR转化为文本与原始查询融合查询丢弃Query Dropout随机屏蔽查询部分内容如文本关键词、图像局部区域生成简化版查询提升检索多样性多查询生成Multi-Query查询拆分将复杂查询按模态 / 语义拆分为子查询如 “图像 文本” 查询拆分为图像子查询与文本子查询查询分解将多跳查询分解为逻辑关联的单跳子查询序列如 Chain-of-Query多视角生成从不同维度生成多个同义查询如代码查询的自然语言描述 语法结构查询。2. 检索阶段检索器与策略方法1检索器类型稀疏检索器基于关键词匹配适用于文本 / 代码模态代表方法为 TF-IDF、BM25核心优势是效率高、无需复杂训练稠密检索器基于语义嵌入匹配支持所有模态代表方法包括通用跨模态CLIP文本 - 图像、CLAP文本 - 音频单模态专用DPR/Contriever文本、VideoMAE视频、CodeT5代码、Wav2vec音频其他专用检索器代码检索基于 AST抽象语法树匹配、编辑距离、Jaccard 索引多模态检索基于离散代码的查找表检索如 TIGeR、跨模态图检索如 GraphRAG。2检索策略混合检索融合稀疏检索与稠密检索的优势如 “BM25GraphCodeBERT”代码检索、“ContrieverBM25”文本 结构化数据检索通过线性加权融合得分层级检索分阶段缩小检索范围如 “文档级检索→段落级检索”“视频级检索→帧级检索”平衡效率与精度检索时机单次检索仅执行一次检索适用于简单任务迭代检索交替进行 “检索 - 生成”基于上一轮结果优化下一轮查询如代码生成的迭代检索 - 补全自适应检索通过 MLLM 判断是否需要检索如 MR2AG 通过特殊 token 标记避免冗余检索。3. 增强阶段检索结果优化方法核心目标是过滤噪声、整合跨模态信息为生成阶段提供高质量输入包含 5 类关键方法上下文重排序Context Reranking跨模态重排序使用 CLIP 等跨模态模型计算查询与检索结果的联合嵌入相似度MLLM 重排序通过指令微调的 MLLM 对检索结果打分如 RagVL、TIGeRlexical 重排序基于文本编辑距离、语法匹配度适用于代码 / 结构化数据。上下文选择Context Selection筛选最相关的 top-k 结果如 MMed-RAG 选择 top-5 医疗文档避免信息过载上下文压缩Context Compression文本压缩提取关键句 / 实体如 EMERGE、RACC多模态压缩图像保留 ROI、视频保留关键帧、音频保留核心片段噪声注入Noise Injection随机添加低相关检索结果如 RagVL、MORE提升模型对噪声的鲁棒性上下文融合Context Fusion拼接融合Fusion by Concatenation直接拼接查询与检索结果编码器内融合FiE将检索结果嵌入与查询嵌入在编码器层融合如 Smallcap、VisRAG解码器内融合FiD检索结果分别编码后在解码器层聚合特征如 EXTRA、XTRAlatent 融合Fusion by Latent Aggregation通过注意力机制聚合多模态 latent 特征如 Resnos、KIF。4. 生成阶段多模态融合生成方法1生成器架构基础架构模态编码器→输入投影层→LLM 骨干→输出投影层→模态生成器模态编码器ViT图像、HuBERT音频、VideoMAE视频、CodeT5代码输入投影层MLP、交叉注意力如 Q-Former将多模态嵌入映射到 LLM 输入空间输出投影层Transformer、MLP将 LLM 输出映射到目标模态空间模态生成器Stable Diffusion图像、HiFi-GAN音频、ZeroScope视频。核心模型选型文本生成通用 LLMGPT、T5、LLaMA图像 / 视频生成扩散模型、GAN音频生成扩散模型、VAE 神经声码器多模态生成视觉 LLMGPT-4o、LLaVA、音频 LLMQwenAudio。2生成增强方法MLLM 微调在多模态数据集上微调 LLM适配跨模态输入如 Re-ViLM、RA-Transformer提示工程Prompt Engineering设计多模态提示模板如 “结合图像内容与检索到的文档回答{query}”引导模型利用检索信息如 SmallCap、CEDAR。三、训练策略方法论文总结了 MM-RAG 的三类核心训练策略适配不同场景需求1. 无监督 / 弱监督训练跨模态对比学习通过对比损失如 InfoNCE对齐多模态嵌入空间如 CLIP 的文本 - 图像对齐自监督预训练利用多模态伪标签数据如自动生成的图像 - 文本对预训练编码器如 WavRAG 的音频 - 文本对齐预训练。2. 有监督微调SFT多模态检索 - 生成对齐训练以 “查询→检索结果→生成答案” 三元组为训练数据优化检索器与生成器的端到端性能如 Re-ViLM、RA-CM3指令微调使用多模态指令数据如 “根据图像和检索到的资料生成摘要”微调 MLLM提升指令跟随能力如 InstructBLIP。3. 强化学习RL基于反馈的强化学习以生成质量如 BLEU、人类评分为奖励优化检索策略与生成策略如 MGQRe 的三阶段 RL 框架策略梯度优化针对迭代检索场景优化 “检索 - 生成” 循环的累积奖励如 Rewrite-Retrieve-Read。四、关键支撑方法1. 跨模态对齐方法双编码器对齐两种模态分别通过专用编码器编码通过对比学习优化嵌入空间一致性如 CLIP、CLAP单编码器对齐使用统一编码器处理多模态输入如 VLMs 的文本 - 图像联合编码中间模态对齐通过中间载体如文本描述连接不同模态如 RA-VQA 将图像转化为文本后与查询对齐。2. 知识库组织方法表格组织方式核心方法适用场景代表研究单模态嵌入存储各模态独立编码存储在专用向量库模态间关联松散的场景REPLUG、RA-VQA、CEDAR成对存储双模态成对数据如图像 - 文本对按 “键 - 值” 存储两模态强关联场景如图像描述Re-ViLM、RA-Transformer统一嵌入存储多模态数据编码到同一语义空间跨模态检索场景M3DocRAG、VisRAG、WavRAG图结构存储提取实体与关系构建多模态知识图谱多跳推理、关系推理场景MR-MKG、SKURG、HGNN3. 评估方法辅助方法选择与优化检索质量评估Precisionk、Recallk、nDCG、MRR生成质量评估文本BLEU、ROUGE、语义准确性LLM 裁判评分图像 / 视频FID、IS、CLIP 相似度音频MOS主观评分、谱图相似度端到端评估任务专用指标如代码生成的 Passk、视觉问答的 EM/F1。核心方法总结论文覆盖的 MM-RAG 方法体系可概括为 “三维核心”模态组合维度按 “输入 - 输出模态” 分类明确不同组合的检索器 - 生成器适配逻辑工作流维度标准化 “预检索 - 检索 - 增强 - 生成” 四阶段方法覆盖数据处理、检索策略、信息整合、生成优化全流程训练优化维度提供无监督、有监督、强化学习三类训练策略适配不同数据资源场景。这些方法的核心目标是解决 “跨模态语义对齐”“多源信息整合”“噪声鲁棒性” 三大关键问题为不同模态组合与任务场景提供可复用的技术方案。