https://arxiv.org/pdf/2312.10997一段话总结这篇综述聚焦大语言模型LLMs面临的幻觉、知识过时、推理不透明问题系统阐述了检索增强生成RAG技术的发展脉络、核心框架、评估体系及未来方向将 RAG 研究范式划分为Naive RAG、Advanced RAG、Modular RAG三个阶段深入剖析了检索、生成、增强三大核心组件的关键技术梳理了覆盖26 类下游任务、近 50 个数据集的 RAG 评估体系指出 RAG 通过融合 LLMs 固有知识与外部动态知识库有效提升了生成的准确性和可信度同时探讨了其在长上下文适配、鲁棒性、与微调融合等方面的挑战以及多模态、工程化落地等未来研究方向。详细总结本文是一篇关于检索增强生成RAG技术的综合性综述针对大语言模型LLMs的固有缺陷系统梳理了 RAG 的发展历程、核心技术、评估体系并分析了其现存挑战与未来研究方向核心内容如下一、研究背景与核心价值LLMs 的核心局限存在幻觉、知识更新不及时、推理过程非透明 / 不可追溯在知识密集型任务中表现不佳。RAG 的解决思路通过语义相似度计算从外部知识库检索相关文档片段将外部知识与 LLMs 固有知识融合弥补其知识缺陷。RAG 的发展轨迹随 Transformer 架构兴起初期聚焦预训练阶段知识融合ChatGPT 出现后转向推理阶段为 LLMs 提供信息后续逐步与 LLM 微调技术深度结合。本文核心贡献梳理 RAG 三大范式、剖析三大核心组件技术、总结覆盖26 类任务、近 50 个数据集的评估体系、展望未来研究方向。二、RAG 三大研究范式RAG 的范式发展是对前序范式缺陷的针对性优化三者的核心特征与差异如下表表格范式类型核心架构关键步骤 / 优化主要缺陷Naive RAG经典 Retrieve-Read 框架索引数据清洗→分块→向量化、检索语义相似度匹配 Top K、生成融合查询 检索内容生成答案检索精度 / 召回率低、生成易幻觉、增强过程易冗余 / 不连贯Advanced RAG链式结构优化检索全流程检索前索引精细化、查询重写 / 扩展检索后片段重排序、上下文压缩仍为固定链式流程灵活性不足Modular RAG模块化架构支持灵活重组新增 Search/Memory/Routing 等模块支持迭代 / 自适应 / 递归检索模块可替换 / 重排架构复杂度提升模块协同要求高三、RAG 三大核心技术组件RAG 的核心由检索、生成、增强三部分构成各部分的关键优化技术如下检索组件决定外部知识获取的准确性核心优化方向包括检索源从非结构化文本拓展至半结构化PDF、结构化数据知识图谱、LLM 生成内容检索粒度从细到粗含 Token / 短语 / 句子 / Chunk / 文档等知识图谱粒度为实体 / 三元组 / 子图索引优化优化分块策略滑动窗口 / 递归分割、附加元数据、构建层级 / 知识图谱索引查询优化查询扩展多查询 / 子查询、转换重写 / HyDE、路由元数据 / 语义路由嵌入融合稀疏 / 稠密检索针对领域数据微调嵌入模型通过 LLM 提供监督信号适配器引入轻量级适配器适配多任务 / 特定任务降低微调成本。生成组件解决检索内容与 LLM 的高效融合核心优化包括上下文整理通过模型 / 规则重排序提升相关片段优先级通过压缩 / 筛选解决 “Lost in the middle” 问题去除冗余信息LLM 微调针对特定领域 / 任务微调适配输入输出格式通过强化学习对齐人类 / 检索器偏好与检索器协同微调。增强组件针对复杂问题优化检索方式突破单次检索的局限包含迭代检索交替进行检索与生成为复杂任务提供更全面的上下文递归检索将复杂查询拆解为子查询逐步收敛至核心信息适配多跳推理自适应检索由 LLM 自主判断是否需要检索、何时停止检索通过特殊令牌 / 置信度阈值控制提升效率。四、RAG 与其他 LLM 优化方法的对比RAG、微调FT、提示工程是 LLM 三大核心优化方法核心差异体现在外部知识需求和模型适配需求两个维度提示工程低外部知识需求、低模型适配需求仅挖掘 LLMs 固有能力RAG高外部知识需求、低早期→高模块化阶段模型适配需求可动态更新知识可解释性强推理延迟较高微调低外部知识需求、高模型适配需求知识静态化需重新训练更新可深度定制模型行为。二者互补RAG 在知识密集型任务中表现优于无监督微调且 RAG 与微调可融合使用如先检索再微调、协同微调实现性能最优。五、RAG 评估体系目前 RAG 评估已形成覆盖任务、目标、维度、工具的完整体系核心内容如下下游任务以问答QA为核心单跳 / 多跳 / 长文本 / 领域 QA拓展至信息抽取IE、对话生成、代码搜索、文本摘要等26 类任务对应近 50 个数据集评估目标分为检索质量Hit Rate、MRR、NDCG 等和生成质量EM、F1、Accuracy、BLEU/ROUGE 等核心评估维度3 大质量分数上下文相关性、答案忠实性、答案相关性4 大核心能力噪声鲁棒性、否定拒绝能力、信息整合能力、反事实鲁棒性评估基准与工具基准包括 RGB、RECALL、CRUD自动化工具包括 RAGAS、ARES、TruLens部分工具采用定制化量化指标。六、RAG 现存挑战与未来研究方向核心挑战长上下文适配LLMs 上下文长度突破 20 万 Token 后RAG 的必要性与优化方式需重新探索鲁棒性不足检索中的噪声 / 矛盾信息会严重影响生成质量甚至出现 “误信息不如无信息” 的情况工程化落地大知识库中检索效率 / 召回率低、数据安全如元数据泄露、工具栈整合难度大。未来研究方向混合方法探索 RAG 与微调的最优融合方式序贯 / 交替 / 端到端训练RAG 缩放定律研究 RAG 模型参数与性能的关系验证逆缩放定律的适用性生产级 RAG提升检索效率、保障数据安全推动 RAG 工具栈的定制化 / 简化 / 专业化多模态 RAG将 RAG 从文本拓展至图像、音频、视频、代码等多模态数据适配多模态任务生态发展LangChain、LlamaIndex 等工具栈成为基础传统软件 / 云厂商布局 RAG 专属服务形成专业化生态。七、结论RAG 通过融合 LLMs 的参数化知识与外部非参数化知识库有效解决了 LLMs 的核心缺陷成为提升其知识密集型任务性能的关键技术其范式从 Naive RAG 逐步发展为更灵活的 Modular RAG核心技术不断优化评估体系日趋完善未来 RAG 将向长上下文适配、高鲁棒性、多模态、工程化落地方向发展同时与微调等技术深度融合其工具栈与生态也将持续丰富成为 AI 学术与工业界的研究重点。关键问题问题 1RAG 的三大研究范式分别是什么核心差异体现在哪里答案RAG 的三大研究范式为Naive RAG、Advanced RAG、Modular RAG核心差异体现在架构设计与优化方向①Naive RAG 是基础的 Retrieve-Read 链式框架仅包含索引、检索、生成三步未做额外优化存在检索精度低、生成易幻觉等问题②Advanced RAG 在 Naive RAG 基础上针对检索全流程做优化包括检索前的索引 / 查询优化、检索后的重排序 / 上下文压缩仍为链式结构灵活性不足③Modular RAG 是模块化架构新增 Search/Memory/Routing 等功能模块支持模块替换 / 重排可实现迭代、自适应、递归检索架构灵活性与适配性大幅提升是目前的主流研究方向。问题 2RAG 在检索组件中针对 “查询优化” 提出了哪些核心方法解决了什么问题答案查询优化是为了解决 Naive RAG 直接使用用户原始查询导致的检索效果差、语言歧义 / 专业词汇理解困难等问题核心方法分为三类①查询扩展将单查询拓展为多查询 / 子查询通过 Chain-of-Verification 验证扩展查询丰富查询上下文提升检索相关性②查询转换通过 LLM / 专用小模型重写查询或通过 HyDE 生成假设文档、Step-back Prompting 生成抽象问题以转换后的内容为检索依据降低查询与文档的语义鸿沟③查询路由基于元数据 / 语义信息将不同查询路由至专属 RAG 流水线适配多场景的通用 RAG 系统缩小检索范围。问题 3RAG 与微调FT作为 LLM 的核心优化方法各有何优劣二者该如何结合使用答案①优势与劣势RAG 的优势是可动态更新外部知识、可解释性强、无需大量计算资源重新训练适合知识密集型 / 动态知识任务劣势是推理延迟较高、对检索质量依赖大微调的优势是可深度定制模型行为 / 风格、降低幻觉适合固定结构 / 风格的任务劣势是知识静态化、需重新训练更新、数据集准备与训练成本高。②结合方式二者并非互斥而是互补关系核心结合方式包括先通过 RAG 为 LLM 提供外部知识再针对特定任务微调 LLM对 RAG 的检索器与生成器进行协同微调通过 KL 散度等方式对齐二者的评分函数在 Modular RAG 中引入微调模块针对特定任务微调检索器 / 生成器提升模块性能通过强化学习将人类 / 检索器偏好融入微调实现 RAG 与微调的端到端融合最终达到性能最优。
RAG综述解读
发布时间：2026/7/27 22:51:05
https://arxiv.org/pdf/2312.10997一段话总结这篇综述聚焦大语言模型LLMs面临的幻觉、知识过时、推理不透明问题系统阐述了检索增强生成RAG技术的发展脉络、核心框架、评估体系及未来方向将 RAG 研究范式划分为Naive RAG、Advanced RAG、Modular RAG三个阶段深入剖析了检索、生成、增强三大核心组件的关键技术梳理了覆盖26 类下游任务、近 50 个数据集的 RAG 评估体系指出 RAG 通过融合 LLMs 固有知识与外部动态知识库有效提升了生成的准确性和可信度同时探讨了其在长上下文适配、鲁棒性、与微调融合等方面的挑战以及多模态、工程化落地等未来研究方向。详细总结本文是一篇关于检索增强生成RAG技术的综合性综述针对大语言模型LLMs的固有缺陷系统梳理了 RAG 的发展历程、核心技术、评估体系并分析了其现存挑战与未来研究方向核心内容如下一、研究背景与核心价值LLMs 的核心局限存在幻觉、知识更新不及时、推理过程非透明 / 不可追溯在知识密集型任务中表现不佳。RAG 的解决思路通过语义相似度计算从外部知识库检索相关文档片段将外部知识与 LLMs 固有知识融合弥补其知识缺陷。RAG 的发展轨迹随 Transformer 架构兴起初期聚焦预训练阶段知识融合ChatGPT 出现后转向推理阶段为 LLMs 提供信息后续逐步与 LLM 微调技术深度结合。本文核心贡献梳理 RAG 三大范式、剖析三大核心组件技术、总结覆盖26 类任务、近 50 个数据集的评估体系、展望未来研究方向。二、RAG 三大研究范式RAG 的范式发展是对前序范式缺陷的针对性优化三者的核心特征与差异如下表表格范式类型核心架构关键步骤 / 优化主要缺陷Naive RAG经典 Retrieve-Read 框架索引数据清洗→分块→向量化、检索语义相似度匹配 Top K、生成融合查询 检索内容生成答案检索精度 / 召回率低、生成易幻觉、增强过程易冗余 / 不连贯Advanced RAG链式结构优化检索全流程检索前索引精细化、查询重写 / 扩展检索后片段重排序、上下文压缩仍为固定链式流程灵活性不足Modular RAG模块化架构支持灵活重组新增 Search/Memory/Routing 等模块支持迭代 / 自适应 / 递归检索模块可替换 / 重排架构复杂度提升模块协同要求高三、RAG 三大核心技术组件RAG 的核心由检索、生成、增强三部分构成各部分的关键优化技术如下检索组件决定外部知识获取的准确性核心优化方向包括检索源从非结构化文本拓展至半结构化PDF、结构化数据知识图谱、LLM 生成内容检索粒度从细到粗含 Token / 短语 / 句子 / Chunk / 文档等知识图谱粒度为实体 / 三元组 / 子图索引优化优化分块策略滑动窗口 / 递归分割、附加元数据、构建层级 / 知识图谱索引查询优化查询扩展多查询 / 子查询、转换重写 / HyDE、路由元数据 / 语义路由嵌入融合稀疏 / 稠密检索针对领域数据微调嵌入模型通过 LLM 提供监督信号适配器引入轻量级适配器适配多任务 / 特定任务降低微调成本。生成组件解决检索内容与 LLM 的高效融合核心优化包括上下文整理通过模型 / 规则重排序提升相关片段优先级通过压缩 / 筛选解决 “Lost in the middle” 问题去除冗余信息LLM 微调针对特定领域 / 任务微调适配输入输出格式通过强化学习对齐人类 / 检索器偏好与检索器协同微调。增强组件针对复杂问题优化检索方式突破单次检索的局限包含迭代检索交替进行检索与生成为复杂任务提供更全面的上下文递归检索将复杂查询拆解为子查询逐步收敛至核心信息适配多跳推理自适应检索由 LLM 自主判断是否需要检索、何时停止检索通过特殊令牌 / 置信度阈值控制提升效率。四、RAG 与其他 LLM 优化方法的对比RAG、微调FT、提示工程是 LLM 三大核心优化方法核心差异体现在外部知识需求和模型适配需求两个维度提示工程低外部知识需求、低模型适配需求仅挖掘 LLMs 固有能力RAG高外部知识需求、低早期→高模块化阶段模型适配需求可动态更新知识可解释性强推理延迟较高微调低外部知识需求、高模型适配需求知识静态化需重新训练更新可深度定制模型行为。二者互补RAG 在知识密集型任务中表现优于无监督微调且 RAG 与微调可融合使用如先检索再微调、协同微调实现性能最优。五、RAG 评估体系目前 RAG 评估已形成覆盖任务、目标、维度、工具的完整体系核心内容如下下游任务以问答QA为核心单跳 / 多跳 / 长文本 / 领域 QA拓展至信息抽取IE、对话生成、代码搜索、文本摘要等26 类任务对应近 50 个数据集评估目标分为检索质量Hit Rate、MRR、NDCG 等和生成质量EM、F1、Accuracy、BLEU/ROUGE 等核心评估维度3 大质量分数上下文相关性、答案忠实性、答案相关性4 大核心能力噪声鲁棒性、否定拒绝能力、信息整合能力、反事实鲁棒性评估基准与工具基准包括 RGB、RECALL、CRUD自动化工具包括 RAGAS、ARES、TruLens部分工具采用定制化量化指标。六、RAG 现存挑战与未来研究方向核心挑战长上下文适配LLMs 上下文长度突破 20 万 Token 后RAG 的必要性与优化方式需重新探索鲁棒性不足检索中的噪声 / 矛盾信息会严重影响生成质量甚至出现 “误信息不如无信息” 的情况工程化落地大知识库中检索效率 / 召回率低、数据安全如元数据泄露、工具栈整合难度大。未来研究方向混合方法探索 RAG 与微调的最优融合方式序贯 / 交替 / 端到端训练RAG 缩放定律研究 RAG 模型参数与性能的关系验证逆缩放定律的适用性生产级 RAG提升检索效率、保障数据安全推动 RAG 工具栈的定制化 / 简化 / 专业化多模态 RAG将 RAG 从文本拓展至图像、音频、视频、代码等多模态数据适配多模态任务生态发展LangChain、LlamaIndex 等工具栈成为基础传统软件 / 云厂商布局 RAG 专属服务形成专业化生态。七、结论RAG 通过融合 LLMs 的参数化知识与外部非参数化知识库有效解决了 LLMs 的核心缺陷成为提升其知识密集型任务性能的关键技术其范式从 Naive RAG 逐步发展为更灵活的 Modular RAG核心技术不断优化评估体系日趋完善未来 RAG 将向长上下文适配、高鲁棒性、多模态、工程化落地方向发展同时与微调等技术深度融合其工具栈与生态也将持续丰富成为 AI 学术与工业界的研究重点。关键问题问题 1RAG 的三大研究范式分别是什么核心差异体现在哪里答案RAG 的三大研究范式为Naive RAG、Advanced RAG、Modular RAG核心差异体现在架构设计与优化方向①Naive RAG 是基础的 Retrieve-Read 链式框架仅包含索引、检索、生成三步未做额外优化存在检索精度低、生成易幻觉等问题②Advanced RAG 在 Naive RAG 基础上针对检索全流程做优化包括检索前的索引 / 查询优化、检索后的重排序 / 上下文压缩仍为链式结构灵活性不足③Modular RAG 是模块化架构新增 Search/Memory/Routing 等功能模块支持模块替换 / 重排可实现迭代、自适应、递归检索架构灵活性与适配性大幅提升是目前的主流研究方向。问题 2RAG 在检索组件中针对 “查询优化” 提出了哪些核心方法解决了什么问题答案查询优化是为了解决 Naive RAG 直接使用用户原始查询导致的检索效果差、语言歧义 / 专业词汇理解困难等问题核心方法分为三类①查询扩展将单查询拓展为多查询 / 子查询通过 Chain-of-Verification 验证扩展查询丰富查询上下文提升检索相关性②查询转换通过 LLM / 专用小模型重写查询或通过 HyDE 生成假设文档、Step-back Prompting 生成抽象问题以转换后的内容为检索依据降低查询与文档的语义鸿沟③查询路由基于元数据 / 语义信息将不同查询路由至专属 RAG 流水线适配多场景的通用 RAG 系统缩小检索范围。问题 3RAG 与微调FT作为 LLM 的核心优化方法各有何优劣二者该如何结合使用答案①优势与劣势RAG 的优势是可动态更新外部知识、可解释性强、无需大量计算资源重新训练适合知识密集型 / 动态知识任务劣势是推理延迟较高、对检索质量依赖大微调的优势是可深度定制模型行为 / 风格、降低幻觉适合固定结构 / 风格的任务劣势是知识静态化、需重新训练更新、数据集准备与训练成本高。②结合方式二者并非互斥而是互补关系核心结合方式包括先通过 RAG 为 LLM 提供外部知识再针对特定任务微调 LLM对 RAG 的检索器与生成器进行协同微调通过 KL 散度等方式对齐二者的评分函数在 Modular RAG 中引入微调模块针对特定任务微调检索器 / 生成器提升模块性能通过强化学习将人类 / 检索器偏好融入微调实现 RAG 与微调的端到端融合最终达到性能最优。
