开篇AI 很强但它也会胡说八道你一定用过 ChatGPT、Copilot 或者 Stable Diffusion。它们能写论文、补代码、画插图看起来无所不能。但如果你问 GPT 一个上周刚发布的 API 接口叫什么它大概率会一本正经地编一个不存在的名字——这就是所谓的幻觉hallucination。问题不止于此。大模型的知识冻结在训练截止日期无法自动更新对冷门领域长尾知识覆盖不足训练数据可能泄露隐私而且模型越大训练和推理成本越高。这些问题在实际部署中尤为突出——你不可能每次有新知识就重新训练一个百亿参数的模型。有没有一种方法让模型在回答之前先翻翻书从外部数据源里找到相关资料再据此生成答案这就是检索增强生成Retrieval-Augmented Generation, RAG的核心思路。北京大学 Zhao 等人在综述论文 “Retrieval-Augmented Generation for AI-Generated Content: A Survey” 中系统梳理了 RAG 的基础范式、增强技巧和跨模态应用。本文将以这篇综述为蓝本带你从零建立 RAG 的完整认知。一、AIGC 的强大与痛点为什么需要 RAGAIGCAI-Generated Content泛指由生成式模型产出的内容涵盖文本GPT、LLaMA、图像DALL-E、Stable Diffusion、视频Sora等多种模态。这些模型依赖海量参数存储知识——可以理解为把整个图书馆压缩进了神经网络的权重里。但参数记忆有四个天然短板•知识过时模型训练后世界还在变化新知识无法自动写入。•长尾盲区冷门实体、小众 API、罕见病例等低频知识覆盖不足。•隐私风险训练数据中的敏感信息可能被模型记住并泄露。•成本高昂为了覆盖更多知识而不断扩大模型参数训练和推理开销剧增。RAG 的解法很直觉给模型配一个外挂的非参数记忆non-parametric memory。你可以把它想象成考试时允许翻阅的参考资料——模型不需要把所有知识都背进参数里只需要在回答时知道去哪里查、怎么查。这个外挂记忆就是一个可检索的数据仓库——可以是文档库、知识图谱、代码仓库甚至是图片集。它易于更新改文档比重新训练模型便宜得多、能容纳海量长尾知识、可以通过权限控制隔离敏感数据还能通过用检索代替生成来降低推理成本。简而言之RAG 让模型从闭卷考试变成了开卷考试。二、RAG 是什么一条最小可行流水线RAG 的通用架构——检索器从数据源中获取相关信息与生成器交互以改善生成过程一个最基本的 RAG 流程可以拆成五步输入查询Query用户提出问题或给出生成指令。检索 Top-kRetrieve检索器在数据源中找到最相关的 k 条结果。增强Augment将检索结果与原始查询融合形成增强后的输入。生成Generate生成器基于增强输入产出最终结果。可选后处理Post-process对输出进行改写、重排或验证。其中检索器是关键。综述将检索方法分为三类•稀疏检索Sparse Retrieval基于词频统计如 BM25、TF-IDF。用倒排索引实现高效查找是大规模网页搜索的经典基线。优点是无需训练、可解释性强缺点是无法捕捉语义相似性。•稠密检索Dense Retrieval用预训练模型如 BERT将查询和文档编码为稠密向量通过余弦相似度等度量计算相关性。需要构建近似最近邻ANN索引如 HNSW、DiskANN来加速搜索。语义理解能力强但需要训练数据和 GPU 资源。•其他方法包括编辑距离、抽象语法树AST匹配、知识图谱的 k-hop 邻居搜索、命名实体识别NER等。Tip对于大多数文本 RAG 场景BM25 Dense Retrieval 的混合检索Hybrid Retrieval是一个稳健的起点。稀疏检索擅长精确关键词匹配稠密检索擅长语义泛化二者互补。三、生成器与检索器你在系统里能换哪些发动机主流生成器的通用架构: Latent Diffusion Model主流生成器的通用架构: Transformer主流生成器的通用架构: LSTM and GANRAG 是一个检索器 生成器的组合系统两个模块都可以独立替换。生成器侧•Transformer当前主流GPT、LLaMA、BART 等均属此类擅长序列到序列任务。•LSTM早期序列模型在部分代码生成和摘要任务中仍有使用。•扩散模型Diffusion Model图像和音频生成的主力如 Stable Diffusion。•GAN生成对抗网络在图像生成中曾是主流现逐渐被扩散模型取代。检索器侧• 稀疏检索器适合对精确匹配要求高的场景如法律条文检索。• 稠密检索器适合语义理解需求强的场景如开放域问答。• 混合检索器结合两者优势适合大多数生产环境。关键洞察检索器和生成器的目标可能不一致——检索器追求相关性生成器追求流畅性和准确性。如何设计二者的交互方式是 RAG 系统设计的核心问题。综述正是围绕这个核心问题提出了基础范式和增强方法两大分类体系。四、RAG Foundations四大接入点RAG 基础范式的分类——按检索结果增强生成器的方式分为四类综述将 RAG 的基础范式按检索结果在哪个阶段、以什么方式接入生成器分为四类1. Query-Based RAG查询增强直觉把检索到的内容直接拼接到 prompt 里让模型看着资料回答。典型场景你问 LLM 一个知识密集型问题系统先检索相关文档片段拼进 prompt再让模型生成答案。REALM、RAGLewis et al.、SELF-RAG 都属于此类。在代码领域APICoder、CEDAR 等将检索到的 API 文档和代码示例拼入 prompt。风险/陷阱检索内容过多会撑爆上下文窗口导致生成变慢甚至信息丢失检索质量差时噪声会误导模型。Prompt 设计至关重要。2. Latent Representation-Based RAG隐状态融合直觉不在文本层面拼接而是在模型内部的隐藏层通过交叉注意力cross-attention等机制融合检索信息。典型场景RETRO 在 Transformer 的中间层用 chunked cross-attention 融合检索到的文本块在视频字幕生成中R-ConvED 用注意力机制融合检索到的视频-句子对的隐状态。风险/陷阱需要额外训练来对齐检索器和生成器的隐空间通用性受限但能实现更精细的信息融合。3. Logit-Based RAG概率层融合直觉在解码的每一步将生成模型的输出概率与检索得到的概率分布进行加权融合。典型场景kNN-LM 在每个解码步骤将语言模型概率与检索到的相似前缀的距离概率混合EDITSUM 在代码摘要任务中在 logit 层集成原型摘要。风险/陷阱主要适用于序列生成任务融合权重的调节需要精细设计否则检索信号可能淹没或被忽略。4. Speculative RAG投机式检索直觉能检索到现成答案就不生成——用检索替代生成节省计算资源。典型场景REST 用检索替代投机解码中的小模型来生成草稿GPTCache 构建语义缓存对相似查询直接返回缓存结果避免重复调用 LLM APICOG 将文本生成分解为一系列从文档中复制粘贴的操作。风险/陷阱目前主要适用于序列数据当检索源覆盖不足时会退化为普通生成。五、RAG Enhancements把系统做更稳更强的五类技巧RAG 增强方法的分类——按增强目标分为输入、检索器、生成器、结果和流水线五组基础范式解决了怎么接入的问题增强方法则解决怎么做得更好。综述将增强技巧分为五组1. 输入增强Input Enhancement在查询进入检索器之前优化输入质量•查询改写/扩展用 LLM 重写模糊查询如 HyDE 生成假设文档来辅助检索或将复杂查询拆解为子查询RQ-RAG。•数据增强清洗、去重、更新检索源中的过时文档合成新数据弥补稀疏性如 Make-An-Audio 为无文本音频生成描述。2. 检索器增强Retriever Enhancement提升检索结果的质量和多样性•递归检索多轮搜索获取更丰富的内容ReACT 用 Chain-of-Thought 分解查询进行递归检索。•分块策略Chunking合理切分文档平衡粒度与完整性RAPTOR 用递归抽象处理构建树状索引。•重排序Rerank用 reranker 模型对初检结果重新排序提升相关性Re2G、UDAPDR。•混合检索结合稀疏和稠密检索的优势ReACC 同时使用两种检索器。•检索器微调用对比学习、硬负例等技术微调检索模型。3. 生成器增强Generator Enhancement让生成器更好地利用检索信息•Prompt 工程精心设计 prompt 模板组织检索内容的呈现方式CEDAR 用设计好的模板组织代码示例、查询和指令。•解码调优调节温度等超参数平衡多样性和质量InferFix约束输出词表消除实现错误Synchromesh。•生成器微调固定检索器参数微调生成器以更好地融合检索内容RETRO、APICoder或用 LoRA 等轻量方法适配特定领域。4. 结果增强Result Enhancement对生成结果进行后处理•输出改写用专门模型修正生成结果以符合下游需求SARGAM 用分类器精修代码补丁。•候选重排对多个生成候选进行排序选优。5. 流水线增强Pipeline Enhancement从系统整体层面优化•自适应检索根据查询复杂度动态决定是否需要检索SELF-RAG 用批评模块判断AdaptiveRAG 用分类器按查询复杂度决策。•迭代式 RAG多轮检索-生成循环逐步精炼结果RepoCoder 用迭代检索-生成完成代码补全ITER-RETGEN 用生成输出定位知识缺口再检索。工程 Checklist搭建 RAG 系统时按以下顺序逐步优化——✅ 先跑通基线BM25 Query-Based RAG✅ 加入稠密检索尝试混合检索✅ 优化分块策略和 prompt 模板✅ 引入 reranker 提升检索精度✅ 根据场景选择自适应/迭代式流水线✅ 必要时微调检索器或生成器六、Applications Map不仅是问答跨模态 RAGRAG 在不同模态和任务中的应用分类图RAG 绝不只是文本问答的专利。综述梳理了 RAG 在以下领域的应用•文本问答FiD、REALM、对话BlenderBot3、摘要、机器翻译kNN-MT、事件抽取、事实验证。•代码代码生成REDCODER、APICoder、RepoCoder、代码摘要Re2Com、Bashexplainer、代码补全CoCoMIC、程序修复RAP-Gen、InferFix、Text-to-SQLSynchromesh、CodeS。•知识图谱知识库问答TOG、GNN-RAG、知识增强的开放域问答UniK-QA、表格问答。•图像图像生成KNN-Diffusion、Re-imagen、图像字幕SMALLCAP、REVEAL、视觉问答PICa。•视频视频字幕R-ConvED、EgoInstructor、视频问答、视频生成Animate-A-Story。•音频音频生成Re-AudioLDM、Make-An-Audio、音频字幕RECAP。•3D文本到 3D 运动生成ReMoDiffuse、3D 资产生成RetDream。•科学生物医学文献生成BioReader、药物设计、数学定理证明LeanDojo。核心洞察跨模态 RAG 的核心流程是一致的——检索相关对象、增强生成过程。变化的是检索器的模态文本用 BM25/DPR图像用 CLIP音频用 CLAP代码用 CodeBERT和增强方式的选择文本多用 Query-Based图像多用 Latent Representation-Based。这意味着你在文本 RAG 上积累的经验可以迁移到其他模态——核心设计模式是通用的。七、3 个实战案例Case A文本校园/实验室知识库问答助手问题实验室积累了大量内部文档论文笔记、实验记录、设备手册但内容更新频繁直接用 LLM 回答常出现过时信息且无法给出引用来源。数据源Markdown/PDF 格式的实验室内部文档库按周更新。检索器选择混合检索BM25 Dense Retrieval。BM25 处理精确术语匹配如设备型号Dense Retrieval基于 BGE 等中文嵌入模型处理语义相似查询。用 HNSW 构建 ANN 索引。增强策略Query-Based RAG基础范式 输入增强查询改写 检索器增强rerank。Prompt 模板你是实验室知识助手。请根据以下检索到的参考资料回答用户问题。如果参考资料不足以回答请明确说明当前知识库未覆盖此问题。请在回答末尾标注引用来源。【参考资料】{retrieved_chunk_1}来源{source_1}{retrieved_chunk_2}来源{source_2}{retrieved_chunk_3}来源{source_3}【用户问题】{user_query}失败模式与缓解• 文档更新后索引未同步 → 建立定时索引刷新机制文档变更触发增量索引更新。• 检索到的片段与问题相关但信息不足 → 引入递归检索对初次结果中的关键实体进行二次检索。• 模型忽略检索内容仍凭参数记忆回答 → 在 prompt 中强调仅基于参考资料回答并用 SELF-RAG 式的自我批评机制判断是否需要检索。评估计划• 准确率人工标注 200 条问答对计算答案正确率。• 引用准确率检查生成的引用是否指向正确的源文档。• 检索召回率标注相关文档计算 Top-5 召回率。• 用户满意度实验室成员试用两周后收集反馈。Case B代码API/代码补全助手问题开发团队使用内部框架公开 LLM 对私有 API 一无所知经常生成不存在的函数名和错误的参数签名。数据源内部 API 文档、函数签名、代码示例、README 文件。检索器选择稠密检索为主用 CodeBERT 编码代码和文档辅以稀疏检索BM25 匹配函数名和关键词。参考综述中 ReACC 同时使用两种检索器的做法。增强策略Query-Based RAG 迭代式 RAG参考 RepoCoder 的迭代检索-生成方法。第一轮用当前代码上下文检索相关 API第二轮用初步生成的代码片段作为新查询检索更精确的示例。Prompt 模板你是代码补全助手。请根据以下 API 文档和代码示例补全用户的代码。只使用文档中存在的 API不要编造不存在的函数或参数。【相关 API 文档】{api_doc_chunk_1}【代码示例】{code_example_1}【当前代码上下文】{current_code_context}【待补全位置】{cursor_position}失败模式与缓解• 检索到的 API 版本过旧 → 数据源按版本号管理检索时过滤当前项目依赖的版本。• 函数名匹配正确但参数签名错误 → 检索粒度细化到函数签名级别而非整个文档页面。• 生成的代码语法正确但逻辑错误 → 引入 Synchromesh 式的约束解码限制输出词表结合 De-Hallucinator 的迭代验证机制。评估计划• 补全准确率在内部代码测试集上计算 exact match 和 BLEU。• API 幻觉率统计生成代码中不存在的 API 调用占比。• 编译通过率生成代码能否通过编译/类型检查。• 开发者效率A/B 测试对比有无 RAG 辅助时的编码速度。Case C多模态/AIGC图像生成的参考检索——风格与构图对齐问题设计师希望用文本生成特定风格的图像如莫奈风格的校园秋景但纯文本 prompt 难以精确控制风格和构图生成结果与预期偏差大。数据源风格标注的参考图像库含风格标签、构图描述、CLIP 嵌入。检索器选择基于 CLIP 的稠密检索。用户输入文本 prompt 后CLIP 文本编码器将其映射到共享嵌入空间检索视觉上最相关的参考图像。参考综述中 KNN-Diffusion 和 RDM 的做法——训练扩散模型时以 CLIP 嵌入和图像邻居为条件。增强策略Latent Representation-Based RAG。参考 RetrieveFuse 的方法将检索到的参考图像与噪声图像在 U-Net 的注意力模块前拼接通过自注意力实现充分交互避免 CLIP 嵌入的信息损失。同时结合 Re-imagen 的交错引导interleaved guidance平衡 prompt 对齐和检索条件。Prompt 模板文本侧请生成一张图像。【风格参考】检索到的参考图像 ID{ref_image_ids}风格描述{style_description}构图特征{composition_features}【用户描述】{user_text_prompt}生成要求保持与参考图像一致的色调和笔触风格构图参考检索结果内容以用户描述为准。失败模式与缓解• 检索到的参考图风格相近但内容干扰生成 → 用 RPG 的方式将画面分解为互补子区域分别控制风格和内容。• CLIP 嵌入丢失细粒度风格信息 → 参考 RetrieveFuse直接拼接原始图像特征而非仅用 CLIP 向量。• 参考图库覆盖不足导致检索结果不相关 → 设置相似度阈值低于阈值时退化为无检索的纯文本生成。评估计划• 风格一致性用 CLIP 计算生成图像与参考图像的风格相似度。• Prompt 对齐度用 CLIP 计算生成图像与文本 prompt 的匹配分数。• 人工评估邀请设计师对生成结果的风格还原度和美学质量打分。• FID 分数在特定风格子集上计算 FID衡量生成质量。八、评估、局限与未来方向评估基准综述梳理了多个 RAG 评估框架•RAGAS、ARES、TruLens从三个维度评估——忠实度Faithfulness生成内容是否基于检索结果、答案相关性Answer Relevance、上下文相关性Context Relevance。•Chen et al. 的基准测试四个能力——噪声鲁棒性、负拒绝检索不足时能否拒绝回答、信息整合、反事实鲁棒性。•CRUD-RAG将 RAG 任务分为创建、读取、更新、删除四类分别用文本续写、问答、幻觉纠正、多文档摘要来评估。•领域专用基准MIRAGE医学、CRAG跨领域多类别、Legalbench-RAG法律、Omnieval金融、Multihop-RAG多跳推理等。当前局限综述指出 RAG 面临五大局限检索噪声检索结果不可避免地包含噪声。有趣的是研究发现噪声检索结果有时反而能提升生成质量可能因为多样化的检索结果有助于 prompt 构建。但噪声的影响仍不明确。额外开销检索和交互过程增加延迟尤其在递归检索和迭代 RAG 中更为显著。检索源规模扩大也会增加存储和访问复杂度。检索器与生成器的鸿沟两者目标和隐空间可能不一致如何设计高效的交互方式仍是挑战。系统复杂度增加引入检索不可避免地增加超参数如 top-k 值、分块大小、融合权重需要更多专业知识来调优。上下文过长Query-Based RAG 会大幅增加上下文长度对上下文窗口有限的模型不友好也会拖慢生成速度。未来方向综述展望了七个方向•新型增强方法探索更先进的检索器-生成器交互模式。•灵活流水线递归、自适应、迭代式 RAG 的深入发展。•更广泛的应用为特定领域设计定制化 RAG 方案。•高效部署系统级优化以降低延迟PipeRAG、HedraRAG 等。•长尾与实时知识构建持续更新的知识源适配个性化信息。•与其他技术结合RAG 微调 强化学习 Chain-of-Thought Agent 的协同。•Agentic RAG将 AI Agent 引入 RAG实现推理-规划-行动-迭代的动态循环从被动响应走向主动解决问题。综述特别指出长上下文模型将取代 RAG的说法忽视了 RAG 在管理动态信息包括实时和长尾知识方面的灵活性。RAG 将受益于长上下文生成技术而非被其取代。结语RAG 的本质是一个简洁而强大的思想让生成模型在回答之前先查资料。它不需要重新训练模型就能注入新知识、减少幻觉、保护隐私、降低成本。从文本问答到代码补全从图像生成到科学研究RAG 正在成为 AIGC 系统的标准组件。如果你正在搭建自己的 AI 应用不妨从一个最简单的 BM25 LLM 的 Query-Based RAG 开始然后根据本文的分类框架逐步优化。记住好的 RAG 系统不是一次设计出来的而是迭代出来的。先让它跑起来再让它跑得好。学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
当 AI 开始“翻书“：一文读懂检索增强生成（RAG）的前世今生与实战指南
发布时间：2026/7/27 10:32:51
开篇AI 很强但它也会胡说八道你一定用过 ChatGPT、Copilot 或者 Stable Diffusion。它们能写论文、补代码、画插图看起来无所不能。但如果你问 GPT 一个上周刚发布的 API 接口叫什么它大概率会一本正经地编一个不存在的名字——这就是所谓的幻觉hallucination。问题不止于此。大模型的知识冻结在训练截止日期无法自动更新对冷门领域长尾知识覆盖不足训练数据可能泄露隐私而且模型越大训练和推理成本越高。这些问题在实际部署中尤为突出——你不可能每次有新知识就重新训练一个百亿参数的模型。有没有一种方法让模型在回答之前先翻翻书从外部数据源里找到相关资料再据此生成答案这就是检索增强生成Retrieval-Augmented Generation, RAG的核心思路。北京大学 Zhao 等人在综述论文 “Retrieval-Augmented Generation for AI-Generated Content: A Survey” 中系统梳理了 RAG 的基础范式、增强技巧和跨模态应用。本文将以这篇综述为蓝本带你从零建立 RAG 的完整认知。一、AIGC 的强大与痛点为什么需要 RAGAIGCAI-Generated Content泛指由生成式模型产出的内容涵盖文本GPT、LLaMA、图像DALL-E、Stable Diffusion、视频Sora等多种模态。这些模型依赖海量参数存储知识——可以理解为把整个图书馆压缩进了神经网络的权重里。但参数记忆有四个天然短板•知识过时模型训练后世界还在变化新知识无法自动写入。•长尾盲区冷门实体、小众 API、罕见病例等低频知识覆盖不足。•隐私风险训练数据中的敏感信息可能被模型记住并泄露。•成本高昂为了覆盖更多知识而不断扩大模型参数训练和推理开销剧增。RAG 的解法很直觉给模型配一个外挂的非参数记忆non-parametric memory。你可以把它想象成考试时允许翻阅的参考资料——模型不需要把所有知识都背进参数里只需要在回答时知道去哪里查、怎么查。这个外挂记忆就是一个可检索的数据仓库——可以是文档库、知识图谱、代码仓库甚至是图片集。它易于更新改文档比重新训练模型便宜得多、能容纳海量长尾知识、可以通过权限控制隔离敏感数据还能通过用检索代替生成来降低推理成本。简而言之RAG 让模型从闭卷考试变成了开卷考试。二、RAG 是什么一条最小可行流水线RAG 的通用架构——检索器从数据源中获取相关信息与生成器交互以改善生成过程一个最基本的 RAG 流程可以拆成五步输入查询Query用户提出问题或给出生成指令。检索 Top-kRetrieve检索器在数据源中找到最相关的 k 条结果。增强Augment将检索结果与原始查询融合形成增强后的输入。生成Generate生成器基于增强输入产出最终结果。可选后处理Post-process对输出进行改写、重排或验证。其中检索器是关键。综述将检索方法分为三类•稀疏检索Sparse Retrieval基于词频统计如 BM25、TF-IDF。用倒排索引实现高效查找是大规模网页搜索的经典基线。优点是无需训练、可解释性强缺点是无法捕捉语义相似性。•稠密检索Dense Retrieval用预训练模型如 BERT将查询和文档编码为稠密向量通过余弦相似度等度量计算相关性。需要构建近似最近邻ANN索引如 HNSW、DiskANN来加速搜索。语义理解能力强但需要训练数据和 GPU 资源。•其他方法包括编辑距离、抽象语法树AST匹配、知识图谱的 k-hop 邻居搜索、命名实体识别NER等。Tip对于大多数文本 RAG 场景BM25 Dense Retrieval 的混合检索Hybrid Retrieval是一个稳健的起点。稀疏检索擅长精确关键词匹配稠密检索擅长语义泛化二者互补。三、生成器与检索器你在系统里能换哪些发动机主流生成器的通用架构: Latent Diffusion Model主流生成器的通用架构: Transformer主流生成器的通用架构: LSTM and GANRAG 是一个检索器 生成器的组合系统两个模块都可以独立替换。生成器侧•Transformer当前主流GPT、LLaMA、BART 等均属此类擅长序列到序列任务。•LSTM早期序列模型在部分代码生成和摘要任务中仍有使用。•扩散模型Diffusion Model图像和音频生成的主力如 Stable Diffusion。•GAN生成对抗网络在图像生成中曾是主流现逐渐被扩散模型取代。检索器侧• 稀疏检索器适合对精确匹配要求高的场景如法律条文检索。• 稠密检索器适合语义理解需求强的场景如开放域问答。• 混合检索器结合两者优势适合大多数生产环境。关键洞察检索器和生成器的目标可能不一致——检索器追求相关性生成器追求流畅性和准确性。如何设计二者的交互方式是 RAG 系统设计的核心问题。综述正是围绕这个核心问题提出了基础范式和增强方法两大分类体系。四、RAG Foundations四大接入点RAG 基础范式的分类——按检索结果增强生成器的方式分为四类综述将 RAG 的基础范式按检索结果在哪个阶段、以什么方式接入生成器分为四类1. Query-Based RAG查询增强直觉把检索到的内容直接拼接到 prompt 里让模型看着资料回答。典型场景你问 LLM 一个知识密集型问题系统先检索相关文档片段拼进 prompt再让模型生成答案。REALM、RAGLewis et al.、SELF-RAG 都属于此类。在代码领域APICoder、CEDAR 等将检索到的 API 文档和代码示例拼入 prompt。风险/陷阱检索内容过多会撑爆上下文窗口导致生成变慢甚至信息丢失检索质量差时噪声会误导模型。Prompt 设计至关重要。2. Latent Representation-Based RAG隐状态融合直觉不在文本层面拼接而是在模型内部的隐藏层通过交叉注意力cross-attention等机制融合检索信息。典型场景RETRO 在 Transformer 的中间层用 chunked cross-attention 融合检索到的文本块在视频字幕生成中R-ConvED 用注意力机制融合检索到的视频-句子对的隐状态。风险/陷阱需要额外训练来对齐检索器和生成器的隐空间通用性受限但能实现更精细的信息融合。3. Logit-Based RAG概率层融合直觉在解码的每一步将生成模型的输出概率与检索得到的概率分布进行加权融合。典型场景kNN-LM 在每个解码步骤将语言模型概率与检索到的相似前缀的距离概率混合EDITSUM 在代码摘要任务中在 logit 层集成原型摘要。风险/陷阱主要适用于序列生成任务融合权重的调节需要精细设计否则检索信号可能淹没或被忽略。4. Speculative RAG投机式检索直觉能检索到现成答案就不生成——用检索替代生成节省计算资源。典型场景REST 用检索替代投机解码中的小模型来生成草稿GPTCache 构建语义缓存对相似查询直接返回缓存结果避免重复调用 LLM APICOG 将文本生成分解为一系列从文档中复制粘贴的操作。风险/陷阱目前主要适用于序列数据当检索源覆盖不足时会退化为普通生成。五、RAG Enhancements把系统做更稳更强的五类技巧RAG 增强方法的分类——按增强目标分为输入、检索器、生成器、结果和流水线五组基础范式解决了怎么接入的问题增强方法则解决怎么做得更好。综述将增强技巧分为五组1. 输入增强Input Enhancement在查询进入检索器之前优化输入质量•查询改写/扩展用 LLM 重写模糊查询如 HyDE 生成假设文档来辅助检索或将复杂查询拆解为子查询RQ-RAG。•数据增强清洗、去重、更新检索源中的过时文档合成新数据弥补稀疏性如 Make-An-Audio 为无文本音频生成描述。2. 检索器增强Retriever Enhancement提升检索结果的质量和多样性•递归检索多轮搜索获取更丰富的内容ReACT 用 Chain-of-Thought 分解查询进行递归检索。•分块策略Chunking合理切分文档平衡粒度与完整性RAPTOR 用递归抽象处理构建树状索引。•重排序Rerank用 reranker 模型对初检结果重新排序提升相关性Re2G、UDAPDR。•混合检索结合稀疏和稠密检索的优势ReACC 同时使用两种检索器。•检索器微调用对比学习、硬负例等技术微调检索模型。3. 生成器增强Generator Enhancement让生成器更好地利用检索信息•Prompt 工程精心设计 prompt 模板组织检索内容的呈现方式CEDAR 用设计好的模板组织代码示例、查询和指令。•解码调优调节温度等超参数平衡多样性和质量InferFix约束输出词表消除实现错误Synchromesh。•生成器微调固定检索器参数微调生成器以更好地融合检索内容RETRO、APICoder或用 LoRA 等轻量方法适配特定领域。4. 结果增强Result Enhancement对生成结果进行后处理•输出改写用专门模型修正生成结果以符合下游需求SARGAM 用分类器精修代码补丁。•候选重排对多个生成候选进行排序选优。5. 流水线增强Pipeline Enhancement从系统整体层面优化•自适应检索根据查询复杂度动态决定是否需要检索SELF-RAG 用批评模块判断AdaptiveRAG 用分类器按查询复杂度决策。•迭代式 RAG多轮检索-生成循环逐步精炼结果RepoCoder 用迭代检索-生成完成代码补全ITER-RETGEN 用生成输出定位知识缺口再检索。工程 Checklist搭建 RAG 系统时按以下顺序逐步优化——✅ 先跑通基线BM25 Query-Based RAG✅ 加入稠密检索尝试混合检索✅ 优化分块策略和 prompt 模板✅ 引入 reranker 提升检索精度✅ 根据场景选择自适应/迭代式流水线✅ 必要时微调检索器或生成器六、Applications Map不仅是问答跨模态 RAGRAG 在不同模态和任务中的应用分类图RAG 绝不只是文本问答的专利。综述梳理了 RAG 在以下领域的应用•文本问答FiD、REALM、对话BlenderBot3、摘要、机器翻译kNN-MT、事件抽取、事实验证。•代码代码生成REDCODER、APICoder、RepoCoder、代码摘要Re2Com、Bashexplainer、代码补全CoCoMIC、程序修复RAP-Gen、InferFix、Text-to-SQLSynchromesh、CodeS。•知识图谱知识库问答TOG、GNN-RAG、知识增强的开放域问答UniK-QA、表格问答。•图像图像生成KNN-Diffusion、Re-imagen、图像字幕SMALLCAP、REVEAL、视觉问答PICa。•视频视频字幕R-ConvED、EgoInstructor、视频问答、视频生成Animate-A-Story。•音频音频生成Re-AudioLDM、Make-An-Audio、音频字幕RECAP。•3D文本到 3D 运动生成ReMoDiffuse、3D 资产生成RetDream。•科学生物医学文献生成BioReader、药物设计、数学定理证明LeanDojo。核心洞察跨模态 RAG 的核心流程是一致的——检索相关对象、增强生成过程。变化的是检索器的模态文本用 BM25/DPR图像用 CLIP音频用 CLAP代码用 CodeBERT和增强方式的选择文本多用 Query-Based图像多用 Latent Representation-Based。这意味着你在文本 RAG 上积累的经验可以迁移到其他模态——核心设计模式是通用的。七、3 个实战案例Case A文本校园/实验室知识库问答助手问题实验室积累了大量内部文档论文笔记、实验记录、设备手册但内容更新频繁直接用 LLM 回答常出现过时信息且无法给出引用来源。数据源Markdown/PDF 格式的实验室内部文档库按周更新。检索器选择混合检索BM25 Dense Retrieval。BM25 处理精确术语匹配如设备型号Dense Retrieval基于 BGE 等中文嵌入模型处理语义相似查询。用 HNSW 构建 ANN 索引。增强策略Query-Based RAG基础范式 输入增强查询改写 检索器增强rerank。Prompt 模板你是实验室知识助手。请根据以下检索到的参考资料回答用户问题。如果参考资料不足以回答请明确说明当前知识库未覆盖此问题。请在回答末尾标注引用来源。【参考资料】{retrieved_chunk_1}来源{source_1}{retrieved_chunk_2}来源{source_2}{retrieved_chunk_3}来源{source_3}【用户问题】{user_query}失败模式与缓解• 文档更新后索引未同步 → 建立定时索引刷新机制文档变更触发增量索引更新。• 检索到的片段与问题相关但信息不足 → 引入递归检索对初次结果中的关键实体进行二次检索。• 模型忽略检索内容仍凭参数记忆回答 → 在 prompt 中强调仅基于参考资料回答并用 SELF-RAG 式的自我批评机制判断是否需要检索。评估计划• 准确率人工标注 200 条问答对计算答案正确率。• 引用准确率检查生成的引用是否指向正确的源文档。• 检索召回率标注相关文档计算 Top-5 召回率。• 用户满意度实验室成员试用两周后收集反馈。Case B代码API/代码补全助手问题开发团队使用内部框架公开 LLM 对私有 API 一无所知经常生成不存在的函数名和错误的参数签名。数据源内部 API 文档、函数签名、代码示例、README 文件。检索器选择稠密检索为主用 CodeBERT 编码代码和文档辅以稀疏检索BM25 匹配函数名和关键词。参考综述中 ReACC 同时使用两种检索器的做法。增强策略Query-Based RAG 迭代式 RAG参考 RepoCoder 的迭代检索-生成方法。第一轮用当前代码上下文检索相关 API第二轮用初步生成的代码片段作为新查询检索更精确的示例。Prompt 模板你是代码补全助手。请根据以下 API 文档和代码示例补全用户的代码。只使用文档中存在的 API不要编造不存在的函数或参数。【相关 API 文档】{api_doc_chunk_1}【代码示例】{code_example_1}【当前代码上下文】{current_code_context}【待补全位置】{cursor_position}失败模式与缓解• 检索到的 API 版本过旧 → 数据源按版本号管理检索时过滤当前项目依赖的版本。• 函数名匹配正确但参数签名错误 → 检索粒度细化到函数签名级别而非整个文档页面。• 生成的代码语法正确但逻辑错误 → 引入 Synchromesh 式的约束解码限制输出词表结合 De-Hallucinator 的迭代验证机制。评估计划• 补全准确率在内部代码测试集上计算 exact match 和 BLEU。• API 幻觉率统计生成代码中不存在的 API 调用占比。• 编译通过率生成代码能否通过编译/类型检查。• 开发者效率A/B 测试对比有无 RAG 辅助时的编码速度。Case C多模态/AIGC图像生成的参考检索——风格与构图对齐问题设计师希望用文本生成特定风格的图像如莫奈风格的校园秋景但纯文本 prompt 难以精确控制风格和构图生成结果与预期偏差大。数据源风格标注的参考图像库含风格标签、构图描述、CLIP 嵌入。检索器选择基于 CLIP 的稠密检索。用户输入文本 prompt 后CLIP 文本编码器将其映射到共享嵌入空间检索视觉上最相关的参考图像。参考综述中 KNN-Diffusion 和 RDM 的做法——训练扩散模型时以 CLIP 嵌入和图像邻居为条件。增强策略Latent Representation-Based RAG。参考 RetrieveFuse 的方法将检索到的参考图像与噪声图像在 U-Net 的注意力模块前拼接通过自注意力实现充分交互避免 CLIP 嵌入的信息损失。同时结合 Re-imagen 的交错引导interleaved guidance平衡 prompt 对齐和检索条件。Prompt 模板文本侧请生成一张图像。【风格参考】检索到的参考图像 ID{ref_image_ids}风格描述{style_description}构图特征{composition_features}【用户描述】{user_text_prompt}生成要求保持与参考图像一致的色调和笔触风格构图参考检索结果内容以用户描述为准。失败模式与缓解• 检索到的参考图风格相近但内容干扰生成 → 用 RPG 的方式将画面分解为互补子区域分别控制风格和内容。• CLIP 嵌入丢失细粒度风格信息 → 参考 RetrieveFuse直接拼接原始图像特征而非仅用 CLIP 向量。• 参考图库覆盖不足导致检索结果不相关 → 设置相似度阈值低于阈值时退化为无检索的纯文本生成。评估计划• 风格一致性用 CLIP 计算生成图像与参考图像的风格相似度。• Prompt 对齐度用 CLIP 计算生成图像与文本 prompt 的匹配分数。• 人工评估邀请设计师对生成结果的风格还原度和美学质量打分。• FID 分数在特定风格子集上计算 FID衡量生成质量。八、评估、局限与未来方向评估基准综述梳理了多个 RAG 评估框架•RAGAS、ARES、TruLens从三个维度评估——忠实度Faithfulness生成内容是否基于检索结果、答案相关性Answer Relevance、上下文相关性Context Relevance。•Chen et al. 的基准测试四个能力——噪声鲁棒性、负拒绝检索不足时能否拒绝回答、信息整合、反事实鲁棒性。•CRUD-RAG将 RAG 任务分为创建、读取、更新、删除四类分别用文本续写、问答、幻觉纠正、多文档摘要来评估。•领域专用基准MIRAGE医学、CRAG跨领域多类别、Legalbench-RAG法律、Omnieval金融、Multihop-RAG多跳推理等。当前局限综述指出 RAG 面临五大局限检索噪声检索结果不可避免地包含噪声。有趣的是研究发现噪声检索结果有时反而能提升生成质量可能因为多样化的检索结果有助于 prompt 构建。但噪声的影响仍不明确。额外开销检索和交互过程增加延迟尤其在递归检索和迭代 RAG 中更为显著。检索源规模扩大也会增加存储和访问复杂度。检索器与生成器的鸿沟两者目标和隐空间可能不一致如何设计高效的交互方式仍是挑战。系统复杂度增加引入检索不可避免地增加超参数如 top-k 值、分块大小、融合权重需要更多专业知识来调优。上下文过长Query-Based RAG 会大幅增加上下文长度对上下文窗口有限的模型不友好也会拖慢生成速度。未来方向综述展望了七个方向•新型增强方法探索更先进的检索器-生成器交互模式。•灵活流水线递归、自适应、迭代式 RAG 的深入发展。•更广泛的应用为特定领域设计定制化 RAG 方案。•高效部署系统级优化以降低延迟PipeRAG、HedraRAG 等。•长尾与实时知识构建持续更新的知识源适配个性化信息。•与其他技术结合RAG 微调 强化学习 Chain-of-Thought Agent 的协同。•Agentic RAG将 AI Agent 引入 RAG实现推理-规划-行动-迭代的动态循环从被动响应走向主动解决问题。综述特别指出长上下文模型将取代 RAG的说法忽视了 RAG 在管理动态信息包括实时和长尾知识方面的灵活性。RAG 将受益于长上下文生成技术而非被其取代。结语RAG 的本质是一个简洁而强大的思想让生成模型在回答之前先查资料。它不需要重新训练模型就能注入新知识、减少幻觉、保护隐私、降低成本。从文本问答到代码补全从图像生成到科学研究RAG 正在成为 AIGC 系统的标准组件。如果你正在搭建自己的 AI 应用不妨从一个最简单的 BM25 LLM 的 Query-Based RAG 开始然后根据本文的分类框架逐步优化。记住好的 RAG 系统不是一次设计出来的而是迭代出来的。先让它跑起来再让它跑得好。学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
