前言RAG 全称 Retrieval-Augmented Generation翻译成中文是检索增强生成。这一年多在大模型应用领域RAG频繁地出现。为什么它这么热需要怎么理解看待RAG?为什么需要RAG虽然大模型有丰富的知识和理解生成能力但它的信息量并不够比如企业的私域信息它并不知道有些最新的信息出现在训练完成之后它也不掌握。如果要针对这些信息提问就需要把相关的信息也一并交给它让它结合内容回答。有点命题作文的意思。这里边有些场景比较简单比如针对论文可以把问题和论文一起送给大模型然后大模型根据论文的内容把问题的答案输出出来比较完整。但实际上私域的信息量非常大远超过一次能够提交给模型的内容这时候就需要一种技术把跟问题相关的内容准确的提取出来送给模型。可以说内容提取的质量直接决定大模型的回答质量。向量搜索向量搜索Vector Search也叫矢量搜索。它是用机器学习的方法来捕获非结构化数据包括文本和图像的含义和上下文并将其转换为数字化表示形式。向量搜索常用于语义搜索通过利用相似最近邻 (ANN) 算法来找到相似数据。与传统的关键字搜索相比向量搜索产生的结果相关度更高执行速度也更快。简单地说向量搜索有两个关键动作一个是向量化就是把一段文本或图形音频等通过某种编码格式变成一个矩阵这个编码动作叫Embedding(嵌入)。第二个是搜索一般用相似最近邻ANN算法来找到距离最近的结果。这个距离最近的结果就是含义最相近的结果。向量搜索也叫语义搜索。以上动作理解过程并记住名字就可以了。为什么距离最近含义就相似让数学家和算法专家去搞吧一般人整不明白这个知道怎么回事就行了。注Embedding非常复杂它不是一个简单的算法而是用专门的Embedding模型。下图就是一个比较简单的过程。基于向量搜索的RAG架构以下是一个最简单的向量搜索RAG架构示意图该架构关键有两个预处理文档。将文档的文本抽取出来最初的大模型只能处理文本所以只抽文本分段然后针对每一段作embedding存入向量数据库。查询时先把问题作Embedding,然后在向量数据库里把和问题最相关的内容一般取Top K取出来将这些内容和原始问题结合生成新的Prompt送给大模型由大模型生成答案。下面这个图更详细包括了搜索的结果和重新生成prompt的例子RAG方案解决了大模型数据不足的问题而处理数据是个核心需求所以备受重视。实际发展中针对文档的处理一直在进化。最初的分段chunks)简单粗暴就是把文本按长度截取有些带格式的文档比如word,pdf,分栏的时候直接物理抽取有时候内容就不伦不类当然基于这样的分段大模型的回答也会比较乱。后来针对各种文档抽取图形结合的能力不断进步效果也进步迅速。图搜索RAG向量搜索的方法一直在进步但问题也一直在。虽然向量搜索技术能找到相似度很好的但它无法进一步地理解私有数据中各个有效信息的关系从而构成自己的知识网络因此难以提供综合性的见解也无法全面理解多个私有文献甚至单个文档的全部内容因此往往无法回答抽象或总结性问题自然也无法给大模型提供足够好的信息。当前解决这些问题的办法是知识图谱。知识图谱是结构化的语义知识库用于描述物理世界中的概念及其相互关系。知识图谱通过对错综复杂的文档的数据进行有效的加工、处理、整合转化为简单、清晰的“实体,关系,实体”的三元组最后聚合大量知识从而实现知识的快速响应和推理。原理表达是这样的一个具体的例子知识图谱已经发展了一些年如何用于RAG?微软最近开源了一个新的基于知识图谱构建的 RAG 系统——GraphRAG。Graphrag 框架旨在利用大型语言模型从非结构化文本中提取结构化数据进而构建具有标签的知识图谱以支持数据集问题生成、摘要问答等多种应用场景。GraphRAG 的一大特色是利用图机器学习算法针对数据集进行语义聚合和层次化分析。(详见论文1它的主要过程是这样的相对向量搜索它在分段后加入了元素和关系的一系列处理形成答案这个答案已经不是原始内容而是经过图搜索以后总结内容。基于图搜索的RAG架构与向量搜索非常相似,只是搜索过程变了一下。目前看基于图搜索的RAG有点火但后续进展还需要观察。更复杂一点的RAG上边是一些RAG的简单的原理性的图比较简单直接。这种简单架构称之为Naive RAG(朴素RAG天真RAG?)。实际上RAG针对不同问题有不同的解决方案有一些是复杂一些的一般叫高级RAG(Advanced RAG)比如下边这个它把查询做了更复杂的路由处理以期取得更好的效果。下边这个把向量搜索和图搜索结合在一起下图中间的Advaned RAG进行了检索后处理。检索到相关上下文后将其与查询有效集成至关重要。后检索过程中的主要方法包括 rerank chunks 和 context compressing。重新对检索到的信息进行排名将最相关的内容重新定位到提示的边缘是一项关键策略。RAG 的三种范式之间的比较。左Naive RAG 主要由三个部分组成索引、检索和生成。中Advanced RAG 围绕 pre-retrieval 和 post-retrieval 提出了多种优化策略其过程类似于 Naive RAG仍然遵循链状结构。右模块化 RAG 继承并发展自以前的范式总体上表现出更大的灵活性。总结RAG解决了一个大模型无法实时获取外部数据的问题是一个非常大的进步。但RAG方案真的很好吗我觉得不够好。打个比方这个外部查询数据再送给大模型的方法有点类似于一个教授在写论文但它依靠的输入是一个小学生查的资料并且这个资料它还必须用。你说教授能写出好论文但当前也没有更好的方案来解决这个问题。所以在没有更好的方案之前它仍然是最好的。最后的最后感谢你们的阅读和喜欢作为一位在一线互联网行业奋斗多年的老兵我深知在这个瞬息万变的技术领域中持续学习和进步的重要性。为了帮助更多热爱技术、渴望成长的朋友我特别整理了一份涵盖大模型领域的宝贵资料集。这些资料不仅是我多年积累的心血结晶也是我在行业一线实战经验的总结。这些学习资料不仅深入浅出而且非常实用让大家系统而高效地掌握AI大模型的各个知识点。如果你愿意花时间沉下心来学习相信它们一定能为你提供实质性的帮助。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】大模型知识脑图为了成为更好的 AI大模型 开发者这里为大家提供了总的路线图。它的用处就在于你可以按照上面的知识点去找对应的学习资源保证自己学得较为全面。经典书籍阅读阅读AI大模型经典书籍可以帮助读者提高技术水平开拓视野掌握核心技术提高解决问题的能力同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说阅读经典书籍是非常有必要的。实战案例光学理论是没用的要学会跟着一起敲要动手实操才能将自己的所学运用到实际当中去这时候可以搞点实战案例来学习。面试资料我们学习AI大模型必然是想找到高薪的工作下面这些面试题都是总结当前最新、最热、最高频的面试题并且每道题都有详细的答案面试前刷完这套面试题资料小小offer不在话下640套AI大模型报告合集这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】