AI Agent中的RAG

RAG的出现解决了什么问题RAG全称叫Retrieval Augmented Generation中文检索增强生成它的出现解决了模型训练消息滞后的问题和幻觉的一本正经的胡说八道问题RAG的总体流程RAG的总体流程′两个阶段第一个阶段是准备阶段第二阶段是问答阶段准备阶段数据分片向量化存入向量数据库问答阶段召回数据分片粗筛重排序精确筛选给模型生产回答RAG准备阶段首先需要准备要向量化的文档在进行切片在Embedding模型的作用下变成向量这个向量超3维的向量大致可达万维将向量存入向量数据库向量数据库中存储原始文本和向量RAG问答阶段当用户提问问题先会经过Embedding模型进行向量化在根据想量化的问题在向量数据库中根据相似度提取片段提出片段经过重排序精细筛选最后连同问题一起给到大模型RAG向量相似度算法目前的向量相似度算法大概有三种余弦相似度仅对比角度是否接近不计算长度欧式距离两个点在空间里的直线距离越近越像点积方向相似度 长度幅度强弱 一起算