5个爆肝技巧！让你的RAG系统查询更精准，秒杀90%的文章！

**“**查询前处理是在用户提问之后RAG系统去做检索查询之前做的事情。为了系统能够给出最精确的回答需要在查询的过程做些优化。”前面文章我们介绍了向量数据库Text2SQL查询MySQL的知识内容。了解了在RAG系统中会存在多个不同的数据库。那么问题来了用户提出问题什么问题会去检索向量数据库的内容什么问题会Text2SQL查询MySQL数据库的信息呢又或者用户提出的问题是否两个数据库都要检索查询呢。这就引出了本文所要分享的内容查询前处理。查询前处理是在用户提问之后RAG系统去做检索查询之前做的事情。为了系统能够给出最精确的回答需要在查询的过程做些优化。其实就是调用LLM模型将用户提出的问题处理一遍再进行下一步动作。以下是查询前处理的一些思路。01—查询改写在用户提出问题后调用LLM大模型看下问题描述是否清晰。如果问题描述不清晰让LLM大模型对问题进行改写改写成更适合检索表结构、字段、示例的标准问题。比如提问今年一二月大概赚了多少钱各项收入和纯利润分别是多少呀改写后今年1月至2月的净利润和各项收入明细是多少流程图代码样例from openai import OpenAI import os from dotenv import load_dotenv load_dotenv() # 配置你的大模型API API_KEY os.getenv(R_PROXY_AI_API_KEY) BASE_URL os.getenv(R_PROXY_AI_BASE_URL) MODEL os.getenv(MODEL) # DeepSeek、openAI都可以 client OpenAI( base_urlBASE_URL, api_keyAPI_KEY ) def finance_rewrite_query(question: str) - str: 财务业务专用用户口语问题清洗重写 prompt 你是财务数据分析助手对用户的财务问题进行重写优化。 规则 1. 去掉无关闲聊、个人感慨、语气助词、废话 2. 替换为标准财务术语净利润、主营业务收入、应收账款、应付账款、管理费用、资产负债等 3. 保留原始查询核心意图时间、维度、统计诉求 4. 把模糊口语改成精准可查询的问句 只返回重写后的问题不要任何解释、不要多余文字。 原始问题{question} response client.chat.completions.create( model MODEL, messages[{role: user, content: prompt.format(questionquestion)}], temperature0 ) return response.choices[0].message.content.strip() # 测试财务口语问题 if __name__ __main__: raw_q 今年一二月大概赚了多少钱各项收入和纯利润分别是多少呀 print(原始问题, raw_q) print(重写后, finance_rewrite_query(raw_q))02—查询拆分在用户提出问题后调用LLM大模型将问题拆分成几个小问题系统对每个小问题进行检索查询。流程图代码样例from openai import OpenAI import os import logging from dotenv import load_dotenv from langchain_chroma import Chroma from langchain_community.document_loaders import TextLoader from langchain_huggingface import HuggingFaceEmbeddings from langchain_text_splitters import RecursiveCharacterTextSplitter from langchain.retrievers.multi_query import MultiQueryRetriever # 加载环境 load_dotenv() logging.basicConfig() logging.getLogger(langchain.retrievers.multi_query).setLevel(logging.INFO) # 你的 LLM 配置 API_KEY os.getenv(R_PROXY_AI_API_KEY) BASE_URL os.getenv(R_PROXY_AI_BASE_URL) MODEL os.getenv(MODEL) llm OpenAI( base_urlBASE_URL, api_keyAPI_KEY, default_headers{ User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36 } ) # 1. 加载财务知识库文档 # 你可以换成你的财务制度/报销规则文档 loader TextLoader(你的财务知识库.txt, encodingutf-8) data loader.load() text_splitter RecursiveCharacterTextSplitter(chunk_size500, chunk_overlap100) splits text_splitter.split_documents(data) # 向量库 embed_model HuggingFaceEmbeddings(model_nameBAAI/bge-small-zh) vectorstore Chroma.from_documents(documentssplits, embeddingembed_model) # 2. 多问题检索器自动拆分问题 from langchain_openai import ChatOpenAI # 包装成 LangChain LLM必须这一步才能用 MultiQueryRetriever langchain_llm ChatOpenAI( base_urlBASE_URL, api_keyAPI_KEY, modelMODEL, temperature0 ) # 核心自动把用户问题拆成多个子问题 自动检索 multi_query_retriever MultiQueryRetriever.from_llm( retrievervectorstore.as_retriever(search_kwargs{k: 3}), llmlangchain_llm ) # 3. 测试财务复杂问题 if __name__ __main__: # 你的复杂问题包含多个诉求 raw_query 今年一二月大概赚了多少钱各项收入和纯利润分别是多少呀 print(原始问题, raw_query) print( * 80) # 自动拆分 自动检索 docs multi_query_retriever.invoke(raw_query) print(最终检索到的文档) for idx, doc in enumerate(docs): print(f\n【文档 {idx1}】) print(doc.page_content)03—生成HyDE假设性文档在用户提出问题后调用LLM大模型把问题回答一遍生成假设性文档HyDE (Hypothetical Document Embeddings)再把这篇HyDE文档做向量去Milvus做相似度检索。流程图代码样例# 财务场景 HyDE 实现 from langchain.prompts import ChatPromptTemplate from langchain_core.output_parsers import StrOutputParser from langchain_openai import ChatOpenAI from langchain_huggingface import HuggingFaceEmbeddings from langchain_chroma import Chroma from dotenv import load_dotenv import os # 加载环境变量 load_dotenv() API_KEY os.getenv(R_PROXY_AI_API_KEY) BASE_URL os.getenv(R_PROXY_AI_BASE_URL) MODEL os.getenv(MODEL) # 1. 初始化 LLM llm ChatOpenAI( base_urlBASE_URL, api_keyAPI_KEY, modelMODEL, temperature0 ) # 2. 财务知识库向量库你已有的 # 这里你可以继续用你的财务制度/报销文档 embed_model HuggingFaceEmbeddings(model_nameBAAI/bge-small-zh) vectorstore Chroma( embedding_functionembed_model, persist_directory./chroma_db # 你已有的向量库 ) retriever vectorstore.as_retriever(search_kwargs{k: 3}) # 3. 【财务专用】HyDE 假设文档生成模板 hyde_template 你是一位专业的财务分析师请根据以下财务问题撰写一段专业、详细、结构完整的假设性财务分析文档。 不需要真实数据只需模拟正式的财务报告内容用于文档检索。 问题{question} 财务分析文档 hyde_prompt ChatPromptTemplate.from_template(hyde_template) # 构建 HyDE 文档生成链 hyde_chain hyde_prompt | llm | StrOutputParser() # 4. 测试你的财务问题 if __name__ __main__: # 你的真实业务问题 question 今年一二月大概赚了多少钱各项收入和纯利润分别是多少呀 print(原始问题) print(question) print( * 80) # --------------------- ① 生成 HyDE 假设文档 --------------------- hyde_doc hyde_chain.invoke({question: question}) print(生成的 HyDE 假设性财务文档) print(hyde_doc) print( * 80) # --------------------- ② 用 HyDE 文档去检索真实知识库 --------------------- retrieved_docs retriever.invoke(hyde_doc) print(根据 HyDE 文档检索到的财务知识) for i, doc in enumerate(retrieved_docs, 1): print(f\n检索文档 {i}:) print(doc.page_content) print( * 80) # --------------------- ③ 最终生成答案 --------------------- answer_prompt ChatPromptTemplate.from_template( 你是专业财务助手请根据检索到的财务资料准确回答用户问题。 资料 {context} 用户问题{question} 请给出专业、简洁、清晰的回答 ) final_chain answer_prompt | llm | StrOutputParser() final_answer final_chain.invoke({ context: retrieved_docs, question: question }) print(最终财务回答) print(final_answer)04—查询路由按问题领域分到不同的数据库比如统计类问题查询MySQL数据语义相关问题检索Milvus向量数据库数据。调用LLM模型分析问题走哪个数据库进而进行相对应数据库的查询。流程图代码样例from langchain_core.prompts import ChatPromptTemplate from langchain_openai import ChatOpenAI from dotenv import load_dotenv import os import json # 加载环境 load_dotenv() API_KEY os.getenv(R_PROXY_AI_API_KEY) BASE_URL os.getenv(R_PROXY_AI_BASE_URL) MODEL os.getenv(MODEL) # LLM llm ChatOpenAI( base_urlBASE_URL, api_keyAPI_KEY, modelMODEL, temperature0 ) # 路由提示词 system_prompt 你是专业财务数据路由专家只按规则判断输出纯JSON不要其他内容。 规则 1统计、数值、收入、利润、金额、报表 → mysql 2制度、报销、流程、规则、政策、定义 → milvus 输出格式 {{datasource: mysql}} 或 {{datasource: milvus}} prompt ChatPromptTemplate.from_messages([ (system, system_prompt), (human, {question}) ]) # 构建路由链 route_chain prompt | llm # 执行路由 def finance_route_question(question: str) - str: response route_chain.invoke({question: question}) result json.loads(response.content.strip()) return result[datasource] # 测试 if __name__ __main__: q1 今年一二月收入和净利润是多少 q2 财务报销流程是什么 print(问题1, q1) print(路由结果, finance_route_question(q1)) print(- * 50) print(问题2, q2) print(路由结果, finance_route_question(q2))05—总结查询前处理的目的是为了让我们RAG系统能够给出最精确的回答最后对于正在迷茫择业、想转行提升或是刚入门的程序员、编程小白来说有一个问题几乎人人都在问未来10年什么领域的职业发展潜力最大答案只有一个人工智能尤其是大模型方向当下人工智能行业正处于爆发式增长期其中大模型相关岗位更是供不应求薪资待遇直接拉满——字节跳动作为AI领域的头部玩家给硕士毕业的优质AI人才含大模型相关方向开出的月基础工资高达5万—6万元即便是非“人才计划”的普通应聘者月基础工资也能稳定在4万元左右。再看阿里、腾讯两大互联网大厂非“人才计划”的AI相关岗位应聘者月基础工资也约有3万元远超其他行业同资历岗位的薪资水平对于程序员、小白来说无疑是绝佳的转型和提升赛道。如果你还不知道从何开始我自己整理一套全网最全最细的大模型零基础教程我也是一路自学走过来的很清楚小白前期学习的痛楚你要是没有方向还没有好的资源根本学不到东西下面是我整理的大模型学习资源希望能帮到你。扫码免费领取全部内容最后1、大模型学习路线2、从0到进阶大模型学习视频教程从入门到进阶这里都有跟着老师学习事半功倍。3、 入门必看大模型学习书籍文档.pdf书面上的技术书籍确实太多了这些是我精选出来的还有很多不在图里4、AI大模型最新行业报告2026最新行业报告针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。5、面试试题/经验【大厂 AI 岗位面经分享107 道】【AI 大模型面试真题102 道】【LLMs 面试真题97 道】6、大模型项目实战配套源码适用人群四阶段学习规划共90天可落地执行第一阶段10天初阶应用该阶段让大家对大模型 AI有一个最前沿的认识对大模型 AI 的理解超过 95% 的人可以在相关讨论时发表高级、不跟风、又接地气的见解别人只会和 AI 聊天而你能调教 AI并能用代码将大模型和业务衔接。大模型 AI 能干什么大模型是怎样获得「智能」的用好 AI 的核心心法大模型应用业务架构大模型应用技术架构代码示例向 GPT-3.5 灌入新知识提示工程的意义和核心思想Prompt 典型构成指令调优方法论思维链和思维树Prompt 攻击和防范…第二阶段30天高阶应用该阶段我们正式进入大模型 AI 进阶实战学习学会构造私有知识库扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架抓住最新的技术进展适合 Python 和 JavaScript 程序员。为什么要做 RAG搭建一个简单的 ChatPDF检索的基础概念什么是向量表示Embeddings向量数据库与向量检索基于向量检索的 RAG搭建 RAG 系统的扩展知识混合检索与 RAG-Fusion 简介向量模型本地部署…第三阶段30天模型训练恭喜你如果学到这里你基本可以找到一份大模型 AI相关的工作自己也能训练 GPT 了通过微调训练自己的垂直大模型能独立训练开源多模态大模型掌握更多技术方案。到此为止大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗为什么要做 RAG什么是模型什么是模型训练求解器 损失函数简介小实验2手写一个简单的神经网络并训练它什么是训练/预训练/微调/轻量化微调Transformer结构简介轻量化微调实验数据集的构建…第四阶段20天商业闭环对全球大模型从性能、吞吐量、成本等方面有一定的认知可以在云端和本地等多种环境下部署大模型找到适合自己的项目/创业方向做一名被 AI 武装的产品经理。硬件选型带你了解全球大模型使用国产大模型服务搭建 OpenAI 代理热身基于阿里云 PAI 部署 Stable Diffusion在本地计算机运行大模型大模型的私有化部署基于 vLLM 部署大模型案例如何优雅地在阿里云私有部署开源大模型部署一套开源 LLM 项目内容安全互联网信息服务算法备案…扫码免费领取全部内容3、这些资料真的有用吗这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理现任上海殷泊信息科技CEO其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证服务航天科工、国家电网等1000企业以第一作者在IEEE Transactions发表论文50篇获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的技术人员这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】