使用Qwen3-0.6B-FP8构建智能问答知识库本地文档检索与生成1. 引言你有没有遇到过这种情况公司内部的技术文档、产品手册、会议纪要散落在各个文件夹、网盘甚至同事的电脑里。想找一个具体的操作步骤或者某个产品的技术参数得在十几个PDF里来回翻问了一圈人最后可能还是没找到。这种信息孤岛和低效查询的问题在很多团队里都存在。今天要聊的就是一个能帮你把公司文档“盘活”的方案。简单来说就是给你的文档库装上一个“智能大脑”。这个大脑能理解你所有文档的内容当你用自然语言提问时它不仅能快速找到最相关的文档片段还能结合上下文生成一个精准、完整的答案。比如你问“我们产品的退款政策是什么”它不会只给你一个包含“退款”关键词的PDF而是会从员工手册、客服流程文档里提取相关信息然后组织成一段清晰的回答。这个方案的核心就是RAG检索增强生成。它结合了传统的文档检索和现在的大语言模型生成能力。我们这次用的模型是Qwen3-0.6B-FP8一个在精度和效率上做了很好平衡的轻量级模型。整个方案会部署在星图GPU平台上从文档处理、向量存储到问答生成走完一个完整的流程。如果你正被海量文档搞得头疼或者想给团队搭建一个内部知识助手那这篇文章应该能给你一些直接的参考。2. 为什么选择RAG和Qwen3-0.6B-FP8在动手之前我们先花点时间聊聊为什么是这套组合拳。理解背后的思路比单纯跟着步骤做更有价值。2.1 RAG给大模型装上“记忆库”大语言模型很聪明能聊天、能写作但它有个天生的短板它的知识来源于训练数据是“静态”的。它不知道你们公司上周刚更新的产品定价也不清楚内部服务器的最新配置文档。直接问它这些它要么瞎编要么说不知道。RAG的思路很巧妙我们不要求模型记住所有知识而是给它一个强大的“外挂记忆库”。当用户提问时系统先从这个记忆库也就是你的文档向量数据库里快速检索出与问题最相关的几段内容。然后把这些相关内容作为“上下文”或“参考资料”连同用户的问题一起喂给大模型。大模型的任务就变成了“基于我看到的这些参考资料来回答用户的问题。”这样做有几个明显的好处答案精准可靠答案来源于你的真实文档避免了模型“胡言乱语”。知识实时更新更新知识库只需要更新文档和向量库不需要重新训练昂贵的模型。可追溯生成的答案可以关联到源文档方便核查和追溯信息来源。成本可控不需要为了融入新知识而去微调一个庞大的模型。2.2 Qwen3-0.6B-FP8轻量高效的推理引擎模型选型上我们用了Qwen3-0.6B-FP8。这里有几个关键词0.6B、FP8。0.6B6亿参数这是一个轻量级模型。对于企业内部知识问答这种任务我们往往不需要模型去创作小说或者进行复杂的逻辑推理。它的核心任务是“理解问题”和“根据给定文本组织答案”。0.6B的模型在完成这类任务上已经足够同时它在内存占用和推理速度上优势巨大意味着部署成本更低响应更快。FP88位浮点数这是模型量化的精度。简单理解就是用更少的数据位数来存储模型参数。FP8相比常用的FP16或FP32能大幅减少模型体积和显存占用进一步提升推理速度而对生成质量的影响在可接受范围内。这对于追求效率的落地场景非常关键。所以Qwen3-0.6B-FP8就是一个为高效部署而优化的、能力够用的“答题能手”。它负责RAG流程中最后也是最关键的一步生成答案。2.3 整体架构预览整个系统跑起来大概是这么个流程文档处理把你的PDF、Word、TXT文档读进来切成一段段有意义的文本块。向量化用一个嵌入模型Embedding Model把文本块转换成数学向量一堆数字并存入向量数据库。这个向量代表了文本的“语义”。问答检索用户提问时先把问题也转换成向量然后去向量数据库里找和它“语义”最接近的几个文本块。答案生成把找到的相关文本块和用户问题一起交给Qwen3-0.6B-FP8让它生成最终答案。接下来我们就一步步在星图GPU平台上把它实现出来。3. 环境准备与核心组件搭建星图GPU平台提供了开箱即用的计算环境我们主要需要准备的是项目代码和依赖。为了清晰我们把整个项目分成几个核心部分来准备。3.1 创建项目与安装依赖首先我们在平台上创建一个新的项目目录并准备好依赖文件。这里我们使用Python作为主要开发语言。创建一个名为requirements.txt的文件里面写上需要的库langchain0.1.0 langchain-community0.0.10 chromadb0.4.22 sentence-transformers2.2.2 pypdf3.17.4 python-docx1.1.0 transformers4.37.0 torch2.0.0 accelerate0.24.0这些库各自负责langchain帮我们组织RAG的工作流连接各个组件。chromadb一个轻量好用的向量数据库用来存我们的文档向量。sentence-transformers里面包含我们需要的文本嵌入模型用来把文本变向量。pypdf和python-docx用来读取PDF和Word文档。transformers和torch用来加载和运行我们的Qwen3生成模型。在终端里用一行命令安装它们pip install -r requirements.txt3.2 准备文档加载与切分工具文档处理是第一步也是最容易出问题的一步。处理得好后续检索才准。我们在项目里创建一个document_processor.py的文件。# document_processor.py from langchain_community.document_loaders import PyPDFLoader, Docx2txtLoader, TextLoader from langchain.text_splitter import RecursiveCharacterTextSplitter import os class DocumentProcessor: def __init__(self, chunk_size500, chunk_overlap50): 初始化处理器。 chunk_size: 每个文本块的最大字符数。 chunk_overlap: 块与块之间重叠的字符数防止把完整句子切碎。 self.text_splitter RecursiveCharacterTextSplitter( chunk_sizechunk_size, chunk_overlapchunk_overlap, separators[\n\n, \n, 。, , , , , , ] ) def load_documents(self, directory_path): 加载指定目录下的所有支持格式的文档 documents [] for filename in os.listdir(directory_path): file_path os.path.join(directory_path, filename) if filename.endswith(.pdf): loader PyPDFLoader(file_path) elif filename.endswith(.docx): loader Docx2txtLoader(file_path) elif filename.endswith(.txt): loader TextLoader(file_path) else: continue # 跳过不支持的文件 loaded_docs loader.load() documents.extend(loaded_docs) print(f已加载: {filename} ({len(loaded_docs)}页/段)) return documents def split_documents(self, documents): 将加载的文档切分成小块 split_docs self.text_splitter.split_documents(documents) print(f文档切分完成共得到 {len(split_docs)} 个文本块。) return split_docs # 使用示例 if __name__ __main__: processor DocumentProcessor() # 假设你的文档放在 ./company_docs 文件夹里 raw_docs processor.load_documents(./company_docs) chunks processor.split_documents(raw_docs) for i, chunk in enumerate(chunks[:2]): # 打印前两个块看看效果 print(f\n--- 块 {i1} ---\n{chunk.page_content[:200]}...)这个类帮你把散落的文档读进来并按照语义合理地切成小块方便后续转换成向量。3.3 搭建向量数据库文本块准备好后我们需要把它们转换成向量存起来。创建一个vector_store.py文件。# vector_store.py from langchain_community.embeddings import HuggingFaceEmbeddings from langchain_community.vectorstores import Chroma import os class VectorStoreManager: def __init__(self, persist_directory./chroma_db): 初始化向量存储管理器。 persist_directory: 向量数据库持久化保存的目录。 # 使用一个轻量且效果不错的开源嵌入模型 self.embedding_model HuggingFaceEmbeddings( model_nameBAAI/bge-small-zh-v1.5, # 中文小模型效果和速度平衡 model_kwargs{device: cuda}, # 使用GPU加速 encode_kwargs{normalize_embeddings: True} # 归一化提升检索效果 ) self.persist_directory persist_directory self.vector_store None def create_from_documents(self, documents): 从文档列表创建向量存储 print(正在创建向量数据库这可能需要一些时间...) self.vector_store Chroma.from_documents( documentsdocuments, embeddingself.embedding_model, persist_directoryself.persist_directory ) print(f向量数据库已创建并保存至 {self.persist_directory}) return self.vector_store def load_existing(self): 加载已存在的向量数据库 if os.path.exists(self.persist_directory): self.vector_store Chroma( persist_directoryself.persist_directory, embedding_functionself.embedding_model ) print(f已加载现有向量数据库 from {self.persist_directory}) return self.vector_store else: print(未找到已有的向量数据库请先创建。) return None def similarity_search(self, query, k4): 执行相似度搜索返回最相关的k个文档块 if self.vector_store is None: self.load_existing() if self.vector_store: results self.vector_store.similarity_search(query, kk) return results return []这里我们选用了BAAI/bge-small-zh-v1.5这个中文嵌入模型它在中文语义理解和速度上表现很好。向量数据库用的是Chroma它简单易用足够应付中小规模的知识库。4. 集成Qwen3-0.6B-FP8与构建问答链核心组件都齐了现在要把它们串起来让流程跑通。重点是加载生成模型并设计一个提示模板让模型能好好利用我们检索到的上下文。4.1 加载生成模型在星图GPU平台上我们可以直接利用其预置的环境来加载模型。创建一个model_loader.py文件。# model_loader.py from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline import torch class QwenGenerator: def __init__(self, model_nameQwen/Qwen3-0.6B-Instruct-FP8): 初始化Qwen3生成器。 model_name: 模型在Hugging Face上的名称指定FP8量化版本。 print(f正在加载模型: {model_name} ...) self.tokenizer AutoTokenizer.from_pretrained(model_name, trust_remote_codeTrue) # 注意FP8模型加载可能需要特定的配置或库支持请根据平台实际情况调整。 # 这里假设平台已优化可直接加载。实际部署时需确认。 self.model AutoModelForCausalLM.from_pretrained( model_name, torch_dtypetorch.float16, # 使用半精度以节省显存 device_mapauto, # 自动分配模型层到可用设备GPU trust_remote_codeTrue ) # 创建文本生成管道 self.pipe pipeline( text-generation, modelself.model, tokenizerself.tokenizer, device_mapauto ) print(模型加载完成。) def generate(self, prompt, max_new_tokens512, temperature0.7): 根据给定的提示生成文本 messages [{role: user, content: prompt}] text self.tokenizer.apply_chat_template( messages, tokenizeFalse, add_generation_promptTrue ) outputs self.pipe( text, max_new_tokensmax_new_tokens, temperaturetemperature, do_sampleTrue, ) result outputs[0][generated_text] # 移除掉原始的提示部分只返回模型生成的内容 return result[len(text):].strip() # 使用示例 if __name__ __main__: generator QwenGenerator() test_prompt 请介绍一下你自己。 answer generator.generate(test_prompt, max_new_tokens100) print(f测试生成:\n问题: {test_prompt}\n回答: {answer})重要提示在实际的星图GPU平台环境中模型加载方式可能因平台优化而更简单例如提供预加载的模型路径。上述代码展示了标准加载流程你需要根据平台提供的具体文档或示例进行调整。4.2 设计提示模板与组装问答链这是让RAG发挥效果的关键一步。我们需要告诉模型“这是问题这是从资料里找到的相关内容请你根据这些资料来回答问题。”创建一个qa_chain.py文件。# qa_chain.py from langchain.prompts import PromptTemplate from langchain.chains import RetrievalQA from langchain_community.llms import HuggingFacePipeline from model_loader import QwenGenerator from vector_store import VectorStoreManager class QASystem: def __init__(self, vector_store_manager, generator): self.vector_store vector_store_manager.vector_store self.generator generator # 将Hugging Face管道包装成LangChain的LLM对象 hf_pipeline generator.pipe self.llm HuggingFacePipeline(pipelinehf_pipeline) # 定义提示词模板 self.prompt_template 请根据以下提供的上下文信息来回答问题。如果上下文信息不足以回答问题请直接说“根据现有资料无法回答该问题”不要编造信息。 上下文信息 {context} 问题{question} 请根据上下文信息给出准确、简洁的回答 self.PROMPT PromptTemplate( templateself.prompt_template, input_variables[context, question] ) # 构建检索问答链 self.qa_chain RetrievalQA.from_chain_type( llmself.llm, chain_typestuff, # 简单地将所有检索到的上下文塞进提示词 retrieverself.vector_store.as_retriever(search_kwargs{k: 4}), # 检索4个最相关的块 chain_type_kwargs{prompt: self.PROMPT}, return_source_documentsTrue # 返回源文档便于追溯 ) def ask(self, question): 向知识库提问 print(f\n[用户问题]: {question}) result self.qa_chain({query: question}) answer result[result] source_docs result[source_documents] print(f[系统回答]: {answer}) print(\n[参考来源]:) for i, doc in enumerate(source_docs): print(f 片段 {i1}: {doc.page_content[:150]}... (来源: {doc.metadata.get(source, 未知)})) return answer, source_docs这个模板清晰地界定了模型的角色和任务边界强调了基于上下文回答避免了幻觉。RetrievalQA链帮我们自动化了“检索-组装提示-生成”的整个过程。5. 从零搭建与使用一个完整示例现在我们把所有模块组合起来看一个从文档准备到智能问答的完整流程。假设我们有一个company_docs文件夹里面放了几份公司的产品介绍和制度文档。创建一个main.py作为入口文件。# main.py from document_processor import DocumentProcessor from vector_store import VectorStoreManager from model_loader import QwenGenerator from qa_chain import QASystem import sys def build_knowledge_base(docs_path./company_docs): 步骤1构建知识库只需运行一次 print( 开始构建知识库 ) # 1. 处理文档 processor DocumentProcessor(chunk_size400, chunk_overlap80) raw_docs processor.load_documents(docs_path) if not raw_docs: print(未加载到任何文档请检查路径。) return None text_chunks processor.split_documents(raw_docs) # 2. 创建向量存储 vs_manager VectorStoreManager(persist_directory./my_company_kb) vector_store vs_manager.create_from_documents(text_chunks) print( 知识库构建完成 \n) return vs_manager def init_qa_system(vector_store_manager): 步骤2初始化问答系统 print( 初始化问答系统 ) # 加载生成模型 generator QwenGenerator() # 确保平台环境支持该模型加载 # 创建问答系统 qa_sys QASystem(vector_store_manager, generator) print( 问答系统就绪 \n) return qa_sys def interactive_qa(qa_system): 步骤3交互式问答 print(欢迎使用公司智能知识库问答系统) print(输入 exit 或 quit 退出程序。) while True: try: user_input input(\n请输入您的问题: ).strip() if user_input.lower() in [exit, quit]: print(再见) break if user_input: qa_system.ask(user_input) except KeyboardInterrupt: print(\n程序被中断。) break except Exception as e: print(f出错了: {e}) if __name__ __main__: # 检查是否要重建知识库 if len(sys.argv) 1 and sys.argv[1] --rebuild: vs_mgr build_knowledge_base() if vs_mgr is None: sys.exit(1) else: # 尝试加载现有的 vs_mgr VectorStoreManager(persist_directory./my_company_kb) vs_mgr.load_existing() if vs_mgr.vector_store is None: print(未找到已有知识库请使用 python main.py --rebuild 先构建知识库。) sys.exit(1) # 初始化并运行问答系统 qa_system init_qa_system(vs_mgr) interactive_qa(qa_system)运行流程首次运行构建知识库python main.py --rebuild后续运行直接使用python main.py程序会引导你进入一个交互界面你可以像聊天一样向它提问关于你文档内容的问题。6. 实际效果与优化思考跑通整个流程后你可以尝试问一些基于文档的问题。比如如果你的文档里有一份《员工考勤制度》你可以问“公司规定的上班时间是几点”系统会从制度文档里找到相关段落并生成类似“根据公司《员工考勤制度》第一章规定工作日上班时间为上午9点。”这样的答案。用下来这套方案的优点很明显答案有据可查更新知识方便响应速度也快。特别是对于规章制度、产品手册、技术文档这类结构化和事实性强的知识效果很不错。当然在实际用的时候你可能还会想到一些可以优化的地方文档切分策略对于代码、表格等特殊内容可能需要更精细的切分方式而不是单纯按字符数来。检索优化可以尝试混合检索同时结合关键词和语义向量或者对检索结果进行重排序让最相关的片段排在最前面。提示工程根据你具体的业务场景调整提示词模板让模型生成的答案格式更符合你的要求比如要求分点回答、包含引用来源等。前端界面可以做一个简单的Web界面让非技术同事也能方便地使用。总的来说用Qwen3-0.6B-FP8和RAG搭建本地知识库是一个性价比很高的起点。它不需要庞大的算力支撑就能让沉睡的文档数据活起来实实在在地提升信息查找的效率。你可以先从小范围、核心的文档开始尝试比如一个项目组的技术Wiki或者一个部门的产品资料库看到效果后再逐步推广。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
使用Qwen3-0.6B-FP8构建智能问答知识库：本地文档检索与生成
发布时间：2026/5/20 5:34:07
使用Qwen3-0.6B-FP8构建智能问答知识库本地文档检索与生成1. 引言你有没有遇到过这种情况公司内部的技术文档、产品手册、会议纪要散落在各个文件夹、网盘甚至同事的电脑里。想找一个具体的操作步骤或者某个产品的技术参数得在十几个PDF里来回翻问了一圈人最后可能还是没找到。这种信息孤岛和低效查询的问题在很多团队里都存在。今天要聊的就是一个能帮你把公司文档“盘活”的方案。简单来说就是给你的文档库装上一个“智能大脑”。这个大脑能理解你所有文档的内容当你用自然语言提问时它不仅能快速找到最相关的文档片段还能结合上下文生成一个精准、完整的答案。比如你问“我们产品的退款政策是什么”它不会只给你一个包含“退款”关键词的PDF而是会从员工手册、客服流程文档里提取相关信息然后组织成一段清晰的回答。这个方案的核心就是RAG检索增强生成。它结合了传统的文档检索和现在的大语言模型生成能力。我们这次用的模型是Qwen3-0.6B-FP8一个在精度和效率上做了很好平衡的轻量级模型。整个方案会部署在星图GPU平台上从文档处理、向量存储到问答生成走完一个完整的流程。如果你正被海量文档搞得头疼或者想给团队搭建一个内部知识助手那这篇文章应该能给你一些直接的参考。2. 为什么选择RAG和Qwen3-0.6B-FP8在动手之前我们先花点时间聊聊为什么是这套组合拳。理解背后的思路比单纯跟着步骤做更有价值。2.1 RAG给大模型装上“记忆库”大语言模型很聪明能聊天、能写作但它有个天生的短板它的知识来源于训练数据是“静态”的。它不知道你们公司上周刚更新的产品定价也不清楚内部服务器的最新配置文档。直接问它这些它要么瞎编要么说不知道。RAG的思路很巧妙我们不要求模型记住所有知识而是给它一个强大的“外挂记忆库”。当用户提问时系统先从这个记忆库也就是你的文档向量数据库里快速检索出与问题最相关的几段内容。然后把这些相关内容作为“上下文”或“参考资料”连同用户的问题一起喂给大模型。大模型的任务就变成了“基于我看到的这些参考资料来回答用户的问题。”这样做有几个明显的好处答案精准可靠答案来源于你的真实文档避免了模型“胡言乱语”。知识实时更新更新知识库只需要更新文档和向量库不需要重新训练昂贵的模型。可追溯生成的答案可以关联到源文档方便核查和追溯信息来源。成本可控不需要为了融入新知识而去微调一个庞大的模型。2.2 Qwen3-0.6B-FP8轻量高效的推理引擎模型选型上我们用了Qwen3-0.6B-FP8。这里有几个关键词0.6B、FP8。0.6B6亿参数这是一个轻量级模型。对于企业内部知识问答这种任务我们往往不需要模型去创作小说或者进行复杂的逻辑推理。它的核心任务是“理解问题”和“根据给定文本组织答案”。0.6B的模型在完成这类任务上已经足够同时它在内存占用和推理速度上优势巨大意味着部署成本更低响应更快。FP88位浮点数这是模型量化的精度。简单理解就是用更少的数据位数来存储模型参数。FP8相比常用的FP16或FP32能大幅减少模型体积和显存占用进一步提升推理速度而对生成质量的影响在可接受范围内。这对于追求效率的落地场景非常关键。所以Qwen3-0.6B-FP8就是一个为高效部署而优化的、能力够用的“答题能手”。它负责RAG流程中最后也是最关键的一步生成答案。2.3 整体架构预览整个系统跑起来大概是这么个流程文档处理把你的PDF、Word、TXT文档读进来切成一段段有意义的文本块。向量化用一个嵌入模型Embedding Model把文本块转换成数学向量一堆数字并存入向量数据库。这个向量代表了文本的“语义”。问答检索用户提问时先把问题也转换成向量然后去向量数据库里找和它“语义”最接近的几个文本块。答案生成把找到的相关文本块和用户问题一起交给Qwen3-0.6B-FP8让它生成最终答案。接下来我们就一步步在星图GPU平台上把它实现出来。3. 环境准备与核心组件搭建星图GPU平台提供了开箱即用的计算环境我们主要需要准备的是项目代码和依赖。为了清晰我们把整个项目分成几个核心部分来准备。3.1 创建项目与安装依赖首先我们在平台上创建一个新的项目目录并准备好依赖文件。这里我们使用Python作为主要开发语言。创建一个名为requirements.txt的文件里面写上需要的库langchain0.1.0 langchain-community0.0.10 chromadb0.4.22 sentence-transformers2.2.2 pypdf3.17.4 python-docx1.1.0 transformers4.37.0 torch2.0.0 accelerate0.24.0这些库各自负责langchain帮我们组织RAG的工作流连接各个组件。chromadb一个轻量好用的向量数据库用来存我们的文档向量。sentence-transformers里面包含我们需要的文本嵌入模型用来把文本变向量。pypdf和python-docx用来读取PDF和Word文档。transformers和torch用来加载和运行我们的Qwen3生成模型。在终端里用一行命令安装它们pip install -r requirements.txt3.2 准备文档加载与切分工具文档处理是第一步也是最容易出问题的一步。处理得好后续检索才准。我们在项目里创建一个document_processor.py的文件。# document_processor.py from langchain_community.document_loaders import PyPDFLoader, Docx2txtLoader, TextLoader from langchain.text_splitter import RecursiveCharacterTextSplitter import os class DocumentProcessor: def __init__(self, chunk_size500, chunk_overlap50): 初始化处理器。 chunk_size: 每个文本块的最大字符数。 chunk_overlap: 块与块之间重叠的字符数防止把完整句子切碎。 self.text_splitter RecursiveCharacterTextSplitter( chunk_sizechunk_size, chunk_overlapchunk_overlap, separators[\n\n, \n, 。, , , , , , ] ) def load_documents(self, directory_path): 加载指定目录下的所有支持格式的文档 documents [] for filename in os.listdir(directory_path): file_path os.path.join(directory_path, filename) if filename.endswith(.pdf): loader PyPDFLoader(file_path) elif filename.endswith(.docx): loader Docx2txtLoader(file_path) elif filename.endswith(.txt): loader TextLoader(file_path) else: continue # 跳过不支持的文件 loaded_docs loader.load() documents.extend(loaded_docs) print(f已加载: {filename} ({len(loaded_docs)}页/段)) return documents def split_documents(self, documents): 将加载的文档切分成小块 split_docs self.text_splitter.split_documents(documents) print(f文档切分完成共得到 {len(split_docs)} 个文本块。) return split_docs # 使用示例 if __name__ __main__: processor DocumentProcessor() # 假设你的文档放在 ./company_docs 文件夹里 raw_docs processor.load_documents(./company_docs) chunks processor.split_documents(raw_docs) for i, chunk in enumerate(chunks[:2]): # 打印前两个块看看效果 print(f\n--- 块 {i1} ---\n{chunk.page_content[:200]}...)这个类帮你把散落的文档读进来并按照语义合理地切成小块方便后续转换成向量。3.3 搭建向量数据库文本块准备好后我们需要把它们转换成向量存起来。创建一个vector_store.py文件。# vector_store.py from langchain_community.embeddings import HuggingFaceEmbeddings from langchain_community.vectorstores import Chroma import os class VectorStoreManager: def __init__(self, persist_directory./chroma_db): 初始化向量存储管理器。 persist_directory: 向量数据库持久化保存的目录。 # 使用一个轻量且效果不错的开源嵌入模型 self.embedding_model HuggingFaceEmbeddings( model_nameBAAI/bge-small-zh-v1.5, # 中文小模型效果和速度平衡 model_kwargs{device: cuda}, # 使用GPU加速 encode_kwargs{normalize_embeddings: True} # 归一化提升检索效果 ) self.persist_directory persist_directory self.vector_store None def create_from_documents(self, documents): 从文档列表创建向量存储 print(正在创建向量数据库这可能需要一些时间...) self.vector_store Chroma.from_documents( documentsdocuments, embeddingself.embedding_model, persist_directoryself.persist_directory ) print(f向量数据库已创建并保存至 {self.persist_directory}) return self.vector_store def load_existing(self): 加载已存在的向量数据库 if os.path.exists(self.persist_directory): self.vector_store Chroma( persist_directoryself.persist_directory, embedding_functionself.embedding_model ) print(f已加载现有向量数据库 from {self.persist_directory}) return self.vector_store else: print(未找到已有的向量数据库请先创建。) return None def similarity_search(self, query, k4): 执行相似度搜索返回最相关的k个文档块 if self.vector_store is None: self.load_existing() if self.vector_store: results self.vector_store.similarity_search(query, kk) return results return []这里我们选用了BAAI/bge-small-zh-v1.5这个中文嵌入模型它在中文语义理解和速度上表现很好。向量数据库用的是Chroma它简单易用足够应付中小规模的知识库。4. 集成Qwen3-0.6B-FP8与构建问答链核心组件都齐了现在要把它们串起来让流程跑通。重点是加载生成模型并设计一个提示模板让模型能好好利用我们检索到的上下文。4.1 加载生成模型在星图GPU平台上我们可以直接利用其预置的环境来加载模型。创建一个model_loader.py文件。# model_loader.py from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline import torch class QwenGenerator: def __init__(self, model_nameQwen/Qwen3-0.6B-Instruct-FP8): 初始化Qwen3生成器。 model_name: 模型在Hugging Face上的名称指定FP8量化版本。 print(f正在加载模型: {model_name} ...) self.tokenizer AutoTokenizer.from_pretrained(model_name, trust_remote_codeTrue) # 注意FP8模型加载可能需要特定的配置或库支持请根据平台实际情况调整。 # 这里假设平台已优化可直接加载。实际部署时需确认。 self.model AutoModelForCausalLM.from_pretrained( model_name, torch_dtypetorch.float16, # 使用半精度以节省显存 device_mapauto, # 自动分配模型层到可用设备GPU trust_remote_codeTrue ) # 创建文本生成管道 self.pipe pipeline( text-generation, modelself.model, tokenizerself.tokenizer, device_mapauto ) print(模型加载完成。) def generate(self, prompt, max_new_tokens512, temperature0.7): 根据给定的提示生成文本 messages [{role: user, content: prompt}] text self.tokenizer.apply_chat_template( messages, tokenizeFalse, add_generation_promptTrue ) outputs self.pipe( text, max_new_tokensmax_new_tokens, temperaturetemperature, do_sampleTrue, ) result outputs[0][generated_text] # 移除掉原始的提示部分只返回模型生成的内容 return result[len(text):].strip() # 使用示例 if __name__ __main__: generator QwenGenerator() test_prompt 请介绍一下你自己。 answer generator.generate(test_prompt, max_new_tokens100) print(f测试生成:\n问题: {test_prompt}\n回答: {answer})重要提示在实际的星图GPU平台环境中模型加载方式可能因平台优化而更简单例如提供预加载的模型路径。上述代码展示了标准加载流程你需要根据平台提供的具体文档或示例进行调整。4.2 设计提示模板与组装问答链这是让RAG发挥效果的关键一步。我们需要告诉模型“这是问题这是从资料里找到的相关内容请你根据这些资料来回答问题。”创建一个qa_chain.py文件。# qa_chain.py from langchain.prompts import PromptTemplate from langchain.chains import RetrievalQA from langchain_community.llms import HuggingFacePipeline from model_loader import QwenGenerator from vector_store import VectorStoreManager class QASystem: def __init__(self, vector_store_manager, generator): self.vector_store vector_store_manager.vector_store self.generator generator # 将Hugging Face管道包装成LangChain的LLM对象 hf_pipeline generator.pipe self.llm HuggingFacePipeline(pipelinehf_pipeline) # 定义提示词模板 self.prompt_template 请根据以下提供的上下文信息来回答问题。如果上下文信息不足以回答问题请直接说“根据现有资料无法回答该问题”不要编造信息。 上下文信息 {context} 问题{question} 请根据上下文信息给出准确、简洁的回答 self.PROMPT PromptTemplate( templateself.prompt_template, input_variables[context, question] ) # 构建检索问答链 self.qa_chain RetrievalQA.from_chain_type( llmself.llm, chain_typestuff, # 简单地将所有检索到的上下文塞进提示词 retrieverself.vector_store.as_retriever(search_kwargs{k: 4}), # 检索4个最相关的块 chain_type_kwargs{prompt: self.PROMPT}, return_source_documentsTrue # 返回源文档便于追溯 ) def ask(self, question): 向知识库提问 print(f\n[用户问题]: {question}) result self.qa_chain({query: question}) answer result[result] source_docs result[source_documents] print(f[系统回答]: {answer}) print(\n[参考来源]:) for i, doc in enumerate(source_docs): print(f 片段 {i1}: {doc.page_content[:150]}... (来源: {doc.metadata.get(source, 未知)})) return answer, source_docs这个模板清晰地界定了模型的角色和任务边界强调了基于上下文回答避免了幻觉。RetrievalQA链帮我们自动化了“检索-组装提示-生成”的整个过程。5. 从零搭建与使用一个完整示例现在我们把所有模块组合起来看一个从文档准备到智能问答的完整流程。假设我们有一个company_docs文件夹里面放了几份公司的产品介绍和制度文档。创建一个main.py作为入口文件。# main.py from document_processor import DocumentProcessor from vector_store import VectorStoreManager from model_loader import QwenGenerator from qa_chain import QASystem import sys def build_knowledge_base(docs_path./company_docs): 步骤1构建知识库只需运行一次 print( 开始构建知识库 ) # 1. 处理文档 processor DocumentProcessor(chunk_size400, chunk_overlap80) raw_docs processor.load_documents(docs_path) if not raw_docs: print(未加载到任何文档请检查路径。) return None text_chunks processor.split_documents(raw_docs) # 2. 创建向量存储 vs_manager VectorStoreManager(persist_directory./my_company_kb) vector_store vs_manager.create_from_documents(text_chunks) print( 知识库构建完成 \n) return vs_manager def init_qa_system(vector_store_manager): 步骤2初始化问答系统 print( 初始化问答系统 ) # 加载生成模型 generator QwenGenerator() # 确保平台环境支持该模型加载 # 创建问答系统 qa_sys QASystem(vector_store_manager, generator) print( 问答系统就绪 \n) return qa_sys def interactive_qa(qa_system): 步骤3交互式问答 print(欢迎使用公司智能知识库问答系统) print(输入 exit 或 quit 退出程序。) while True: try: user_input input(\n请输入您的问题: ).strip() if user_input.lower() in [exit, quit]: print(再见) break if user_input: qa_system.ask(user_input) except KeyboardInterrupt: print(\n程序被中断。) break except Exception as e: print(f出错了: {e}) if __name__ __main__: # 检查是否要重建知识库 if len(sys.argv) 1 and sys.argv[1] --rebuild: vs_mgr build_knowledge_base() if vs_mgr is None: sys.exit(1) else: # 尝试加载现有的 vs_mgr VectorStoreManager(persist_directory./my_company_kb) vs_mgr.load_existing() if vs_mgr.vector_store is None: print(未找到已有知识库请使用 python main.py --rebuild 先构建知识库。) sys.exit(1) # 初始化并运行问答系统 qa_system init_qa_system(vs_mgr) interactive_qa(qa_system)运行流程首次运行构建知识库python main.py --rebuild后续运行直接使用python main.py程序会引导你进入一个交互界面你可以像聊天一样向它提问关于你文档内容的问题。6. 实际效果与优化思考跑通整个流程后你可以尝试问一些基于文档的问题。比如如果你的文档里有一份《员工考勤制度》你可以问“公司规定的上班时间是几点”系统会从制度文档里找到相关段落并生成类似“根据公司《员工考勤制度》第一章规定工作日上班时间为上午9点。”这样的答案。用下来这套方案的优点很明显答案有据可查更新知识方便响应速度也快。特别是对于规章制度、产品手册、技术文档这类结构化和事实性强的知识效果很不错。当然在实际用的时候你可能还会想到一些可以优化的地方文档切分策略对于代码、表格等特殊内容可能需要更精细的切分方式而不是单纯按字符数来。检索优化可以尝试混合检索同时结合关键词和语义向量或者对检索结果进行重排序让最相关的片段排在最前面。提示工程根据你具体的业务场景调整提示词模板让模型生成的答案格式更符合你的要求比如要求分点回答、包含引用来源等。前端界面可以做一个简单的Web界面让非技术同事也能方便地使用。总的来说用Qwen3-0.6B-FP8和RAG搭建本地知识库是一个性价比很高的起点。它不需要庞大的算力支撑就能让沉睡的文档数据活起来实实在在地提升信息查找的效率。你可以先从小范围、核心的文档开始尝试比如一个项目组的技术Wiki或者一个部门的产品资料库看到效果后再逐步推广。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
