Qwen3-0.6B-FP8构建智能Agent自动化任务规划与执行框架你是不是也遇到过这样的场景老板突然让你整理一份关于某个新兴技术的市场分析报告或者需要你从十几个不同的网站和文档里把零散的信息汇总成一份清晰的表格。这些任务听起来简单做起来却繁琐得让人头疼要打开一堆网页手动复制粘贴核对数据最后还得整理成格式。整个过程不仅耗时还容易出错。现在有一种方法能让这些重复、多步骤的任务自动完成。这就是我们今天要聊的智能Agent。它就像一个不知疲倦的虚拟助手你只需要告诉它最终目标比如“帮我搜集最近三个月关于AI芯片的行业新闻并总结成一份报告”它就能自己规划步骤、调用工具、一步步执行直到把结果交到你手上。而让这个“助手”变得聪明又高效的关键在于它需要一个足够轻量且强大的“大脑”。Qwen3-0.6B-FP8模型就是一个非常合适的选择。它体积小巧推理速度快经过FP8量化后对硬件要求更低但理解指令和规划任务的能力却一点也不弱。这篇文章我就带你一起看看如何用Qwen3-0.6B-FP8作为核心亲手搭建一个能自动规划与执行任务的智能Agent。1. 智能Agent你的自动化任务执行官在深入技术细节之前我们先搞清楚智能Agent到底是什么以及它为什么能帮我们解决开头提到的那些麻烦事。你可以把智能Agent想象成一个有目标、会思考、能动手的智能程序。它的核心工作流程很简单感知 - 思考 - 行动 - 再思考循环往复直到完成任务。感知接收你的指令比如一段自然语言描述的任务。思考理解任务并将其拆解成一系列可执行的子步骤。比如“写一份市场报告”会被拆解为“搜索关键词A”、“提取搜索结果摘要”、“总结核心观点”、“生成报告大纲”等。行动调用具体的工具Tools去执行每个子步骤。工具可以是搜索引擎API、文件读写函数、代码解释器等等。再思考检查上一步行动的结果判断任务是否完成或者下一步该做什么。这个循环就是智能Agent的“任务循环机制”。它的魅力在于你不需要一步步教它“先点这里再点那里”你只需要告诉它最终想要什么它自己就能找到通往目标的路径。那么为什么选择Qwen3-0.6B-FP8来当这个Agent的“大脑”呢主要看中它三点优势轻量高效0.6B6亿的参数规模配合FP8低精度量化使得它可以在消费级显卡甚至CPU上流畅运行部署成本低响应速度快。指令理解能力强得益于Qwen系列优秀的基座模型和指令微调它能很好地理解复杂的、多步骤的人类指令。工具调用Tool Calling支持好它经过训练能够按照特定格式输出结构化信息这正好用于描述它想要调用哪个工具、以及传入什么参数是实现“行动”环节的关键。接下来我们就开始动手看看这个Agent系统具体是怎么搭建起来的。2. 搭建智能Agent的核心架构一个完整的智能Agent系统通常包含几个核心模块。我们用一张图来直观理解它们之间的关系[用户指令] | v [Agent核心 (Qwen3-0.6B-FP8)] --- [任务规划与调度器] | | v v [工具调用模块] [记忆与状态管理] | | v v [工具集] [任务执行历史] (搜索、读写文件、计算等)各个模块的分工如下Agent核心这是系统的大脑由Qwen3-0.6B-FP8模型担任。它的主要职责是理解用户指令并根据当前的任务状态决定下一步该做什么调用哪个工具或者直接给出最终答案。工具集这是Agent的“双手”。它由一系列具体的功能函数组成比如search_web(keywords)用于搜索read_file(path)用于读取文件write_summary(content)用于生成摘要。Agent自己不会搜索网页但它可以命令“工具手”去做。工具调用模块这是连接“大脑”和“双手”的桥梁。它负责将Agent核心输出的结构化指令如{“tool_name”: “search_web”, “arguments”: {“keywords”: “AI芯片 2024”}}解析出来并找到对应的工具函数去执行。任务规划与调度器这是“大脑”的思维逻辑。它管理着任务循环调用Agent核心进行决策 - 执行工具 - 将结果反馈给Agent核心 - 进行下一轮决策。它确保任务一步步推进不会卡住或跑偏。记忆与状态管理这是Agent的“短期记忆”。它记录当前任务已经执行了哪些步骤、得到了哪些中间结果。这样当Agent核心思考下一步时它就知道上下文是什么避免重复劳动或逻辑混乱。理解了架构我们就从最基础的环节开始——让Agent学会使用工具。3. 实现工具调用赋予Agent“动手能力”工具调用是智能Agent从“思考者”变为“行动者”的关键。我们需要做两件事一是定义一套工具二是教会Qwen3-0.6B-FP8如何正确地调用它们。3.1 定义你的工具集工具其实就是普通的Python函数但我们需要用清晰的方式告诉模型这个工具是干什么的、需要什么参数。这里我们定义一个简单的工具网页搜索。# tool_definitions.py import json from typing import Dict, Any # 模拟一个搜索工具实际应用中你会接入真正的搜索引擎API def search_web(query: str, max_results: int 5) - str: 根据查询词在互联网上搜索相关信息。 参数: query (str): 搜索关键词。 max_results (int): 返回的最大结果数量默认为5。 返回: str: 搜索结果的文本摘要。 # 这里为了演示返回模拟数据。实际应调用如SerpAPI、Google Custom Search等。 print(f[工具调用] 正在搜索: {query}, 最大结果数: {max_results}) mock_results [ f1. 关于{query}的最新研究进展..., f2. 行业报告显示{query}市场年增长率为25%..., f3. 专家解读{query}未来的三大趋势... ] return \n.join(mock_results[:max_results]) # 将工具描述成模型能理解的格式 TOOLS [ { name: search_web, description: 在互联网上搜索信息适用于查找新闻、资料、数据等。, parameters: { type: object, properties: { query: {type: string, description: 搜索查询词}, max_results: {type: integer, description: 期望返回的结果数量默认5} }, required: [query] } }, # 你可以在这里继续添加更多工具例如 # {name: read_file, description: ..., parameters: {...}}, # {name: calculate, description: ..., parameters: {...}}, ]3.2 让模型学会调用工具接下来我们需要在给模型的提示词Prompt中清晰地说明它可以使用的工具以及调用格式。这个过程叫做“工具提示词工程”。# agent_core.py from transformers import AutoModelForCausalLM, AutoTokenizer import torch class QwenAgentCore: def __init__(self, model_nameQwen/Qwen3-0.6B-Instruct): self.tokenizer AutoTokenizer.from_pretrained(model_name, trust_remote_codeTrue) # 加载FP8量化模型需要硬件和库的支持如bitsandbytes # 此处为示意实际加载方式请参考模型库的官方文档 self.model AutoModelForCausalLM.from_pretrained( model_name, torch_dtypetorch.float8_e4m3fn, # 或使用其他FP8加载方式 device_mapauto, trust_remote_codeTrue ) self.system_prompt self._build_system_prompt() def _build_system_prompt(self, toolsTOOLS): 构建包含工具描述的系统提示词 tools_desc \n.join([f- {t[name]}: {t[description]} for t in tools]) prompt f你是一个智能助手可以调用工具来帮助用户完成任务。 你可以使用的工具如下 {tools_desc} 当你需要调用工具时请严格按照以下JSON格式输出且不要输出任何其他内容 json {{action: tool_call, tool_name: 工具名, arguments: {{参数名: 参数值}}}}如果用户的问题不需要调用工具或者所有工具调用完毕需要给出最终答案时请输出{{action: final_answer, content: 你的回答内容}}现在请开始帮助用户。记住每一步只做一个决策。 return promptdef think(self, user_input: str, conversation_history: list None) - str: 让模型根据当前输入和历史进行思考输出决策 messages [] messages.append({role: system, content: self.system_prompt}) if conversation_history: messages.extend(conversation_history) messages.append({role: user, content: user_input}) text self.tokenizer.apply_chat_template( messages, tokenizeFalse, add_generation_promptTrue ) inputs self.tokenizer(text, return_tensorspt).to(self.model.device) with torch.no_grad(): outputs self.model.generate(**inputs, max_new_tokens256) response self.tokenizer.decode(outputs[0][inputs[input_ids].shape[1]:], skip_special_tokensTrue) return response.strip()在上面的代码中我们构建了一个非常关键的系统提示词。它明确告诉模型 1. 你有什么工具可以用。 2. 调用工具时必须输出严格的JSON格式。 3. 完成任务后用final_answer格式输出最终结果。 这样模型think方法的输出就不再是一段自由文本而是一个结构化的“决策指令”要么是调用工具要么是给出答案。 ## 4. 构建任务循环让Agent自主运行起来 有了会思考的大脑和能用的工具手我们需要一个“调度中心”把它们串联起来实现“思考-行动-再思考”的循环。这就是任务循环。 python # task_agent.py import re import json from tool_definitions import search_web, TOOLS from agent_core import QwenAgentCore class TaskAgent: def __init__(self): self.core QwenAgentCore() self.conversation_history [] self.available_tools {search_web: search_web} # 工具名到函数的映射 def _parse_model_output(self, text: str) - Dict[str, Any]: 解析模型输出提取JSON格式的决策 # 尝试从输出中提取JSON块 json_pattern rjson\s*(.*?)\s* match re.search(json_pattern, text, re.DOTALL) if match: try: return json.loads(match.group(1)) except json.JSONDecodeError: pass # 如果没找到或解析失败尝试直接解析整个输出如果它是JSON try: return json.loads(text) except json.JSONDecodeError: # 如果模型没有输出有效JSON默认要求它给出最终答案 return {action: final_answer, content: f模型输出无法解析: {text[:100]}...} def _execute_tool(self, tool_name: str, arguments: Dict) - str: 执行指定的工具 if tool_name not in self.available_tools: return f错误未知的工具 {tool_name}。 tool_func self.available_tools[tool_name] try: result tool_func(**arguments) return str(result) except Exception as e: return f调用工具{tool_name}时出错: {e} def run(self, user_task: str, max_steps: int 10) - str: 运行Agent处理用户任务 print(f用户任务: {user_task}) print(- * 40) step 0 current_context user_task while step max_steps: step 1 print(f\n步骤 {step}: 思考中...) # 1. 核心思考下一步做什么 model_decision_raw self.core.think(current_context, self.conversation_history) print(f模型原始输出: {model_decision_raw[:200]}...) decision self._parse_model_output(model_decision_raw) # 2. 执行决策 action decision.get(action, ) if action tool_call: tool_name decision.get(tool_name) arguments decision.get(arguments, {}) print(f决定调用工具: {tool_name}, 参数: {arguments}) # 执行工具 tool_result self._execute_tool(tool_name, arguments) print(f工具执行结果: {tool_result[:200]}...) # 将工具结果作为新的上下文继续循环 current_context f工具 {tool_name} 返回的结果是{tool_result}。请根据此结果继续分析或完成任务。 # 记录到历史帮助模型理解上下文 self.conversation_history.append({role: assistant, content: model_decision_raw}) self.conversation_history.append({role: user, content: current_context}) elif action final_answer: final_content decision.get(content, 任务完成但未提供具体内容。) print(f\n任务完成最终答案{final_content}) return final_content else: print(f无法识别的决策: {decision}) return fAgent在步骤{step}陷入未知状态。 return f达到最大步骤数({max_steps})仍未完成任务。 # 让我们运行一个简单的例子 if __name__ __main__: agent TaskAgent() task 帮我搜索一下关于大语言模型在2024年的主要发展趋势并简要总结。 result agent.run(task)当你运行这段代码你会看到类似下面的输出它清晰地展示了Agent的思考和工作过程用户任务: 帮我搜索一下关于大语言模型在2024年的主要发展趋势并简要总结。 ---------------------------------------- 步骤 1: 思考中... 模型原始输出: json {action: tool_call, tool_name: search_web, arguments: {query: 大语言模型 2024 发展趋势}}决定调用工具: search_web, 参数: {query: 大语言模型 2024 发展趋势} [工具调用] 正在搜索: 大语言模型 2024 发展趋势, 最大结果数: 5 工具执行结果: 1. 关于大语言模型 2024 发展趋势的最新研究进展... 2. 行业报告显示大语言模型 2024 发展趋势市场年增长率为25%... 3. 专家解读大语言模型 2024 发展趋势未来的三大趋势...步骤 2: 思考中... 模型原始输出: json {action: final_answer, content: 根据搜索结果2024年大语言模型的主要发展趋势可能包括1. 模型规模继续扩大但更注重效率与小型化2. 多模态能力成为标配3. 在垂直行业如金融、医疗的深度应用落地。具体信息请参考最新行业报告。}任务完成最终答案根据搜索结果2024年大语言模型的主要发展趋势可能包括1. 模型规模继续扩大但更注重效率与小型化2. 多模态能力成为标配3. 在垂直行业如金融、医疗的深度应用落地。具体信息请参考最新行业报告。看Agent自动完成了“规划决定搜索- 执行调用搜索工具- 再规划根据结果总结”的全过程。这就是一个最基本的智能Agent的工作流。5. 实战构建自动信息搜集与报告生成Agent让我们把上面的框架用到一个更实际的场景中自动信息搜集与报告生成。假设我们需要Agent完成一个更复杂的任务“搜集关于Qwen3系列模型的技术特点、性能评测和开源社区反馈并生成一份简要的汇总报告。”为了实现这个目标我们需要增强我们的工具集和任务规划能力。5.1 增强工具集除了搜索我们可能还需要读取本地文档、进行文本摘要的工具。# 在 tool_definitions.py 中增加工具 def read_local_doc(file_path: str) - str: 读取本地文本文档的内容。 try: with open(file_path, r, encodingutf-8) as f: return f.read() except FileNotFoundError: return f错误未找到文件 {file_path} except Exception as e: return f读取文件时出错: {e} def summarize_text(text: str, max_length: int 200) - str: 对长文本进行摘要。这里使用一个简单的启发式方法实际可用更复杂的模型。 sentences text.replace(\n, ).split(。) # 取前几句作为简单摘要 summary 。.join(sentences[:3]) 。 if len(summary) max_length: summary summary[:max_length] ... return summary # 更新TOOLS列表 TOOLS.extend([ { name: read_local_doc, description: 读取指定路径下的本地文本文档内容。, parameters: { type: object, properties: { file_path: {type: string, description: 本地文件的路径} }, required: [file_path] } }, { name: summarize_text, description: 对提供的文本进行概括性摘要。, parameters: { type: object, properties: { text: {type: string, description: 需要摘要的文本}, max_length: {type: integer, description: 摘要的最大长度默认200} }, required: [text] } } ])5.2 运行复杂任务更新TaskAgent类中的available_tools映射然后运行一个复杂任务。# 在 task_agent.py 的 __init__ 中更新工具映射 self.available_tools { search_web: search_web, read_local_doc: read_local_doc, summarize_text: summarize_text } # 运行一个更复杂的任务 if __name__ __main__: agent TaskAgent() complex_task 请执行以下任务 1. 搜索关于Qwen3-0.6B模型的技术特点。 2. 搜索关于Qwen3系列模型的性能评测数据。 3. 读取本地文件 ./qwen_community_notes.txt假设存在获取社区反馈。 4. 将以上搜集到的信息整理成一份包含“技术特点”、“性能表现”、“社区反馈”三个部分的简要报告。 result agent.run(complex_task, max_steps15) print(\n生成的报告) print(result)在这个例子中Agent需要理解一个包含多个子步骤的复杂指令。Qwen3-0.6B-FP8模型会尝试规划这些步骤的顺序可能先搜索再读文件最后总结并在每一步输出正确的工具调用指令。任务循环机制会驱动它一步步执行直到生成最终的报告。6. 总结通过上面的步骤我们完成了一个基于Qwen3-0.6B-FP8的智能Agent从概念到实践的构建。整个过程的核心在于将大语言模型强大的理解和规划能力与外部工具的具体执行能力结合起来形成一个可以自主完成复杂任务的闭环系统。用下来感觉Qwen3-0.6B-FP8在这个角色上表现得很称职。它足够轻巧部署和推理速度快成本也低非常适合作为这类自动化任务的“大脑”。虽然它的能力边界肯定比不上千亿参数的大模型但对于定义清晰、工具完备的许多日常自动化场景来说已经绰绰有余了。当然这只是一个起点。一个真正鲁棒的工业级Agent还需要考虑很多其他因素比如更复杂的任务拆解与回溯机制、工具调用失败后的错误处理与重试、长期记忆的管理等等。但希望这个框架能给你提供一个清晰的起点。你可以从定义几个对自己最有用的工具开始比如处理Excel、发送邮件、监控数据然后试着让这个Agent帮你跑起来。当看到它自动完成那些繁琐任务时你会觉得这点搭建的功夫花得特别值。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
Qwen3-0.6B-FP8构建智能Agent：自动化任务规划与执行框架
发布时间：2026/5/20 1:22:15
Qwen3-0.6B-FP8构建智能Agent自动化任务规划与执行框架你是不是也遇到过这样的场景老板突然让你整理一份关于某个新兴技术的市场分析报告或者需要你从十几个不同的网站和文档里把零散的信息汇总成一份清晰的表格。这些任务听起来简单做起来却繁琐得让人头疼要打开一堆网页手动复制粘贴核对数据最后还得整理成格式。整个过程不仅耗时还容易出错。现在有一种方法能让这些重复、多步骤的任务自动完成。这就是我们今天要聊的智能Agent。它就像一个不知疲倦的虚拟助手你只需要告诉它最终目标比如“帮我搜集最近三个月关于AI芯片的行业新闻并总结成一份报告”它就能自己规划步骤、调用工具、一步步执行直到把结果交到你手上。而让这个“助手”变得聪明又高效的关键在于它需要一个足够轻量且强大的“大脑”。Qwen3-0.6B-FP8模型就是一个非常合适的选择。它体积小巧推理速度快经过FP8量化后对硬件要求更低但理解指令和规划任务的能力却一点也不弱。这篇文章我就带你一起看看如何用Qwen3-0.6B-FP8作为核心亲手搭建一个能自动规划与执行任务的智能Agent。1. 智能Agent你的自动化任务执行官在深入技术细节之前我们先搞清楚智能Agent到底是什么以及它为什么能帮我们解决开头提到的那些麻烦事。你可以把智能Agent想象成一个有目标、会思考、能动手的智能程序。它的核心工作流程很简单感知 - 思考 - 行动 - 再思考循环往复直到完成任务。感知接收你的指令比如一段自然语言描述的任务。思考理解任务并将其拆解成一系列可执行的子步骤。比如“写一份市场报告”会被拆解为“搜索关键词A”、“提取搜索结果摘要”、“总结核心观点”、“生成报告大纲”等。行动调用具体的工具Tools去执行每个子步骤。工具可以是搜索引擎API、文件读写函数、代码解释器等等。再思考检查上一步行动的结果判断任务是否完成或者下一步该做什么。这个循环就是智能Agent的“任务循环机制”。它的魅力在于你不需要一步步教它“先点这里再点那里”你只需要告诉它最终想要什么它自己就能找到通往目标的路径。那么为什么选择Qwen3-0.6B-FP8来当这个Agent的“大脑”呢主要看中它三点优势轻量高效0.6B6亿的参数规模配合FP8低精度量化使得它可以在消费级显卡甚至CPU上流畅运行部署成本低响应速度快。指令理解能力强得益于Qwen系列优秀的基座模型和指令微调它能很好地理解复杂的、多步骤的人类指令。工具调用Tool Calling支持好它经过训练能够按照特定格式输出结构化信息这正好用于描述它想要调用哪个工具、以及传入什么参数是实现“行动”环节的关键。接下来我们就开始动手看看这个Agent系统具体是怎么搭建起来的。2. 搭建智能Agent的核心架构一个完整的智能Agent系统通常包含几个核心模块。我们用一张图来直观理解它们之间的关系[用户指令] | v [Agent核心 (Qwen3-0.6B-FP8)] --- [任务规划与调度器] | | v v [工具调用模块] [记忆与状态管理] | | v v [工具集] [任务执行历史] (搜索、读写文件、计算等)各个模块的分工如下Agent核心这是系统的大脑由Qwen3-0.6B-FP8模型担任。它的主要职责是理解用户指令并根据当前的任务状态决定下一步该做什么调用哪个工具或者直接给出最终答案。工具集这是Agent的“双手”。它由一系列具体的功能函数组成比如search_web(keywords)用于搜索read_file(path)用于读取文件write_summary(content)用于生成摘要。Agent自己不会搜索网页但它可以命令“工具手”去做。工具调用模块这是连接“大脑”和“双手”的桥梁。它负责将Agent核心输出的结构化指令如{“tool_name”: “search_web”, “arguments”: {“keywords”: “AI芯片 2024”}}解析出来并找到对应的工具函数去执行。任务规划与调度器这是“大脑”的思维逻辑。它管理着任务循环调用Agent核心进行决策 - 执行工具 - 将结果反馈给Agent核心 - 进行下一轮决策。它确保任务一步步推进不会卡住或跑偏。记忆与状态管理这是Agent的“短期记忆”。它记录当前任务已经执行了哪些步骤、得到了哪些中间结果。这样当Agent核心思考下一步时它就知道上下文是什么避免重复劳动或逻辑混乱。理解了架构我们就从最基础的环节开始——让Agent学会使用工具。3. 实现工具调用赋予Agent“动手能力”工具调用是智能Agent从“思考者”变为“行动者”的关键。我们需要做两件事一是定义一套工具二是教会Qwen3-0.6B-FP8如何正确地调用它们。3.1 定义你的工具集工具其实就是普通的Python函数但我们需要用清晰的方式告诉模型这个工具是干什么的、需要什么参数。这里我们定义一个简单的工具网页搜索。# tool_definitions.py import json from typing import Dict, Any # 模拟一个搜索工具实际应用中你会接入真正的搜索引擎API def search_web(query: str, max_results: int 5) - str: 根据查询词在互联网上搜索相关信息。 参数: query (str): 搜索关键词。 max_results (int): 返回的最大结果数量默认为5。 返回: str: 搜索结果的文本摘要。 # 这里为了演示返回模拟数据。实际应调用如SerpAPI、Google Custom Search等。 print(f[工具调用] 正在搜索: {query}, 最大结果数: {max_results}) mock_results [ f1. 关于{query}的最新研究进展..., f2. 行业报告显示{query}市场年增长率为25%..., f3. 专家解读{query}未来的三大趋势... ] return \n.join(mock_results[:max_results]) # 将工具描述成模型能理解的格式 TOOLS [ { name: search_web, description: 在互联网上搜索信息适用于查找新闻、资料、数据等。, parameters: { type: object, properties: { query: {type: string, description: 搜索查询词}, max_results: {type: integer, description: 期望返回的结果数量默认5} }, required: [query] } }, # 你可以在这里继续添加更多工具例如 # {name: read_file, description: ..., parameters: {...}}, # {name: calculate, description: ..., parameters: {...}}, ]3.2 让模型学会调用工具接下来我们需要在给模型的提示词Prompt中清晰地说明它可以使用的工具以及调用格式。这个过程叫做“工具提示词工程”。# agent_core.py from transformers import AutoModelForCausalLM, AutoTokenizer import torch class QwenAgentCore: def __init__(self, model_nameQwen/Qwen3-0.6B-Instruct): self.tokenizer AutoTokenizer.from_pretrained(model_name, trust_remote_codeTrue) # 加载FP8量化模型需要硬件和库的支持如bitsandbytes # 此处为示意实际加载方式请参考模型库的官方文档 self.model AutoModelForCausalLM.from_pretrained( model_name, torch_dtypetorch.float8_e4m3fn, # 或使用其他FP8加载方式 device_mapauto, trust_remote_codeTrue ) self.system_prompt self._build_system_prompt() def _build_system_prompt(self, toolsTOOLS): 构建包含工具描述的系统提示词 tools_desc \n.join([f- {t[name]}: {t[description]} for t in tools]) prompt f你是一个智能助手可以调用工具来帮助用户完成任务。 你可以使用的工具如下 {tools_desc} 当你需要调用工具时请严格按照以下JSON格式输出且不要输出任何其他内容 json {{action: tool_call, tool_name: 工具名, arguments: {{参数名: 参数值}}}}如果用户的问题不需要调用工具或者所有工具调用完毕需要给出最终答案时请输出{{action: final_answer, content: 你的回答内容}}现在请开始帮助用户。记住每一步只做一个决策。 return promptdef think(self, user_input: str, conversation_history: list None) - str: 让模型根据当前输入和历史进行思考输出决策 messages [] messages.append({role: system, content: self.system_prompt}) if conversation_history: messages.extend(conversation_history) messages.append({role: user, content: user_input}) text self.tokenizer.apply_chat_template( messages, tokenizeFalse, add_generation_promptTrue ) inputs self.tokenizer(text, return_tensorspt).to(self.model.device) with torch.no_grad(): outputs self.model.generate(**inputs, max_new_tokens256) response self.tokenizer.decode(outputs[0][inputs[input_ids].shape[1]:], skip_special_tokensTrue) return response.strip()在上面的代码中我们构建了一个非常关键的系统提示词。它明确告诉模型 1. 你有什么工具可以用。 2. 调用工具时必须输出严格的JSON格式。 3. 完成任务后用final_answer格式输出最终结果。 这样模型think方法的输出就不再是一段自由文本而是一个结构化的“决策指令”要么是调用工具要么是给出答案。 ## 4. 构建任务循环让Agent自主运行起来 有了会思考的大脑和能用的工具手我们需要一个“调度中心”把它们串联起来实现“思考-行动-再思考”的循环。这就是任务循环。 python # task_agent.py import re import json from tool_definitions import search_web, TOOLS from agent_core import QwenAgentCore class TaskAgent: def __init__(self): self.core QwenAgentCore() self.conversation_history [] self.available_tools {search_web: search_web} # 工具名到函数的映射 def _parse_model_output(self, text: str) - Dict[str, Any]: 解析模型输出提取JSON格式的决策 # 尝试从输出中提取JSON块 json_pattern rjson\s*(.*?)\s* match re.search(json_pattern, text, re.DOTALL) if match: try: return json.loads(match.group(1)) except json.JSONDecodeError: pass # 如果没找到或解析失败尝试直接解析整个输出如果它是JSON try: return json.loads(text) except json.JSONDecodeError: # 如果模型没有输出有效JSON默认要求它给出最终答案 return {action: final_answer, content: f模型输出无法解析: {text[:100]}...} def _execute_tool(self, tool_name: str, arguments: Dict) - str: 执行指定的工具 if tool_name not in self.available_tools: return f错误未知的工具 {tool_name}。 tool_func self.available_tools[tool_name] try: result tool_func(**arguments) return str(result) except Exception as e: return f调用工具{tool_name}时出错: {e} def run(self, user_task: str, max_steps: int 10) - str: 运行Agent处理用户任务 print(f用户任务: {user_task}) print(- * 40) step 0 current_context user_task while step max_steps: step 1 print(f\n步骤 {step}: 思考中...) # 1. 核心思考下一步做什么 model_decision_raw self.core.think(current_context, self.conversation_history) print(f模型原始输出: {model_decision_raw[:200]}...) decision self._parse_model_output(model_decision_raw) # 2. 执行决策 action decision.get(action, ) if action tool_call: tool_name decision.get(tool_name) arguments decision.get(arguments, {}) print(f决定调用工具: {tool_name}, 参数: {arguments}) # 执行工具 tool_result self._execute_tool(tool_name, arguments) print(f工具执行结果: {tool_result[:200]}...) # 将工具结果作为新的上下文继续循环 current_context f工具 {tool_name} 返回的结果是{tool_result}。请根据此结果继续分析或完成任务。 # 记录到历史帮助模型理解上下文 self.conversation_history.append({role: assistant, content: model_decision_raw}) self.conversation_history.append({role: user, content: current_context}) elif action final_answer: final_content decision.get(content, 任务完成但未提供具体内容。) print(f\n任务完成最终答案{final_content}) return final_content else: print(f无法识别的决策: {decision}) return fAgent在步骤{step}陷入未知状态。 return f达到最大步骤数({max_steps})仍未完成任务。 # 让我们运行一个简单的例子 if __name__ __main__: agent TaskAgent() task 帮我搜索一下关于大语言模型在2024年的主要发展趋势并简要总结。 result agent.run(task)当你运行这段代码你会看到类似下面的输出它清晰地展示了Agent的思考和工作过程用户任务: 帮我搜索一下关于大语言模型在2024年的主要发展趋势并简要总结。 ---------------------------------------- 步骤 1: 思考中... 模型原始输出: json {action: tool_call, tool_name: search_web, arguments: {query: 大语言模型 2024 发展趋势}}决定调用工具: search_web, 参数: {query: 大语言模型 2024 发展趋势} [工具调用] 正在搜索: 大语言模型 2024 发展趋势, 最大结果数: 5 工具执行结果: 1. 关于大语言模型 2024 发展趋势的最新研究进展... 2. 行业报告显示大语言模型 2024 发展趋势市场年增长率为25%... 3. 专家解读大语言模型 2024 发展趋势未来的三大趋势...步骤 2: 思考中... 模型原始输出: json {action: final_answer, content: 根据搜索结果2024年大语言模型的主要发展趋势可能包括1. 模型规模继续扩大但更注重效率与小型化2. 多模态能力成为标配3. 在垂直行业如金融、医疗的深度应用落地。具体信息请参考最新行业报告。}任务完成最终答案根据搜索结果2024年大语言模型的主要发展趋势可能包括1. 模型规模继续扩大但更注重效率与小型化2. 多模态能力成为标配3. 在垂直行业如金融、医疗的深度应用落地。具体信息请参考最新行业报告。看Agent自动完成了“规划决定搜索- 执行调用搜索工具- 再规划根据结果总结”的全过程。这就是一个最基本的智能Agent的工作流。5. 实战构建自动信息搜集与报告生成Agent让我们把上面的框架用到一个更实际的场景中自动信息搜集与报告生成。假设我们需要Agent完成一个更复杂的任务“搜集关于Qwen3系列模型的技术特点、性能评测和开源社区反馈并生成一份简要的汇总报告。”为了实现这个目标我们需要增强我们的工具集和任务规划能力。5.1 增强工具集除了搜索我们可能还需要读取本地文档、进行文本摘要的工具。# 在 tool_definitions.py 中增加工具 def read_local_doc(file_path: str) - str: 读取本地文本文档的内容。 try: with open(file_path, r, encodingutf-8) as f: return f.read() except FileNotFoundError: return f错误未找到文件 {file_path} except Exception as e: return f读取文件时出错: {e} def summarize_text(text: str, max_length: int 200) - str: 对长文本进行摘要。这里使用一个简单的启发式方法实际可用更复杂的模型。 sentences text.replace(\n, ).split(。) # 取前几句作为简单摘要 summary 。.join(sentences[:3]) 。 if len(summary) max_length: summary summary[:max_length] ... return summary # 更新TOOLS列表 TOOLS.extend([ { name: read_local_doc, description: 读取指定路径下的本地文本文档内容。, parameters: { type: object, properties: { file_path: {type: string, description: 本地文件的路径} }, required: [file_path] } }, { name: summarize_text, description: 对提供的文本进行概括性摘要。, parameters: { type: object, properties: { text: {type: string, description: 需要摘要的文本}, max_length: {type: integer, description: 摘要的最大长度默认200} }, required: [text] } } ])5.2 运行复杂任务更新TaskAgent类中的available_tools映射然后运行一个复杂任务。# 在 task_agent.py 的 __init__ 中更新工具映射 self.available_tools { search_web: search_web, read_local_doc: read_local_doc, summarize_text: summarize_text } # 运行一个更复杂的任务 if __name__ __main__: agent TaskAgent() complex_task 请执行以下任务 1. 搜索关于Qwen3-0.6B模型的技术特点。 2. 搜索关于Qwen3系列模型的性能评测数据。 3. 读取本地文件 ./qwen_community_notes.txt假设存在获取社区反馈。 4. 将以上搜集到的信息整理成一份包含“技术特点”、“性能表现”、“社区反馈”三个部分的简要报告。 result agent.run(complex_task, max_steps15) print(\n生成的报告) print(result)在这个例子中Agent需要理解一个包含多个子步骤的复杂指令。Qwen3-0.6B-FP8模型会尝试规划这些步骤的顺序可能先搜索再读文件最后总结并在每一步输出正确的工具调用指令。任务循环机制会驱动它一步步执行直到生成最终的报告。6. 总结通过上面的步骤我们完成了一个基于Qwen3-0.6B-FP8的智能Agent从概念到实践的构建。整个过程的核心在于将大语言模型强大的理解和规划能力与外部工具的具体执行能力结合起来形成一个可以自主完成复杂任务的闭环系统。用下来感觉Qwen3-0.6B-FP8在这个角色上表现得很称职。它足够轻巧部署和推理速度快成本也低非常适合作为这类自动化任务的“大脑”。虽然它的能力边界肯定比不上千亿参数的大模型但对于定义清晰、工具完备的许多日常自动化场景来说已经绰绰有余了。当然这只是一个起点。一个真正鲁棒的工业级Agent还需要考虑很多其他因素比如更复杂的任务拆解与回溯机制、工具调用失败后的错误处理与重试、长期记忆的管理等等。但希望这个框架能给你提供一个清晰的起点。你可以从定义几个对自己最有用的工具开始比如处理Excel、发送邮件、监控数据然后试着让这个Agent帮你跑起来。当看到它自动完成那些繁琐任务时你会觉得这点搭建的功夫花得特别值。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
