
本文深入探讨了 AI Agent 在工具使用中的挑战指出随着工具数量增加模型难以正确选择能力的问题。介绍了 Harness 和 Tool Router 的概念解释了它们如何通过分层路由和检索机制帮助模型在庞大的能力空间中找到最相关的工具。文章强调了 Tool Router 在 LLM 时代的重要性将其比作 API Gateway并指出它扩展了模型的能力边界是构建高效 AI 系统的关键基础设施。一、Tool ExplosionAgent 的第一个规模问题在真实系统中工具数量的增长几乎是不可避免的。原因很简单Agent 的能力并不是内置在模型里的而是通过工具接口提供的。当系统能力不断增加时工具数量也会持续增长。最初可能只有几个能力接口例如代码搜索、日志查询或数据库访问。但随着系统复杂度提升很快就会扩展到几十甚至上百个工具。这种能力规模的快速膨胀在工程领域通常被称为Tool Explosion。当系统进入这个阶段之后问题就不再只是“模型是否聪明”而是系统结构是否合理。因为当工具数量达到几十甚至上百个时模型面对的已经不再是简单选择而是一个巨大的****能力空间。二、Agent 的规模问题能力搜索问题从系统角度来看Agent 的执行流程其实非常简单。用户提出一个请求系统需要完成两件事首先确定应该使用哪种能力其次执行这个能力。在工具数量很少的时候这个决策非常简单。但当工具数量不断增加时问题会逐渐发生变化。工具选择不再只是推理问题而开始演变为一个搜索问题。模型需要在一个庞大的能力集合中找到最相关的一项。这也是为什么很多 Agent 系统在工具数量增加后会迅速变得不稳定。问题并不在模型而在系统结构。从工程角度看这其实是一个非常典型的问题Agent 的规模问题本质上是能力搜索问题。三、Harness 的角色管理 Agent 的能力空间在真实的 AI 工程系统中模型通常不会直接与所有工具交互。中间往往存在一个执行层用来管理系统能力、调度工具调用并控制整个执行流程。这个执行层在很多系统中被称为Harness。Harness 的职责并不是做推理而是负责管理能力接口。当工具数量很少时Harness 的角色并不明显。但随着系统能力不断扩展一个新的问题就会逐渐出现模型能够看到的能力空间正在迅速膨胀。如果所有工具都直接暴露给模型系统复杂度会很快失控。模型不仅需要阅读大量工具描述还必须在这些能力之间做出正确选择。因此 Harness 需要承担一个新的职责控制模型能够看到的能力空间**。**为了解决这个问题很多 AI 工程系统都会引入一个新的组件Tool Router**。**四、Tool Router能力检索系统Tool Router 的核心思想其实非常简单不要让 LLM 直接面对全部工具**。**在模型进行决策之前系统会先筛选出一小部分候选能力再交给模型进行最终选择。整个流程变成User Query ↓ Tool Router ↓ Candidate Tools ↓ LLM Tool Selection从系统结构上看这其实是一种两阶段决策****结构。第一阶段由Router完成它负责在大量能力接口中进行初步筛选。第二阶段由模型完成它负责在候选能力中进行最终选择。如果从信息检索的角度来看这个结构其实非常熟悉Recall ↓ RankingRouter 负责Recall而 LLM 负责Ranking。换句话说Tool Router 本质上是一个能力检索系统。在早期的 LLM 应用中RAG 被认为是最重要的基础设施因为它解决了模型无法访问外部知识的问题。但随着 Agent 系统的发展另一个问题逐渐浮现模型并不缺信息而是缺能力。RAG 让模型学会找「信息」而 Tool Router 让模型学会找「能力」。五、Harness 的三层 Tool Router 架构在真实工程系统中Tool Router 通常不会只依赖一次检索而是采用分层路由****结构。这样做的原因很简单当能力规模达到上百个时单次检索往往不够稳定。一个常见的设计是三层路由结构。第一层负责识别用户意图。例如用户提出“查询昨天销售额”系统首先需要判断这是一个数据查询任务而不是文档搜索或通信任务。这一层通常使用轻量模型或 embedding 相似度完成可以在几十毫秒内完成判断。第二层负责能力分组筛选。在大多数企业系统中工具通常会按照领域进行组织例如数据工具、搜索工具、CRM 工具或 DevOps 工具。当系统识别出用户意图之后就可以快速过滤掉大量不相关的能力接口。 例如在一个拥有 100 个工具的系统中这一步往往可以将候选能力减少到 10 个左右。第三层是语义召回。在选定的工具组内部Router 会根据语义相似度召回最相关的几个工具。常见做法是为每个工具生成 embedding并通过向量搜索找到最匹配的能力接口。最终返回的候选工具通常只有 3 到 5 个。此时模型需要面对的能力空间已经从最初的 100 个工具缩小到了几个候选项选择难度也大幅降低。六、Tool Router 的工程实现从工程角度看Tool Router 往往是一个独立的系统组件而不是简单的函数调用。在很多生产系统中Router 会以服务形式存在并与工具注册系统和向量索引协同工作。一个典型结构通常包括三个部分Tool Registry、Tool Embeddings 和 Router Service。Tool Registry 用来维护系统中所有工具的定义包括名称、描述、权限信息以及调用方式。Router Service 在运行时会从 Registry 中读取工具信息并为这些能力生成语义表示。为了进行语义检索每个工具通常会被转换为一个 embedding。这个 embedding 往往由工具名称、功能描述以及使用示例组合生成。例如embedding(tool) tool_name description usage_examples tags这样当用户请求到来时Router 可以将 Query 转换为 embedding并在工具向量空间中找到最相关的能力接口。在实际系统中Router 通常不会只返回一个工具而是会召回一个候选集合例如 Top-5 或 Top-8 工具。随后再由 LLM 在这些候选能力中进行最终选择。这种设计既能提高准确率又可以保持系统稳定性。七、Tool RouterLLM 时代的 API Gateway如果从系统架构的角度来看Tool Router 的角色其实非常类似于传统系统中的API Gateway。在微服务架构中API Gateway 负责管理和调度大量服务接口并控制客户端能够访问哪些能力。而在 Agent 系统中Tool Router 正在承担类似的职责。模型本身并不直接执行任务而是通过 API 调用系统能力。从这个角度来看一个 Agent 的能力其实就是一组可调用的 API 接口集合。随着系统能力不断扩展工具接口也会持续增长。如果没有一个能力管理层模型很快就会被海量接口淹没。Tool Router 正是这一层能力管理系统。它位于模型与工具之间负责筛选和管理系统能力并确保模型始终在一个可控的能力空间中运行。因此可以说Tool Router本质上是 LLM 时代的 API Gateway。八、从 RAG 到 Tool RouterAgent 系统的下一层基础设施在早期的 LLM 应用中RAG 被认为是最重要的基础设施因为它解决了模型无法访问外部知识的问题。通过检索外部文档模型可以突破训练数据的限制从而获得更强的信息获取能力。但随着 Agent 系统不断发展问题开始发生变化。模型面临的挑战不再只是如何找到正确的信息。而是如何找到正确的能力。如果说 RAG 扩展的是模型的知识边界那么 Tool Router 扩展的则是模型的能力边界。大规模 Agent 系统需要同时包含这两层结构RAG 负责信息检索Tool Router 负责能力调度。最后当 Agent 只拥有少量工具时模型可以直接完成工具选择。但随着系统能力不断扩展工具数量很快会增长到几十甚至上百个。此时系统面临的问题已经不再只是「推理」而是「能力搜索」问题。Tool Router 的出现本质上是在 Harness 中引入一层能力管理机制。通过控制模型能够看到的能力空间系统才能在拥有大量能力的情况下仍然保持稳定运行。换句话说模型决定 Agent 的能力上限而****Tool Router 决定 Agent 是否能正确使用这些能力。最后对于正在迷茫择业、想转行提升或是刚入门的程序员、编程小白来说有一个问题几乎人人都在问未来10年什么领域的职业发展潜力最大答案只有一个人工智能尤其是大模型方向当下人工智能行业正处于爆发式增长期其中大模型相关岗位更是供不应求薪资待遇直接拉满——字节跳动作为AI领域的头部玩家给硕士毕业的优质AI人才含大模型相关方向开出的月基础工资高达5万—6万元即便是非“人才计划”的普通应聘者月基础工资也能稳定在4万元左右。再看阿里、腾讯两大互联网大厂非“人才计划”的AI相关岗位应聘者月基础工资也约有3万元远超其他行业同资历岗位的薪资水平对于程序员、小白来说无疑是绝佳的转型和提升赛道。对于想入局大模型、抢占未来10年行业红利的程序员和小白来说现在正是最好的学习时机行业缺口大、大厂需求旺、薪资天花板高只要找准学习方向稳步提升技能就能轻松摆脱“低薪困境”抓住AI时代的职业机遇。如果你还不知道从何开始我自己整理一套全网最全最细的大模型零基础教程我也是一路自学走过来的很清楚小白前期学习的痛楚你要是没有方向还没有好的资源根本学不到东西下面是我整理的大模型学习资源希望能帮到你。扫码免费领取全部内容最后1、大模型学习路线2、从0到进阶大模型学习视频教程从入门到进阶这里都有跟着老师学习事半功倍。3、 入门必看大模型学习书籍文档.pdf书面上的技术书籍确实太多了这些是我精选出来的还有很多不在图里4、AI大模型最新行业报告2026最新行业报告针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。5、面试试题/经验【大厂 AI 岗位面经分享107 道】【AI 大模型面试真题102 道】【LLMs 面试真题97 道】6、大模型项目实战配套源码适用人群四阶段学习规划共90天可落地执行第一阶段10天初阶应用该阶段让大家对大模型 AI有一个最前沿的认识对大模型 AI 的理解超过 95% 的人可以在相关讨论时发表高级、不跟风、又接地气的见解别人只会和 AI 聊天而你能调教 AI并能用代码将大模型和业务衔接。大模型 AI 能干什么大模型是怎样获得「智能」的用好 AI 的核心心法大模型应用业务架构大模型应用技术架构代码示例向 GPT-3.5 灌入新知识提示工程的意义和核心思想Prompt 典型构成指令调优方法论思维链和思维树Prompt 攻击和防范…第二阶段30天高阶应用该阶段我们正式进入大模型 AI 进阶实战学习学会构造私有知识库扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架抓住最新的技术进展适合 Python 和 JavaScript 程序员。为什么要做 RAG搭建一个简单的 ChatPDF检索的基础概念什么是向量表示Embeddings向量数据库与向量检索基于向量检索的 RAG搭建 RAG 系统的扩展知识混合检索与 RAG-Fusion 简介向量模型本地部署…第三阶段30天模型训练恭喜你如果学到这里你基本可以找到一份大模型 AI相关的工作自己也能训练 GPT 了通过微调训练自己的垂直大模型能独立训练开源多模态大模型掌握更多技术方案。到此为止大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗为什么要做 RAG什么是模型什么是模型训练求解器 损失函数简介小实验2手写一个简单的神经网络并训练它什么是训练/预训练/微调/轻量化微调Transformer结构简介轻量化微调实验数据集的构建…第四阶段20天商业闭环对全球大模型从性能、吞吐量、成本等方面有一定的认知可以在云端和本地等多种环境下部署大模型找到适合自己的项目/创业方向做一名被 AI 武装的产品经理。硬件选型带你了解全球大模型使用国产大模型服务搭建 OpenAI 代理热身基于阿里云 PAI 部署 Stable Diffusion在本地计算机运行大模型大模型的私有化部署基于 vLLM 部署大模型案例如何优雅地在阿里云私有部署开源大模型部署一套开源 LLM 项目内容安全互联网信息服务算法备案…扫码免费领取全部内容3、这些资料真的有用吗这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理现任上海殷泊信息科技CEO其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证服务航天科工、国家电网等1000企业以第一作者在IEEE Transactions发表论文50篇获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的技术人员这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】