来源arXiv · COLM 2026论文Who Broke the System? Failure Localization in LLM-Based Multi-Agent Systems (arXiv:2607.07989)核心标签#故障定位 #多代理系统 #LLM诊断 #可解释性 为什么你现在应该读这篇多代理 LLM 系统出了错最难的不是修复——是找到到底谁错了、在哪一步错的。长链路交互 代理行为耦合 故障定位噩梦。现有方法要么只找哪个代理错了不找哪一步错的要么定位精度不够。这篇论文提出 AgentLocate 框架同时定位责任代理 最早决定性步骤。三件做多代理系统的人不能不知道的事① 「最早决定性步骤」比「出错步骤」更重要系统可能在第 5 步报错但根因在第 2 步的一个看起来无害的决策。AgentLocate 定位的是trajectory first becomes irreversibly misdirected的那个点 (arXiv abstract)——轨迹首次变得不可逆偏离的步骤。② 多视角验证 置信度聚合不是靠单个 LLM 判断而是多个独立评估者从不同视角判断用置信度感知策略聚合 (arXiv abstract)。这比单 judge 可靠得多。③ 轻量级微调闭环判断结果反馈回去微调 judge 模型形成定位→反馈→改进的闭环 (arXiv abstract)。用得越多定位越准。论文元信息来源arXiv:2607.07989 [cs.CR, cs.AI, cs.IR, cs.LG, cs.MA]COLM 2026 (arXiv abstract)标题Who Broke the System? Failure Localization in LLM-Based Multi-Agent Systems作者Yufei Xia, Anjun Gao, Yueyang Quan, Zhuqing Liu, Minghong Fang通讯作者(arXiv abstract)提交日期2026年7月8日 (arXiv abstract)论文大小251 KB (arXiv abstract)核心场景多代理系统的故障排查噩梦想象一下你部署了一个 5 代理协作系统处理用户请求任务失败了。日志有上百条交互记录每个代理都在推卸责任——规划代理说我给的指令没问题执行代理说我按指令做的验证代理说我检查的时候还好好的。AgentLocate 的解法输入失败轨迹输出责任代理 最早决定性步骤 (arXiv abstract)。关键数据2个互补基准测试 (arXiv abstract)多任务、多代理配置、多轨迹长度覆盖 (arXiv abstract)COLM 2026发表 (arXiv abstract)⚠️ 注意abstract 未提供具体的定位准确率数字。如需定量对比数据需阅读 PDF 全文。技术细节AgentLocate 架构组件职责数据来源LLM Judge基于轨迹判断责任代理 故障步骤arXiv abstract多视角验证器独立评估者从不同视角验证arXiv abstract置信度聚合置信度感知策略聚合多视角判断arXiv abstract轻量级微调用定位结果反馈微调 judgearXiv abstract失败轨迹 → LLM Judge → 初步定位 ↓ 多视角验证器 → 独立判断 ↓ 置信度聚合 → 最终定位责任代理 最早决定性步骤 ↓ 轻量级微调 → judge 模型改进闭环与现有方法的差异现有方法主要做哪个代理错了AgentLocate 同时做哪个代理错了 哪一步开始错的 (arXiv abstract)。并且 AgentLocate 在 token 使用和运行时间上保持高效 (arXiv abstract)。⚠️ 注意abstract 称consistently outperforms existing methods但未给具体提升数字。需读 PDF 全文获取定量对比。So What三类人的行动清单 工程师加故障定位模块到你的多代理系统—— 不要只做成功路径的监控失败定位同等重要多视角验证模式—— 单 LLM judge 容易有偏差用多个独立评估者 置信度聚合提升可靠性 (arXiv abstract)明天就能做在你的多代理系统中加一个简单的轨迹记录模块先记录每步决策为故障定位打基础 技术管理者可观测性投资—— 多代理系统的故障定位比单代理难一个数量级需要专门的工具最早决定性步骤概念—— 教团队区分出错点和根因步骤后者才是要修复的明天就能做复盘最近一次多代理系统故障尝试手动定位最早决定性步骤评估难度 创业者/PM多代理可观测性产品—— AgentLocate 的方法论可以产品化为多代理系统的 APM应用性能监控与安全评估结合—— 故障定位 恶意检测 完整的多代理运维套件明天就能做读 COLM 2026 论文列表了解多代理可观测性的学术前沿⚠️ 方法论局限基准数量有限2 个互补基准 (arXiv abstract)可能未覆盖所有故障模式定量数据缺失abstract 未给具体准确率/提升数字 (基于信息完整度推断)LLM judge 依赖judge 本身也是 LLM判断可能有系统性偏差轨迹长度影响虽然覆盖了多轨迹长度但超长轨迹的定位效果未知 (基于信息完整度推断)延伸阅读论文原文https://arxiv.org/abs/2607.07989安全视角Operational Reframing (arXiv:2607.07097) — 多代理安全评估恶意检测AcMAS (arXiv:2607.06807) — 多代理恶意行为检测⏱️如果只有 5 分钟看 arXiv abstract 中earliest decisive step和multi-perspective verification的描述。 数据溯源声明验证等级Level B摘要验证论文验证方式web_fetch arXiv abstract (https://arxiv.org/abs/2607.07989)文中数据来源分布arXiv abstract9处2基准、多视角验证、置信度聚合、轻量级微调、最早决定性步骤定义、COLM 2026、token高效、优于现有方法等推测0处日报1处论文编号和链接GitHub 验证N/A文中未提及代码仓库未验证未获取的信息具体定位准确率数字与现有方法的定量对比基准测试的详细设计路易乔布斯 © 2026 · AI论文观察 · 多代理可观测性COLM 2026 · AgentLocate · 2026.07基于 arXiv abstract 研读数据已溯源
AgentLocate：多代理系统出错了，到底是谁的锅？
发布时间：2026/7/15 5:22:43
来源arXiv · COLM 2026论文Who Broke the System? Failure Localization in LLM-Based Multi-Agent Systems (arXiv:2607.07989)核心标签#故障定位 #多代理系统 #LLM诊断 #可解释性 为什么你现在应该读这篇多代理 LLM 系统出了错最难的不是修复——是找到到底谁错了、在哪一步错的。长链路交互 代理行为耦合 故障定位噩梦。现有方法要么只找哪个代理错了不找哪一步错的要么定位精度不够。这篇论文提出 AgentLocate 框架同时定位责任代理 最早决定性步骤。三件做多代理系统的人不能不知道的事① 「最早决定性步骤」比「出错步骤」更重要系统可能在第 5 步报错但根因在第 2 步的一个看起来无害的决策。AgentLocate 定位的是trajectory first becomes irreversibly misdirected的那个点 (arXiv abstract)——轨迹首次变得不可逆偏离的步骤。② 多视角验证 置信度聚合不是靠单个 LLM 判断而是多个独立评估者从不同视角判断用置信度感知策略聚合 (arXiv abstract)。这比单 judge 可靠得多。③ 轻量级微调闭环判断结果反馈回去微调 judge 模型形成定位→反馈→改进的闭环 (arXiv abstract)。用得越多定位越准。论文元信息来源arXiv:2607.07989 [cs.CR, cs.AI, cs.IR, cs.LG, cs.MA]COLM 2026 (arXiv abstract)标题Who Broke the System? Failure Localization in LLM-Based Multi-Agent Systems作者Yufei Xia, Anjun Gao, Yueyang Quan, Zhuqing Liu, Minghong Fang通讯作者(arXiv abstract)提交日期2026年7月8日 (arXiv abstract)论文大小251 KB (arXiv abstract)核心场景多代理系统的故障排查噩梦想象一下你部署了一个 5 代理协作系统处理用户请求任务失败了。日志有上百条交互记录每个代理都在推卸责任——规划代理说我给的指令没问题执行代理说我按指令做的验证代理说我检查的时候还好好的。AgentLocate 的解法输入失败轨迹输出责任代理 最早决定性步骤 (arXiv abstract)。关键数据2个互补基准测试 (arXiv abstract)多任务、多代理配置、多轨迹长度覆盖 (arXiv abstract)COLM 2026发表 (arXiv abstract)⚠️ 注意abstract 未提供具体的定位准确率数字。如需定量对比数据需阅读 PDF 全文。技术细节AgentLocate 架构组件职责数据来源LLM Judge基于轨迹判断责任代理 故障步骤arXiv abstract多视角验证器独立评估者从不同视角验证arXiv abstract置信度聚合置信度感知策略聚合多视角判断arXiv abstract轻量级微调用定位结果反馈微调 judgearXiv abstract失败轨迹 → LLM Judge → 初步定位 ↓ 多视角验证器 → 独立判断 ↓ 置信度聚合 → 最终定位责任代理 最早决定性步骤 ↓ 轻量级微调 → judge 模型改进闭环与现有方法的差异现有方法主要做哪个代理错了AgentLocate 同时做哪个代理错了 哪一步开始错的 (arXiv abstract)。并且 AgentLocate 在 token 使用和运行时间上保持高效 (arXiv abstract)。⚠️ 注意abstract 称consistently outperforms existing methods但未给具体提升数字。需读 PDF 全文获取定量对比。So What三类人的行动清单 工程师加故障定位模块到你的多代理系统—— 不要只做成功路径的监控失败定位同等重要多视角验证模式—— 单 LLM judge 容易有偏差用多个独立评估者 置信度聚合提升可靠性 (arXiv abstract)明天就能做在你的多代理系统中加一个简单的轨迹记录模块先记录每步决策为故障定位打基础 技术管理者可观测性投资—— 多代理系统的故障定位比单代理难一个数量级需要专门的工具最早决定性步骤概念—— 教团队区分出错点和根因步骤后者才是要修复的明天就能做复盘最近一次多代理系统故障尝试手动定位最早决定性步骤评估难度 创业者/PM多代理可观测性产品—— AgentLocate 的方法论可以产品化为多代理系统的 APM应用性能监控与安全评估结合—— 故障定位 恶意检测 完整的多代理运维套件明天就能做读 COLM 2026 论文列表了解多代理可观测性的学术前沿⚠️ 方法论局限基准数量有限2 个互补基准 (arXiv abstract)可能未覆盖所有故障模式定量数据缺失abstract 未给具体准确率/提升数字 (基于信息完整度推断)LLM judge 依赖judge 本身也是 LLM判断可能有系统性偏差轨迹长度影响虽然覆盖了多轨迹长度但超长轨迹的定位效果未知 (基于信息完整度推断)延伸阅读论文原文https://arxiv.org/abs/2607.07989安全视角Operational Reframing (arXiv:2607.07097) — 多代理安全评估恶意检测AcMAS (arXiv:2607.06807) — 多代理恶意行为检测⏱️如果只有 5 分钟看 arXiv abstract 中earliest decisive step和multi-perspective verification的描述。 数据溯源声明验证等级Level B摘要验证论文验证方式web_fetch arXiv abstract (https://arxiv.org/abs/2607.07989)文中数据来源分布arXiv abstract9处2基准、多视角验证、置信度聚合、轻量级微调、最早决定性步骤定义、COLM 2026、token高效、优于现有方法等推测0处日报1处论文编号和链接GitHub 验证N/A文中未提及代码仓库未验证未获取的信息具体定位准确率数字与现有方法的定量对比基准测试的详细设计路易乔布斯 © 2026 · AI论文观察 · 多代理可观测性COLM 2026 · AgentLocate · 2026.07基于 arXiv abstract 研读数据已溯源
