该文章通过引入一种为多智能体系统Multi-Agent System量身定制的强化学习算法 AT-GRPO 及其训练系统成功地将“人多力量大”的协作优势与“刻意练习”的强化学习能力相结合在规划、编码和数学等复杂任务上取得了惊人的性能飞跃。摘要多智能体系统MAS和强化学习RL都被广泛用于提升大语言模型LLM的智能体性能。MAS通过基于角色的编排增强任务专业化表现RL则利用环境奖励训练更强的策略如群体相对策略优化GRPO风格的优化。文章提出了AT-GRPO包括i一种为MAS量身定制的智能体-轮次分组RL算法以及ii一个同时支持单策略和多策略训练的系统。在游戏、规划、编程和数学任务上的实验表明AT-GRPO将准确率从单智能体RL基线的14.0–47.0%提升至96.0–99.5%。此外它还提升了推理性能在编程任务上平均提升3.87–7.62%在数学任务上提升9.0–17.93%。论文标题: Stronger-MAS: Multi-Agent Reinforcement Learning for Collaborative LLMs作者: Yujie Zhao, Lanxiang Hu, Yang Wang原文链接: https://arxiv.org/pdf/2510.11062代码链接: https://github.com/pettingllms-ai/PettingLLMs关键词: [Multi-Agent System, Reinforcement Learning, LLM Agent, Collaborative AI]研究背景为什么我们需要一个更强的智能体“天团”如今让 LLM 成为能够解决实际问题的“智能体”Agent已经成了 AGI 探索之路上的主流方向。我们已经看到了两种主流的增强 Agent 能力的范式多智能体系统 (MAS)俗称“群聊”模式或“套壳”就像组建一个专家团队。我们给不同的 LLM 实例分配不同的角色比如“程序员”、“测试员”、“产品经理”让它们通过对话和协作来解决一个复杂问题。这种方式通过角色扮演和任务拆解在很多场景下比单个 Agent 苦思冥想要有效得多。但它的天花板也比较明显——主要依赖于 Prompt 设计LLM 本身的能力并没有得到“进化”。强化学习 (RL)就像给 Agent 请了个“私教”。通过让 Agent 在环境中与现实世界或模拟环境交互根据任务完成情况给予奖励或惩罚从而通过策略优化比如大名鼎鼎的 PPO来直接微调 LLM 的模型参数。这样训练出来的 Agent 在特定任务上会变得越来越专业。但单 Agent 训练在面对需要多步骤、多角度协作的复杂任务时往往会陷入困境容易“一条路走到黑”。那么问题来了我们能不能把这两者的优点结合起来既有 MAS 的协作优势又有 RL 的“进化”能力想法很美好但现实很骨感。直接把现成的 RL 算法比如 GRPO套在 MAS 上会遇到几个棘手的问题•算法层面的“不公平”在 MAS 里每个角色的 Agent 在每一轮Turn收到的指令Prompt都是不一样的。比如程序员 Agent 收到的是“修复这个 Bug”而测试员 Agent 收到的可能是“为这段代码生成单元测试”。GRPO 这类算法的核心是基于“在同一 Prompt 下采样多个不同回复进行比较”来计算优势函数Advantage现在 Prompt 都变了直接比较就变得“不公平”没法有效进行信用分配Credit Assignment。•系统层面的挑战训练一个 MAS 需要一个复杂的系统来支持。这个系统不仅要能协调多个 LLM 模型可能每个角色一个独立模型的并行推理和交互还要能支持在线的、基于策略On-policy的参数更新。现有的很多 RL for LLM 的框架大多是为单 Agent 设计的搞不定这种“一拖多”的复杂场面。为了解决这些问题来自加州大学圣地亚哥分校和英特尔的研究者们提出了STRONGER-MAS核心是一个新的算法AT-GRPO和一个配套的训练系统。方法总览当 MAS 遇上为它量身定制的强化学习STRONGER-MAS 的核心思想可以概括为在 MAS 协作框架的基础上引入一种改进的、适用于多智能体的分组强化学习算法并搭建一个能支持这种训练模式的系统。让我们通过论文的框架图来直观感受一下它的工作模式。多智能体系统MAS在不同领域的工作流程上图 (a) 部分生动地展示了一个“程序员-测试员”协作的例子。初始问题进来后两个 Agent 开始多轮协作程序员写代码测试员写单元测试并执行然后把失败的测试用例反馈给程序员程序员再根据反馈修改代码……如此循环往复直到所有测试通过。而 (b) 部分则展示了这种 MAS 工作流可以灵活地应用到不同类型的任务上比如•游戏/规划 (Game/Plan)一个 Agent 负责规划Planning另一个 Agent 负责执行和调用工具Tool Call。•代码 (Code)一个 Agent 负责写代码Code Synthesis另一个负责构建和优化单元测试Unit test Construction。•数学 (Math)一个 Agent 负责推理Reasoning另一个负责调用计算工具Tool call来验证中间步骤。STRONGER-MAS 要做的就是让参与这个流程的每一个 Agent都能在协作中通过强化学习不断提升自己的专业能力。接下来我们就来看看这背后最关键的创新。关键结论在深入技术细节之前我们先用三点来概括一下这篇论文最核心的贡献和结论•提出 AT-GRPO 算法这是一种“智能体和轮次分组”Agent- and Turn-wise grouped的强化学习算法。它巧妙地解决了在 MAS 中如何公平地进行分组比较和信用分配的问题让强化学习能真正赋能于多智能体协作。•设计并实现了 MAS 训练系统论文配套实现了一个强大的训练系统它能够支持不同 MAS 工作流的轨迹数据收集Rollout并且能同时对共享策略所有 Agent 共用一个模型和独立策略每个 Agent 有自己的专属模型进行 On-policy 的强化学习更新。•在多个领域验证了显著的性能提升实验结果非常亮眼。在需要长远规划的任务上准确率从单智能体 RL 的 14%–47% 飙升到 96.0%-99.5%。在编程和数学任务上也分别带来了平均 3.87%–7.62% 和 9.0%–17.93% 的性能增益。深度拆解AT-GRPO 算法与训练系统现在让我们一头扎进技术的海洋看看 STRONGER-MAS 是如何施展魔法的。1. 算法核心AT-GRPO 如何解决“分组不公”问题我们前面提到传统的 GRPO 算法要求在同一个 Prompt 下采样多个回复来构建一个“比较组”Comparison Group。但在 MAS 中不同角色、不同轮次的 Agent其 Prompt上下文指令千差万别。怎么办呢AT-GRPO 的思路非常精妙它重新定义了“什么是可以被放在一起比较的”。核心思想是只有在相同的“状态-角色-轮次”三元组下产生的动作才应该被归为一组进行比较。为了实现这一点论文提出了两种采样方案如下图所示两种采样方案对比•(a) 并行采样 (Parallel Sampling)这是最朴素的想法我们独立地跑很多次 MAS 模拟。但这样做每个轨迹都是独立的由于每一步的动作和状态都可能不同我们无法找到一个公共的比较基准。因此每个采样轨迹只能自己跟自己比比较组的大小恒为 1RL 也就无从谈起了。•(b) 树状采样 (Tree Sampling)这才是 AT-GRPO 的正确打开方式。从一个共同的初始状态S0开始对于第一个 Agent 的第一个动作a0我们不是只采样一个而是采样K个不同的动作从而“分叉”出K个不同的轨迹。在下一轮对于这K个轨迹中的每一个我们又在其对应的状态S1上为下一个 Agent 的动作a1采样K次。这样在 MAS 交互的每一步agent i在turn t我们都能得到一个大小为K的、源自相同历史状态的动作集合。这就构成了一个“公平”的比较组有了这个分组AT-GRPO 就可以在每个组内计算相对优势relative advantage并据此更新策略了。简单来说它通过一个唯一的哈希键hash(environment_id, turn_id, agent_id)来标识每一个“状态-角色-轮次”三元组确保只有拥有相同哈希键的K个样本才会被放进同一个桶里进行比较。2. 系统实现支持复杂 MAS 训练的强大引擎有了算法还需要一个强大的系统来落地。论文设计的训练系统架构下图所示它非常灵活能够支持各种 MAS 训练需求。MAS训练系统架构这个系统主要由三部分构成•LLM 资源池 (GPU)每个参与训练的 LLM 模型可以是一个也可以是多个都独占一个或一组 GPU。每个池子里都有一个Rollout Worker负责执行模型推理生成动作和一个Update Worker负责计算损失并更新模型参数。这种分离设计使得推理和训练可以高效并行。•环境资源池 (CPU)大量的Env Worker运行在 CPU 上负责模拟 MAS 交互的环境执行 Agent 的动作并返回新的状态和奖励。•MAS 控制器这是整个系统的大脑它负责根据 MAS 的工作流是串行还是并行谁先行动向相应的Rollout Worker发送推理请求接收生成的动作再将其发送到Env Worker中执行最后将收集到的轨迹数据Trajectory Data路由ROUTING到对应的Update Worker进行训练。这个系统最牛的地方在于它的灵活性。它既能支持共享策略 (Shared Policy)的训练所有 Agent 共用一个 LLM所有轨迹数据都送给同一个 Update Worker也能支持独立策略 (Per-role Policies)的训练每个 Agent 都有自己的 LLM轨迹数据被路由到各自的 Update Worker。这为研究不同角色是否需要专属模型提供了极大的便利。3. 训练动态Agent 是如何“学有所成”的那么在 AT-GRPO 的训练下Agent 的行为具体发生了怎样的变化呢下图为我们揭示了训练过程中的一些有趣动态。训练变化•奖励演化 (a)在Plan-Path任务中有两个角色Tool Agent(负责生成路径规划代码) 和Plan Agent(负责最终决策)。从图 (a) 可以看到随着训练的进行两个 Agent 的标准化奖励Standardized Reward都在稳步提升这说明它们都在各自的职责上变得越来越好。•效率提升 (b)图 (b) 展示了解决任务所需的平均轮次Average Turns的变化。无论是 1.7B 还是 8B 的模型在 LiveCodeBench 和 AIME25 任务上所需的交互轮次都随着训练而显著减少。这说明 Agent 不仅学会了如何解决问题还学会了如何更高效地解决问题减少了不必要的来回“扯皮”协作越来越默契。实验结果效果好不好数据说了算说了这么多最终效果如何论文用详实的实验数据证明了 STRONGER-MAS 的强大。1. 核心性能对比首先我们来看最直接的性能对比。下图就已经给了我们一个下马威。LiveCodeBench和Sokoban任务上在代码生成任务 (LiveCodeBench) 和游戏任务 (Sokoban) 上蓝色的MASAT-GRPO曲线全程碾压红色的Single-agentGRPO曲线展示了巨大的性能优势。这说明在 RL 的加持下MAS 相比于单打独斗的 Agent能力有了质的飞跃。接下来下表分别展示了在 1.7B 和 8B 规模的 Qwen3 模型上STRONGER-MAS 在更广泛任务上的表现。Qwen3 1.7B模型在各任务上的性能结果Qwen3 8B模型在各任务上的性能结果从这两张表中我们可以清晰地看到•MAS Single Agent仅仅是使用 MAS 的 Prompting 策略即MAS行性能就普遍优于Single agent基线。•MAS RL Single Agent RL在双方都用上 RL 之后MAS AT-GRPO的性能远超Single agent GRPO。特别是在 Plan-Path 这种长链规划任务上准确率直接从个位数或十位数提升到了 90% 以上堪称“屠杀”。•独立策略 vs. 共享策略对比最后两行per-role policies(独立策略) 和shared policy(共享策略) 的表现各有千秋。在一些任务上如 Code 和 Math 的部分子任务为每个角色定制专属模型能带来更好的效果这印证了“专业的人做专业的事”而在另一些任务上共享策略也能取得不错的结果且成本更低。2. 与 SOTA 方法的比较为了证明自己的先进性论文还将自己的方法与近期的其他多智能体强化学习MARL工作进行了比较。与现有MARL框架的比较无论是数学任务还是代码任务无论是用 Phi-3-mini 还是 Qwen2-Coder-3B 作为底座模型Ours (MASAT-GRPO)的表现都全面超越了之前的 SOTA 方法如 MAPORL、MARFT 和 CURE。这充分说明了 STRONGER-MAS 框架的通用性和强大实力。3. 消融实验与可扩展性分析好的研究工作不仅要证明自己行还要解释清楚为什么行以及潜力有多大。角色特异性的重要性下表的消融实验揭示了一个有趣的现象。针对Plan-Path任务Qwen3-1.7B模型的消融研究在Plan-Path任务中如果我们将训练好的两个角色Tool Agent和Plan Agent的策略互换 (w/ Swapped Policies)性能会急剧下降从 96% 的准确率暴跌到 6%。这有力地证明了 RL 训练确实让每个 Agent 学到了与其角色高度相关的、不可替代的专业技能。它们不再是简单的通用 LLM而是真正进化成了“规划专家”和“工具专家”。智能体数量的影响人越多就一定越好吗下图探讨了 Agent 数量对性能的影响。智能体数量影响在数学推理任务 AIME24 上随着团队中“推理者”Reasoner数量的增加整个系统的准确率呈现出稳步上升的趋势。这表明对于需要集思广益的复杂推理任务通过增加 Agent 数量特别是核心角色确实能够带来性能上的收益显示了该框架良好的可扩展性。学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
多智能体 + RL 强强联合！AT-GRPO 让 LLM 协作能力暴涨
发布时间：2026/7/24 1:03:55
该文章通过引入一种为多智能体系统Multi-Agent System量身定制的强化学习算法 AT-GRPO 及其训练系统成功地将“人多力量大”的协作优势与“刻意练习”的强化学习能力相结合在规划、编码和数学等复杂任务上取得了惊人的性能飞跃。摘要多智能体系统MAS和强化学习RL都被广泛用于提升大语言模型LLM的智能体性能。MAS通过基于角色的编排增强任务专业化表现RL则利用环境奖励训练更强的策略如群体相对策略优化GRPO风格的优化。文章提出了AT-GRPO包括i一种为MAS量身定制的智能体-轮次分组RL算法以及ii一个同时支持单策略和多策略训练的系统。在游戏、规划、编程和数学任务上的实验表明AT-GRPO将准确率从单智能体RL基线的14.0–47.0%提升至96.0–99.5%。此外它还提升了推理性能在编程任务上平均提升3.87–7.62%在数学任务上提升9.0–17.93%。论文标题: Stronger-MAS: Multi-Agent Reinforcement Learning for Collaborative LLMs作者: Yujie Zhao, Lanxiang Hu, Yang Wang原文链接: https://arxiv.org/pdf/2510.11062代码链接: https://github.com/pettingllms-ai/PettingLLMs关键词: [Multi-Agent System, Reinforcement Learning, LLM Agent, Collaborative AI]研究背景为什么我们需要一个更强的智能体“天团”如今让 LLM 成为能够解决实际问题的“智能体”Agent已经成了 AGI 探索之路上的主流方向。我们已经看到了两种主流的增强 Agent 能力的范式多智能体系统 (MAS)俗称“群聊”模式或“套壳”就像组建一个专家团队。我们给不同的 LLM 实例分配不同的角色比如“程序员”、“测试员”、“产品经理”让它们通过对话和协作来解决一个复杂问题。这种方式通过角色扮演和任务拆解在很多场景下比单个 Agent 苦思冥想要有效得多。但它的天花板也比较明显——主要依赖于 Prompt 设计LLM 本身的能力并没有得到“进化”。强化学习 (RL)就像给 Agent 请了个“私教”。通过让 Agent 在环境中与现实世界或模拟环境交互根据任务完成情况给予奖励或惩罚从而通过策略优化比如大名鼎鼎的 PPO来直接微调 LLM 的模型参数。这样训练出来的 Agent 在特定任务上会变得越来越专业。但单 Agent 训练在面对需要多步骤、多角度协作的复杂任务时往往会陷入困境容易“一条路走到黑”。那么问题来了我们能不能把这两者的优点结合起来既有 MAS 的协作优势又有 RL 的“进化”能力想法很美好但现实很骨感。直接把现成的 RL 算法比如 GRPO套在 MAS 上会遇到几个棘手的问题•算法层面的“不公平”在 MAS 里每个角色的 Agent 在每一轮Turn收到的指令Prompt都是不一样的。比如程序员 Agent 收到的是“修复这个 Bug”而测试员 Agent 收到的可能是“为这段代码生成单元测试”。GRPO 这类算法的核心是基于“在同一 Prompt 下采样多个不同回复进行比较”来计算优势函数Advantage现在 Prompt 都变了直接比较就变得“不公平”没法有效进行信用分配Credit Assignment。•系统层面的挑战训练一个 MAS 需要一个复杂的系统来支持。这个系统不仅要能协调多个 LLM 模型可能每个角色一个独立模型的并行推理和交互还要能支持在线的、基于策略On-policy的参数更新。现有的很多 RL for LLM 的框架大多是为单 Agent 设计的搞不定这种“一拖多”的复杂场面。为了解决这些问题来自加州大学圣地亚哥分校和英特尔的研究者们提出了STRONGER-MAS核心是一个新的算法AT-GRPO和一个配套的训练系统。方法总览当 MAS 遇上为它量身定制的强化学习STRONGER-MAS 的核心思想可以概括为在 MAS 协作框架的基础上引入一种改进的、适用于多智能体的分组强化学习算法并搭建一个能支持这种训练模式的系统。让我们通过论文的框架图来直观感受一下它的工作模式。多智能体系统MAS在不同领域的工作流程上图 (a) 部分生动地展示了一个“程序员-测试员”协作的例子。初始问题进来后两个 Agent 开始多轮协作程序员写代码测试员写单元测试并执行然后把失败的测试用例反馈给程序员程序员再根据反馈修改代码……如此循环往复直到所有测试通过。而 (b) 部分则展示了这种 MAS 工作流可以灵活地应用到不同类型的任务上比如•游戏/规划 (Game/Plan)一个 Agent 负责规划Planning另一个 Agent 负责执行和调用工具Tool Call。•代码 (Code)一个 Agent 负责写代码Code Synthesis另一个负责构建和优化单元测试Unit test Construction。•数学 (Math)一个 Agent 负责推理Reasoning另一个负责调用计算工具Tool call来验证中间步骤。STRONGER-MAS 要做的就是让参与这个流程的每一个 Agent都能在协作中通过强化学习不断提升自己的专业能力。接下来我们就来看看这背后最关键的创新。关键结论在深入技术细节之前我们先用三点来概括一下这篇论文最核心的贡献和结论•提出 AT-GRPO 算法这是一种“智能体和轮次分组”Agent- and Turn-wise grouped的强化学习算法。它巧妙地解决了在 MAS 中如何公平地进行分组比较和信用分配的问题让强化学习能真正赋能于多智能体协作。•设计并实现了 MAS 训练系统论文配套实现了一个强大的训练系统它能够支持不同 MAS 工作流的轨迹数据收集Rollout并且能同时对共享策略所有 Agent 共用一个模型和独立策略每个 Agent 有自己的专属模型进行 On-policy 的强化学习更新。•在多个领域验证了显著的性能提升实验结果非常亮眼。在需要长远规划的任务上准确率从单智能体 RL 的 14%–47% 飙升到 96.0%-99.5%。在编程和数学任务上也分别带来了平均 3.87%–7.62% 和 9.0%–17.93% 的性能增益。深度拆解AT-GRPO 算法与训练系统现在让我们一头扎进技术的海洋看看 STRONGER-MAS 是如何施展魔法的。1. 算法核心AT-GRPO 如何解决“分组不公”问题我们前面提到传统的 GRPO 算法要求在同一个 Prompt 下采样多个回复来构建一个“比较组”Comparison Group。但在 MAS 中不同角色、不同轮次的 Agent其 Prompt上下文指令千差万别。怎么办呢AT-GRPO 的思路非常精妙它重新定义了“什么是可以被放在一起比较的”。核心思想是只有在相同的“状态-角色-轮次”三元组下产生的动作才应该被归为一组进行比较。为了实现这一点论文提出了两种采样方案如下图所示两种采样方案对比•(a) 并行采样 (Parallel Sampling)这是最朴素的想法我们独立地跑很多次 MAS 模拟。但这样做每个轨迹都是独立的由于每一步的动作和状态都可能不同我们无法找到一个公共的比较基准。因此每个采样轨迹只能自己跟自己比比较组的大小恒为 1RL 也就无从谈起了。•(b) 树状采样 (Tree Sampling)这才是 AT-GRPO 的正确打开方式。从一个共同的初始状态S0开始对于第一个 Agent 的第一个动作a0我们不是只采样一个而是采样K个不同的动作从而“分叉”出K个不同的轨迹。在下一轮对于这K个轨迹中的每一个我们又在其对应的状态S1上为下一个 Agent 的动作a1采样K次。这样在 MAS 交互的每一步agent i在turn t我们都能得到一个大小为K的、源自相同历史状态的动作集合。这就构成了一个“公平”的比较组有了这个分组AT-GRPO 就可以在每个组内计算相对优势relative advantage并据此更新策略了。简单来说它通过一个唯一的哈希键hash(environment_id, turn_id, agent_id)来标识每一个“状态-角色-轮次”三元组确保只有拥有相同哈希键的K个样本才会被放进同一个桶里进行比较。2. 系统实现支持复杂 MAS 训练的强大引擎有了算法还需要一个强大的系统来落地。论文设计的训练系统架构下图所示它非常灵活能够支持各种 MAS 训练需求。MAS训练系统架构这个系统主要由三部分构成•LLM 资源池 (GPU)每个参与训练的 LLM 模型可以是一个也可以是多个都独占一个或一组 GPU。每个池子里都有一个Rollout Worker负责执行模型推理生成动作和一个Update Worker负责计算损失并更新模型参数。这种分离设计使得推理和训练可以高效并行。•环境资源池 (CPU)大量的Env Worker运行在 CPU 上负责模拟 MAS 交互的环境执行 Agent 的动作并返回新的状态和奖励。•MAS 控制器这是整个系统的大脑它负责根据 MAS 的工作流是串行还是并行谁先行动向相应的Rollout Worker发送推理请求接收生成的动作再将其发送到Env Worker中执行最后将收集到的轨迹数据Trajectory Data路由ROUTING到对应的Update Worker进行训练。这个系统最牛的地方在于它的灵活性。它既能支持共享策略 (Shared Policy)的训练所有 Agent 共用一个 LLM所有轨迹数据都送给同一个 Update Worker也能支持独立策略 (Per-role Policies)的训练每个 Agent 都有自己的 LLM轨迹数据被路由到各自的 Update Worker。这为研究不同角色是否需要专属模型提供了极大的便利。3. 训练动态Agent 是如何“学有所成”的那么在 AT-GRPO 的训练下Agent 的行为具体发生了怎样的变化呢下图为我们揭示了训练过程中的一些有趣动态。训练变化•奖励演化 (a)在Plan-Path任务中有两个角色Tool Agent(负责生成路径规划代码) 和Plan Agent(负责最终决策)。从图 (a) 可以看到随着训练的进行两个 Agent 的标准化奖励Standardized Reward都在稳步提升这说明它们都在各自的职责上变得越来越好。•效率提升 (b)图 (b) 展示了解决任务所需的平均轮次Average Turns的变化。无论是 1.7B 还是 8B 的模型在 LiveCodeBench 和 AIME25 任务上所需的交互轮次都随着训练而显著减少。这说明 Agent 不仅学会了如何解决问题还学会了如何更高效地解决问题减少了不必要的来回“扯皮”协作越来越默契。实验结果效果好不好数据说了算说了这么多最终效果如何论文用详实的实验数据证明了 STRONGER-MAS 的强大。1. 核心性能对比首先我们来看最直接的性能对比。下图就已经给了我们一个下马威。LiveCodeBench和Sokoban任务上在代码生成任务 (LiveCodeBench) 和游戏任务 (Sokoban) 上蓝色的MASAT-GRPO曲线全程碾压红色的Single-agentGRPO曲线展示了巨大的性能优势。这说明在 RL 的加持下MAS 相比于单打独斗的 Agent能力有了质的飞跃。接下来下表分别展示了在 1.7B 和 8B 规模的 Qwen3 模型上STRONGER-MAS 在更广泛任务上的表现。Qwen3 1.7B模型在各任务上的性能结果Qwen3 8B模型在各任务上的性能结果从这两张表中我们可以清晰地看到•MAS Single Agent仅仅是使用 MAS 的 Prompting 策略即MAS行性能就普遍优于Single agent基线。•MAS RL Single Agent RL在双方都用上 RL 之后MAS AT-GRPO的性能远超Single agent GRPO。特别是在 Plan-Path 这种长链规划任务上准确率直接从个位数或十位数提升到了 90% 以上堪称“屠杀”。•独立策略 vs. 共享策略对比最后两行per-role policies(独立策略) 和shared policy(共享策略) 的表现各有千秋。在一些任务上如 Code 和 Math 的部分子任务为每个角色定制专属模型能带来更好的效果这印证了“专业的人做专业的事”而在另一些任务上共享策略也能取得不错的结果且成本更低。2. 与 SOTA 方法的比较为了证明自己的先进性论文还将自己的方法与近期的其他多智能体强化学习MARL工作进行了比较。与现有MARL框架的比较无论是数学任务还是代码任务无论是用 Phi-3-mini 还是 Qwen2-Coder-3B 作为底座模型Ours (MASAT-GRPO)的表现都全面超越了之前的 SOTA 方法如 MAPORL、MARFT 和 CURE。这充分说明了 STRONGER-MAS 框架的通用性和强大实力。3. 消融实验与可扩展性分析好的研究工作不仅要证明自己行还要解释清楚为什么行以及潜力有多大。角色特异性的重要性下表的消融实验揭示了一个有趣的现象。针对Plan-Path任务Qwen3-1.7B模型的消融研究在Plan-Path任务中如果我们将训练好的两个角色Tool Agent和Plan Agent的策略互换 (w/ Swapped Policies)性能会急剧下降从 96% 的准确率暴跌到 6%。这有力地证明了 RL 训练确实让每个 Agent 学到了与其角色高度相关的、不可替代的专业技能。它们不再是简单的通用 LLM而是真正进化成了“规划专家”和“工具专家”。智能体数量的影响人越多就一定越好吗下图探讨了 Agent 数量对性能的影响。智能体数量影响在数学推理任务 AIME24 上随着团队中“推理者”Reasoner数量的增加整个系统的准确率呈现出稳步上升的趋势。这表明对于需要集思广益的复杂推理任务通过增加 Agent 数量特别是核心角色确实能够带来性能上的收益显示了该框架良好的可扩展性。学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
)
