在本研究中团队直击了生成式强化学习在交互训练与实时控制场景下 “采样速度慢、推理延迟高” 的痛点提出了 MVPMean Velocity Policy框架。生成式策略如 Diffusion Policy 和 Flow Matching在强化学习中展现了强大的多模态分布拟合能力但其多步迭代采样带来的高延迟一直是实时控制的痛点。清华大学智能驾驶课题组 iDLab加州大学伯克利分校人工智能研究院 BAIR 在 ICLR 2026 (Oral, Top 1%) 联合发表的最新研究成果《Mean Flow Policy with Instantaneous Velocity Constraint for One-step Action Generation》突破生成式强化学习的效率与质量瓶颈实现最快最好的单步动作生成。该研究工作由清华大学博士生占国建和陶乐天在李升波教授指导下完成。论文标题Mean Flow Policy with Instantaneous Velocity Constraint for One-step Action Generation论文链接https://openreview.net/forum?idmIeKe74W43本文最新研究成果 MVP (Mean Velocity Policy)提出了一种建模均值速度场Mean Velocity Field的新型生成式策略。该方法通过引入瞬时速度约束IVC作为关键的边界条件解决了均值流学习中的解不唯一性问题并且设计了复合生成与选择机制确保在线强化学习过程中策略 “步步变强”。MVP 实现了极致的单步生成 —— 从噪声直接映射到动作彻底消除了迭代计算开销。在 Robomimic 和 OGBench 等高难度具身智能基准测试中MVP 不仅取得了 SOTA 的成功率更在训练和推理速度上实现了数量级的提升。背景生成式强化学习的效率与质量瓶颈在具身智能Embodied AI和机器人控制领域面对复杂的任务最优动作往往呈现多模态分布Multimodal Distribution。传统的单高斯策略难以应对而基于扩散模型Diffusion或流匹配Flow Matching的生成式策略虽然表达能力强但通常依赖几十甚至上百步的迭代去噪导致推理延迟极高难以满足机器人高频控制的实时性要求。为了提高推理速度字节跳动、加州伯克利等团队曾尝试通过大步长离散化或单步蒸馏等技术进行优化但往往不可避免地以牺牲生成质量为代价陷入了速度与精度难以两全的瓶颈。核心问题出现了我们能否在保持流模型强大表达能力的同时直接实现一步到位的动作生成MVP 给出的答案是肯定的。相比于传统方法学习 “瞬时速度” 逐步生成动作MVP 学习的是 “均值速度”这使得它能够直接跨越时间步一步生成目标动作。核心贡献MVP—— 兼具生成式策略的 “高表达能力” 与单步生成的 “高时间效率”。技术一瞬时速度约束锚定精确极速的均值流策略传统的 Flow Matching 往往受限于 “步步为营”它学习的是某一时刻的瞬时速度导致推理时必须像欧拉积分那样多步逼近。而 MVP 另辟蹊径直接建模时间区间内的均值速度。这种设计允许网络直接学习如何 “跨越时间”在推理阶段实现从初始噪声到目标动作的单步跳跃真正做到了 “一步即终点”。然而单纯学习均值速度存在一个致命的理论困局由于缺乏明确的边界条件描述均值速度的常微分方程ODE存在无穷多组解。这会导致神经网络在训练时陷入不确定性产生严重的拟合偏差。为了破局该研究引入了瞬时速度约束Instantaneous Velocity Constraint, IVC作为 “定海神针”1. 物理直觉在时间间隔趋于零的极限下均值速度必须收敛于瞬时速度。2. 理论护航IVC 为 ODE 显式提供了唯一的边界条件。论文中的 Theorem 3 从理论上证明了最小化 IVC Loss 可以强制积分常数误差归零。通过 IVC 的锚定MVP 在省去繁琐迭代步骤的同时极大地提升了策略拟合的精度与稳定性实现了精度与速度的双重突破。技术二复合生成与选择确保策略 “步步变强”强化学习没有现成的专家动作供生成式模型进行匹配为了实现生成式策略提升MVP 采用了 Generate-and-Select复合生成与选择机制以自举方式进行动作优选与匹配逐步收敛至多模态最优策略。1. 高效生成 (Generate)利用 GPU 并行能力快速生成 N 个候选动作。2. 智能优选 (Select)利用 Q 函数对候选动作精确评分锁定最优执行方案。理论保证论文中的 Theorem 1 证明了该机制能确保策略性能的单调提升。它将增益拆解为 Best-Select 优势严格非负与拟合误差。只要通过 IVC 约束将误差控制在极低水平Generate-and-Select 就能确保策略在迭代中稳定变强。这一理论贡献为 MVP 的收敛性和最优性提供了严格的数学保障。实验结果刷新 SOTA征服具身机器人灵巧操作挑战研究团队在 Robomimic 和 OGBench 两大主流机器人操作基准上进行了广泛测试涵盖了从基础的 Lift、Can 到极具挑战性的 Cube-Double/Triple 等 9 个稀疏奖励任务。1. MVP 在绝大多数任务上都取得了 SOTA 性能。特别是在长视距、高难度的方块错位重排任务中MVP粉色表现出更快的在线收敛速度和更高的最终性能。2. 得益于单步生成的特性MVP 在计算效率上展现了压倒性优势。训练速度相比于需要多步去噪计算的 QCFQL 和 BFN单步生成动作的 MVP 的在线训练吞吐量iter/s提升超过 50%。推理延迟在统一的无编译加速的 CPU 环境下MVP 的单步推理耗时仅为几毫秒而同样而同样基于生成式流模型的 BFN 和 QC 等方法则需百毫秒量级。这使得 MVP 能够轻松部署在算力受限的具身机器人本体上。总结与展望在本研究中团队直击了生成式强化学习在交互训练与实时控制场景下 “采样速度慢、推理延迟高” 的痛点提出了 MVPMean Velocity Policy框架通过学习均值速度场绕过了复杂的时序迭代采样过程实现了无需蒸馏的单步极速生成。为了弥补均值流学习在边界条件上的理论缺失研究设计了瞬时速度约束IVC从数学底层保证了策略函数的高精度拟合。实验表明MVP 在保持 SOTA 成功率的同时不仅显著缩短了训练周期更将推理延迟压低至毫秒量级。这种 “极速生成” 与 “高精控制” 的深度融合为未来追求极致响应速度的具身智能系统指明了新的范式。
ICLR 2026 Oral | 告别多步去噪！清华团队推出MVP，实现机器人动作单步极速生成
发布时间：2026/7/6 12:36:21
在本研究中团队直击了生成式强化学习在交互训练与实时控制场景下 “采样速度慢、推理延迟高” 的痛点提出了 MVPMean Velocity Policy框架。生成式策略如 Diffusion Policy 和 Flow Matching在强化学习中展现了强大的多模态分布拟合能力但其多步迭代采样带来的高延迟一直是实时控制的痛点。清华大学智能驾驶课题组 iDLab加州大学伯克利分校人工智能研究院 BAIR 在 ICLR 2026 (Oral, Top 1%) 联合发表的最新研究成果《Mean Flow Policy with Instantaneous Velocity Constraint for One-step Action Generation》突破生成式强化学习的效率与质量瓶颈实现最快最好的单步动作生成。该研究工作由清华大学博士生占国建和陶乐天在李升波教授指导下完成。论文标题Mean Flow Policy with Instantaneous Velocity Constraint for One-step Action Generation论文链接https://openreview.net/forum?idmIeKe74W43本文最新研究成果 MVP (Mean Velocity Policy)提出了一种建模均值速度场Mean Velocity Field的新型生成式策略。该方法通过引入瞬时速度约束IVC作为关键的边界条件解决了均值流学习中的解不唯一性问题并且设计了复合生成与选择机制确保在线强化学习过程中策略 “步步变强”。MVP 实现了极致的单步生成 —— 从噪声直接映射到动作彻底消除了迭代计算开销。在 Robomimic 和 OGBench 等高难度具身智能基准测试中MVP 不仅取得了 SOTA 的成功率更在训练和推理速度上实现了数量级的提升。背景生成式强化学习的效率与质量瓶颈在具身智能Embodied AI和机器人控制领域面对复杂的任务最优动作往往呈现多模态分布Multimodal Distribution。传统的单高斯策略难以应对而基于扩散模型Diffusion或流匹配Flow Matching的生成式策略虽然表达能力强但通常依赖几十甚至上百步的迭代去噪导致推理延迟极高难以满足机器人高频控制的实时性要求。为了提高推理速度字节跳动、加州伯克利等团队曾尝试通过大步长离散化或单步蒸馏等技术进行优化但往往不可避免地以牺牲生成质量为代价陷入了速度与精度难以两全的瓶颈。核心问题出现了我们能否在保持流模型强大表达能力的同时直接实现一步到位的动作生成MVP 给出的答案是肯定的。相比于传统方法学习 “瞬时速度” 逐步生成动作MVP 学习的是 “均值速度”这使得它能够直接跨越时间步一步生成目标动作。核心贡献MVP—— 兼具生成式策略的 “高表达能力” 与单步生成的 “高时间效率”。技术一瞬时速度约束锚定精确极速的均值流策略传统的 Flow Matching 往往受限于 “步步为营”它学习的是某一时刻的瞬时速度导致推理时必须像欧拉积分那样多步逼近。而 MVP 另辟蹊径直接建模时间区间内的均值速度。这种设计允许网络直接学习如何 “跨越时间”在推理阶段实现从初始噪声到目标动作的单步跳跃真正做到了 “一步即终点”。然而单纯学习均值速度存在一个致命的理论困局由于缺乏明确的边界条件描述均值速度的常微分方程ODE存在无穷多组解。这会导致神经网络在训练时陷入不确定性产生严重的拟合偏差。为了破局该研究引入了瞬时速度约束Instantaneous Velocity Constraint, IVC作为 “定海神针”1. 物理直觉在时间间隔趋于零的极限下均值速度必须收敛于瞬时速度。2. 理论护航IVC 为 ODE 显式提供了唯一的边界条件。论文中的 Theorem 3 从理论上证明了最小化 IVC Loss 可以强制积分常数误差归零。通过 IVC 的锚定MVP 在省去繁琐迭代步骤的同时极大地提升了策略拟合的精度与稳定性实现了精度与速度的双重突破。技术二复合生成与选择确保策略 “步步变强”强化学习没有现成的专家动作供生成式模型进行匹配为了实现生成式策略提升MVP 采用了 Generate-and-Select复合生成与选择机制以自举方式进行动作优选与匹配逐步收敛至多模态最优策略。1. 高效生成 (Generate)利用 GPU 并行能力快速生成 N 个候选动作。2. 智能优选 (Select)利用 Q 函数对候选动作精确评分锁定最优执行方案。理论保证论文中的 Theorem 1 证明了该机制能确保策略性能的单调提升。它将增益拆解为 Best-Select 优势严格非负与拟合误差。只要通过 IVC 约束将误差控制在极低水平Generate-and-Select 就能确保策略在迭代中稳定变强。这一理论贡献为 MVP 的收敛性和最优性提供了严格的数学保障。实验结果刷新 SOTA征服具身机器人灵巧操作挑战研究团队在 Robomimic 和 OGBench 两大主流机器人操作基准上进行了广泛测试涵盖了从基础的 Lift、Can 到极具挑战性的 Cube-Double/Triple 等 9 个稀疏奖励任务。1. MVP 在绝大多数任务上都取得了 SOTA 性能。特别是在长视距、高难度的方块错位重排任务中MVP粉色表现出更快的在线收敛速度和更高的最终性能。2. 得益于单步生成的特性MVP 在计算效率上展现了压倒性优势。训练速度相比于需要多步去噪计算的 QCFQL 和 BFN单步生成动作的 MVP 的在线训练吞吐量iter/s提升超过 50%。推理延迟在统一的无编译加速的 CPU 环境下MVP 的单步推理耗时仅为几毫秒而同样而同样基于生成式流模型的 BFN 和 QC 等方法则需百毫秒量级。这使得 MVP 能够轻松部署在算力受限的具身机器人本体上。总结与展望在本研究中团队直击了生成式强化学习在交互训练与实时控制场景下 “采样速度慢、推理延迟高” 的痛点提出了 MVPMean Velocity Policy框架通过学习均值速度场绕过了复杂的时序迭代采样过程实现了无需蒸馏的单步极速生成。为了弥补均值流学习在边界条件上的理论缺失研究设计了瞬时速度约束IVC从数学底层保证了策略函数的高精度拟合。实验表明MVP 在保持 SOTA 成功率的同时不仅显著缩短了训练周期更将推理延迟压低至毫秒量级。这种 “极速生成” 与 “高精控制” 的深度融合为未来追求极致响应速度的具身智能系统指明了新的范式。
