全球首个面向具身智能的大规模MoE视频基础模型、视频物理引擎。终于专属具身智能的视频模型来了话不多说直接来看生成的效果这就是蚂蚁灵波刚刚正式开源的LingBot-Video——全球首个面向具身智能的大规模MoE视频基础模型、视频物理引擎。或许有小伙伴要问了像刚才视频里的机器人切西红柿、吸床单和收纳口红目前很多视频生成的AI不也能搞出来吗确实。但既然说了LingBot-Video是具身版的专属视频模型那说明它从架构、数据到训练目标全链路都是为机器人、人形智能体量身打造的。而且其它视频生成AI的关注点更多的是时长、美学、画质、运镜等等。但到了LingBot-Video这里重中之重变成了是否符合物理规律。除此之外 LingBot-Video的亮点还包括架构上采用MoE让模型容量和推理成本更好平衡30B参数推理时仅激活3B数据上引入超70000小时具身相关视频让模型学习机器人操作、导航、第一视角等场景训练上加入多维奖励系统把物理合理性、任务完成度纳入优化目标。已在RBench上超越业内通用视频生成标杆模型。LingBot-Video一经开源同样也是引发了网友们不小的热议他们直呼它的功能远不止于生成视频如此大规模的训练让模型对现实世界中的互动有了更深刻的理解。为什么机器人需要自己的视频模型对于这个问题答案其实蛮现实且刚需的。通用视频模型的训练目标主要围绕视觉质量、语义对齐、运动连贯展开。人看视频时也更容易被画质、光影、构图、风格打动。但机器人看世界的方式却截然不同。它不只是看见一个杯子还要判断自己伸手过去以后杯子会怎么动看见一条路还要判断从这里走过去会不会撞到障碍……所以我们可以认为内容视频和具身视频其实是两套评价体系。通用模型里偶尔出现的穿模、物体凭空消失、动作违背惯性对短视频创作来说可能只是瑕疵。观众看一眼最多吐槽一句“AI味有点重”。但如果把这些错误视频拿去训练机器人那问题可就大了。因为这就相当于在教机器人一套错误的世界规律它们会误认为手可以穿过物体、杯子可以无缘无故复原、液体可以悬在空中……所以LingBot-Video生成的视频就是要让机器人的大脑学会真真实实的物理规律。例如下面这三组生成的工业场景的视频视频中机械臂在产线上对零件进行抓取、放置、定位有的还涉及焊接、加工这样的动作。但重点在于末端执行器、工件、工作台之间的相对关系能不能在连续帧里保持稳定。这对应的正是机器人真正需要学习的能力包括看懂物体靠近物体作用于物体然后预测物体状态的变化。再如更复杂的动态场景一个是第一视角滑雪镜头从雪坡向前冲下雪雾、坡面、身体姿态都在快速变化另一个画面里人形机器人则在雪道上和滑雪者并行绕旗门前进。这类场景考验的便是机器人对于空间的理解、运动的预测和动态环境的建模等能力。还有机器人打排球、踢足球排球场上机器人起跳、挥臂、击球球沿着空中轨迹飞出足球场上机器人完成摆腿、触球、射门球和身体动作之间有明确对应关系。这就有点接近我们人类期待的具身智能所拥有的灵活的运动能力。LingBot-Video完整能力视频如下在看完效果之后那么接下来的问题就是LingBot-Video是怎么做到的30B的大脑仅3B出手要让视频模型更懂机器人第一步是架构。从此次团队发布的技术报告来看较为吸睛一点便是引入了MoE架构。为啥要这么做打个比方。传统Dense模型更像一个大办公室每来一个任务所有人都要一起上场。好处是稳坏处是贵。模型越大每次调用成本越高。而MoE则像一个大型专家库任务来了不用所有专家都出手只叫最相关的一组专家来处理。LingBot-Video的体量共计30B参数但正因引入了MoE单次生成大约激活3B参数参与计算。由此不仅计算成本变得更低扩展方式也从直接堆参数变成了按需激活。毕竟机器人训练、策略评估、动作规划天然需要大量模拟和试错若每次生成视频都要激活全部参数那成本自然贵得离谱那这个视频物理引擎也就很难真正被用起来。更具体来说视频要模拟连续物理世界需要处理复杂运动轨迹、三维空间一致性、材质纹理等复杂分布稀疏MoE可以在固定计算预算下扩大参数容量把总参数规模和每个Token实际激活的计算量解耦。从实验结果来看MoE30B-A3B在1M Token长度下对比Dense6B、Dense 14B、Dense 30B的速度比分别达到1.50×、2.59×和3.18×同时稀疏框架还能保持接近3B规模模型的推理效率。除了架构之外LingBot-Video另一大技术亮点便在于它的数据。大语言模型为什么能起来一个很重要的原因是互联网天然积累了海量文本。但机器人并没有属于自己的互联网网上不存在几十亿小时的机器人动作数据。真实机器人数据要靠遥操作、真实设备、真实场地一点点采集不仅成本高、速度还慢当然仿真数据也是一条路不过仿真器里学会的东西到了真实世界常常会遇到sim-to-real gap。而LingBot-Video选择的是第三条路即把通用互联网视频和具身数据结合起来。从发布的技术报告来看模型引入了超过70000小时的embodiment-oriented footage覆盖机器人操作VLA、导航、第一视角视频还包括真实机器人、仿真、开源、第三人称视角以及人形机器人、四足机器人等平台。这些数据不是简单拼接进去的而是在训练流程的专门阶段里针对稀缺但高价值的具身数据做了刻意的“少筛选、多保留”防止被海量的普通互联网视频稀释掉。所有素材都会经过五维结构化标注精准标记物体、材质、动作时间戳、受力交互关系同时采用课程式五阶段渐进训练从低清静态图像打底逐步过渡到高清长时序视频循序渐进让模型掌握复杂物理交互逻辑。针对机械操作、精密抓取这类长尾场景团队还通过分布感知采样做加权强化补齐小众工业、家用机器人场景生成能力。最后还要一个强化学习环节。传统视频模型仅用画面美观度、文本匹配度做优化目标不太不约束物理逻辑。而LingBot-Video搭建一套分层强化学习奖励体系从感知、物理、执行三个维度同步约束生成结果感知维度保障画面清晰度、文字描述匹配度、动态流畅度物理维度模型核心优化指标校验物体不穿透、无凭空消失、运动符合重力惯性、材质受力形变合理执行维度校验机器人肢体结构完整、动作流程可落地、任务目标完整完成。训练采用GRPO组相对策略优化方案搭配负感知微调规避奖励黑客问题。同时原生支持Action-to-Video动作条件生成输入机器人动作指令就能直接输出后续完整视觉变化可直接对接机器人运动规划模块。另外模型还配套级联精炼方案先生成480p基础时序画面保证运动逻辑再精炼至1080p高清画质如此一来便可平衡推理速度与画面细节。在评测过程中LingBot-Video被拿来和NVIDIACosmos3、LongCat-Video、LTX-2.3等开源模型比较。结果显示在TI2V任务上LingBot-Video在开源竞品中达到SOTA水平并在general quality和embodied domain两项得分中位居第一在T2V任务上虽然general quality排名第二但embodied domain得分仍超过Cosmos等竞争基线。除此之外LingBot-Video已在RBench上超越业内通用视频生成标杆模型。视频模型的终点是机器人大脑的起点在看完效果和评测结果之后其实我们可以清晰看到一个新的信号LingBot-Video开源这件事更像是在视频生成赛道里把另一条路线摆到了台面上。因为若是我们把视频模型看作世界模型它的价值就会变成给机器人提供一个低成本、可反复试错的物理世界模拟器。再细分其价值我们大致可以划分为三层。第一层是Data Engine。机器人真实数据太贵采集太慢。如果视频物理引擎能生成足够可信的动作过程和场景变化就有机会为机器人训练提供更多低成本数据。第二层是Policy Evaluator。真实世界试错很危险尤其是工业机械臂、人形机器人、四足机器人这些系统。视频模型可以在虚拟视觉环境里先跑一遍策略提前观察可能结果降低真实测试风险。第三层是Action Planner。机器人面对真实场景时可以借助模型预测“执行这个动作后会发生什么”再辅助决策规划与异常预判。技术报告也明确把LingBot-Video定位为面向机器人社区的Data Engine、Policy Evaluator和Action Planner。由此LingBot-Video和其它普通视频生成模型的区别便一目了然了。这也是为什么视频模型正在从内容创作赛道外溢到世界模型和具身智能赛道。李飞飞创办的World Labs押注空间智能试图让AI理解、生成并交互3D世界LeCun团队的V-JEPA 2则直接从视频自监督学习切入探索让模型理解、预测并规划物理世界……已然是具身智能下一阶段的兵家必争。不过在具身智能专属视频生成模型这件事上长时序一致性、柔性物体和液体等复杂物理交互、视频预测能力向真实机器人闭环的转化以及具身视频模型评测标准建设都还在演进中。但LingBot-Video至少证明了一件事那就是视频模型正在从内容生产工具往物理世界模拟器推进。也许再往后看视频生成的尽头还真不一定是电影。它也可能是下一代机器人大脑的起点。GitHub:https://github.com/robbyant/lingbot-videoTech Report:https://arxiv.org/pdf/2607.07675Project Page:https://technology.robbyant.com/lingbot-videoHuggingFacehttps://huggingface.co/collections/robbyant/lingbot-videoModel Scopehttps://www.modelscope.cn/collections/Robbyant/LingBot-Video
刚刚，全球首个具身专属的MoE视频模型，开源了！
发布时间：2026/7/10 7:18:17
全球首个面向具身智能的大规模MoE视频基础模型、视频物理引擎。终于专属具身智能的视频模型来了话不多说直接来看生成的效果这就是蚂蚁灵波刚刚正式开源的LingBot-Video——全球首个面向具身智能的大规模MoE视频基础模型、视频物理引擎。或许有小伙伴要问了像刚才视频里的机器人切西红柿、吸床单和收纳口红目前很多视频生成的AI不也能搞出来吗确实。但既然说了LingBot-Video是具身版的专属视频模型那说明它从架构、数据到训练目标全链路都是为机器人、人形智能体量身打造的。而且其它视频生成AI的关注点更多的是时长、美学、画质、运镜等等。但到了LingBot-Video这里重中之重变成了是否符合物理规律。除此之外 LingBot-Video的亮点还包括架构上采用MoE让模型容量和推理成本更好平衡30B参数推理时仅激活3B数据上引入超70000小时具身相关视频让模型学习机器人操作、导航、第一视角等场景训练上加入多维奖励系统把物理合理性、任务完成度纳入优化目标。已在RBench上超越业内通用视频生成标杆模型。LingBot-Video一经开源同样也是引发了网友们不小的热议他们直呼它的功能远不止于生成视频如此大规模的训练让模型对现实世界中的互动有了更深刻的理解。为什么机器人需要自己的视频模型对于这个问题答案其实蛮现实且刚需的。通用视频模型的训练目标主要围绕视觉质量、语义对齐、运动连贯展开。人看视频时也更容易被画质、光影、构图、风格打动。但机器人看世界的方式却截然不同。它不只是看见一个杯子还要判断自己伸手过去以后杯子会怎么动看见一条路还要判断从这里走过去会不会撞到障碍……所以我们可以认为内容视频和具身视频其实是两套评价体系。通用模型里偶尔出现的穿模、物体凭空消失、动作违背惯性对短视频创作来说可能只是瑕疵。观众看一眼最多吐槽一句“AI味有点重”。但如果把这些错误视频拿去训练机器人那问题可就大了。因为这就相当于在教机器人一套错误的世界规律它们会误认为手可以穿过物体、杯子可以无缘无故复原、液体可以悬在空中……所以LingBot-Video生成的视频就是要让机器人的大脑学会真真实实的物理规律。例如下面这三组生成的工业场景的视频视频中机械臂在产线上对零件进行抓取、放置、定位有的还涉及焊接、加工这样的动作。但重点在于末端执行器、工件、工作台之间的相对关系能不能在连续帧里保持稳定。这对应的正是机器人真正需要学习的能力包括看懂物体靠近物体作用于物体然后预测物体状态的变化。再如更复杂的动态场景一个是第一视角滑雪镜头从雪坡向前冲下雪雾、坡面、身体姿态都在快速变化另一个画面里人形机器人则在雪道上和滑雪者并行绕旗门前进。这类场景考验的便是机器人对于空间的理解、运动的预测和动态环境的建模等能力。还有机器人打排球、踢足球排球场上机器人起跳、挥臂、击球球沿着空中轨迹飞出足球场上机器人完成摆腿、触球、射门球和身体动作之间有明确对应关系。这就有点接近我们人类期待的具身智能所拥有的灵活的运动能力。LingBot-Video完整能力视频如下在看完效果之后那么接下来的问题就是LingBot-Video是怎么做到的30B的大脑仅3B出手要让视频模型更懂机器人第一步是架构。从此次团队发布的技术报告来看较为吸睛一点便是引入了MoE架构。为啥要这么做打个比方。传统Dense模型更像一个大办公室每来一个任务所有人都要一起上场。好处是稳坏处是贵。模型越大每次调用成本越高。而MoE则像一个大型专家库任务来了不用所有专家都出手只叫最相关的一组专家来处理。LingBot-Video的体量共计30B参数但正因引入了MoE单次生成大约激活3B参数参与计算。由此不仅计算成本变得更低扩展方式也从直接堆参数变成了按需激活。毕竟机器人训练、策略评估、动作规划天然需要大量模拟和试错若每次生成视频都要激活全部参数那成本自然贵得离谱那这个视频物理引擎也就很难真正被用起来。更具体来说视频要模拟连续物理世界需要处理复杂运动轨迹、三维空间一致性、材质纹理等复杂分布稀疏MoE可以在固定计算预算下扩大参数容量把总参数规模和每个Token实际激活的计算量解耦。从实验结果来看MoE30B-A3B在1M Token长度下对比Dense6B、Dense 14B、Dense 30B的速度比分别达到1.50×、2.59×和3.18×同时稀疏框架还能保持接近3B规模模型的推理效率。除了架构之外LingBot-Video另一大技术亮点便在于它的数据。大语言模型为什么能起来一个很重要的原因是互联网天然积累了海量文本。但机器人并没有属于自己的互联网网上不存在几十亿小时的机器人动作数据。真实机器人数据要靠遥操作、真实设备、真实场地一点点采集不仅成本高、速度还慢当然仿真数据也是一条路不过仿真器里学会的东西到了真实世界常常会遇到sim-to-real gap。而LingBot-Video选择的是第三条路即把通用互联网视频和具身数据结合起来。从发布的技术报告来看模型引入了超过70000小时的embodiment-oriented footage覆盖机器人操作VLA、导航、第一视角视频还包括真实机器人、仿真、开源、第三人称视角以及人形机器人、四足机器人等平台。这些数据不是简单拼接进去的而是在训练流程的专门阶段里针对稀缺但高价值的具身数据做了刻意的“少筛选、多保留”防止被海量的普通互联网视频稀释掉。所有素材都会经过五维结构化标注精准标记物体、材质、动作时间戳、受力交互关系同时采用课程式五阶段渐进训练从低清静态图像打底逐步过渡到高清长时序视频循序渐进让模型掌握复杂物理交互逻辑。针对机械操作、精密抓取这类长尾场景团队还通过分布感知采样做加权强化补齐小众工业、家用机器人场景生成能力。最后还要一个强化学习环节。传统视频模型仅用画面美观度、文本匹配度做优化目标不太不约束物理逻辑。而LingBot-Video搭建一套分层强化学习奖励体系从感知、物理、执行三个维度同步约束生成结果感知维度保障画面清晰度、文字描述匹配度、动态流畅度物理维度模型核心优化指标校验物体不穿透、无凭空消失、运动符合重力惯性、材质受力形变合理执行维度校验机器人肢体结构完整、动作流程可落地、任务目标完整完成。训练采用GRPO组相对策略优化方案搭配负感知微调规避奖励黑客问题。同时原生支持Action-to-Video动作条件生成输入机器人动作指令就能直接输出后续完整视觉变化可直接对接机器人运动规划模块。另外模型还配套级联精炼方案先生成480p基础时序画面保证运动逻辑再精炼至1080p高清画质如此一来便可平衡推理速度与画面细节。在评测过程中LingBot-Video被拿来和NVIDIACosmos3、LongCat-Video、LTX-2.3等开源模型比较。结果显示在TI2V任务上LingBot-Video在开源竞品中达到SOTA水平并在general quality和embodied domain两项得分中位居第一在T2V任务上虽然general quality排名第二但embodied domain得分仍超过Cosmos等竞争基线。除此之外LingBot-Video已在RBench上超越业内通用视频生成标杆模型。视频模型的终点是机器人大脑的起点在看完效果和评测结果之后其实我们可以清晰看到一个新的信号LingBot-Video开源这件事更像是在视频生成赛道里把另一条路线摆到了台面上。因为若是我们把视频模型看作世界模型它的价值就会变成给机器人提供一个低成本、可反复试错的物理世界模拟器。再细分其价值我们大致可以划分为三层。第一层是Data Engine。机器人真实数据太贵采集太慢。如果视频物理引擎能生成足够可信的动作过程和场景变化就有机会为机器人训练提供更多低成本数据。第二层是Policy Evaluator。真实世界试错很危险尤其是工业机械臂、人形机器人、四足机器人这些系统。视频模型可以在虚拟视觉环境里先跑一遍策略提前观察可能结果降低真实测试风险。第三层是Action Planner。机器人面对真实场景时可以借助模型预测“执行这个动作后会发生什么”再辅助决策规划与异常预判。技术报告也明确把LingBot-Video定位为面向机器人社区的Data Engine、Policy Evaluator和Action Planner。由此LingBot-Video和其它普通视频生成模型的区别便一目了然了。这也是为什么视频模型正在从内容创作赛道外溢到世界模型和具身智能赛道。李飞飞创办的World Labs押注空间智能试图让AI理解、生成并交互3D世界LeCun团队的V-JEPA 2则直接从视频自监督学习切入探索让模型理解、预测并规划物理世界……已然是具身智能下一阶段的兵家必争。不过在具身智能专属视频生成模型这件事上长时序一致性、柔性物体和液体等复杂物理交互、视频预测能力向真实机器人闭环的转化以及具身视频模型评测标准建设都还在演进中。但LingBot-Video至少证明了一件事那就是视频模型正在从内容生产工具往物理世界模拟器推进。也许再往后看视频生成的尽头还真不一定是电影。它也可能是下一代机器人大脑的起点。GitHub:https://github.com/robbyant/lingbot-videoTech Report:https://arxiv.org/pdf/2607.07675Project Page:https://technology.robbyant.com/lingbot-videoHuggingFacehttps://huggingface.co/collections/robbyant/lingbot-videoModel Scopehttps://www.modelscope.cn/collections/Robbyant/LingBot-Video
