1. 从实验室到产线LingBot-VLA 2.0 到底想解决什么问题第一次看到 LingBot-VLA 2.0 这个项目的时候我脑子里冒出来的第一个念头是又一个 VLA 模型但把它的几个关键数字摆出来之后我改主意了——6 万小时数据、20 种本体、全身自由度、未来预测这四个词凑在一起说明它压根不是冲着刷 benchmark 去的而是冲着能不能真的在真实场景里跑起来去的。VLA 是 Vision-Language-Action 的缩写直译就是视觉-语言-动作。你可以把它理解成一个能看懂画面、听懂人话、然后直接输出动作指令的模型。传统的机器人控制是分层做的感知归感知规划归规划控制归控制中间靠一堆手写的接口和规则串起来。VLA 的思路是把这三件事塞进一个大模型里端到端地学。好处是泛化能力强坏处是——数据难搞、本体适配难、实时性难保证。LingBot-VLA 2.0 这篇工作基本就是围绕这三个难在做文章。那它适合谁看如果你是在做具身智能、机器人操作、多模态大模型落地的工程师这篇解读能帮你把它的设计取舍、数据策略、训练细节捋清楚如果你只是刚听说 VLA 这个词想搞明白VLA 模型是一个模型还是两个模型VLA 是怎样训练的这类基础问题我也会在中间穿插讲清楚。整篇我会按整体设计思路 → 核心细节 → 实操过程 → 常见问题这条线走尽量把论文里没写透、但工程上一定会踩的坑补上。先说结论性的判断LingBot-VLA 2.0 最值得关注的三件事一是它用 6 万小时、20 种本体的数据把跨本体泛化这件事往前推了一大步二是它把全身自由度whole-body DOF纳入了动作空间而不是只做机械臂末端三是它引入了未来预测future prediction作为辅助目标让模型不只是看到什么动什么而是预判接下来会发生什么再动。这三点恰好对应了 VLA 从实验室 demo 走向产线落地的三道坎。2. 整体设计与思路拆解为什么是这套组合拳2.1 从单本体单任务到多本体多任务的范式转变早期的 VLA 工作大多是在单一机器人本体上、针对有限任务训练的。比如某个机械臂抓取某个物体数据集可能就几百到几千条轨迹。这种模型在训练分布内表现很好但换个本体、换个场景就崩。原因很简单动作空间的物理含义变了。同一个向前移动 10 厘米的指令在 A 机械臂上对应一组关节角在 B 机械臂上对应完全不同的另一组。模型如果只见过 A它学到的其实是A 的关节角映射而不是向前移动这个抽象概念。LingBot-VLA 2.0 的做法是把 20 种本体的数据混在一起训练让模型被迫去学那个抽象概念。这背后的逻辑是当数据足够多样模型就没法靠记忆本体特定的映射来拟合只能去学更本质的视觉-语言-动作关联。这跟当年 NLP 里多语言预训练能提升单语言任务是一个道理——多样性本身就是一种正则化。但这里有个关键问题不同本体的动作维度不一样怎么办机械臂可能是 6 自由度或 7 自由度人形可能是 20 多甚至 30 多个自由度。直接拼接肯定不行。论文里用的是统一动作空间 本体标识embodiment token的方案我下面会细讲。2.2 为什么引入未来预测让模型想一步再动未来预测这个设计我觉得是整篇工作里最容易被低估、但实际价值最高的部分。传统的行为克隆behavior cloning是看到当前帧 → 输出当前动作模型学的是条件概率 p(action | observation)。这种训练方式有个隐患模型容易学到反应式策略看到物体在左边就往左动但它不理解物体接下来会往哪走。引入未来预测之后训练目标变成了联合预测既要预测未来若干帧的视觉表征又要输出当前动作。这相当于给模型加了一个世界模型的辅助任务。好处有两个一是迫使模型学到时序上的因果结构而不是帧间的表面相关二是当遇到遮挡、延迟这类问题时模型能靠预判来补偿。我在实际调试类似结构时发现加了未来预测的模型在动态场景比如物体被推动、传送带上的抓取里成功率提升往往比静态场景更明显因为静态场景本来就不太需要预判。2.3 MoE 架构的取舍为什么不用稠密模型热词里MoE 架构MoE 架构要全部参数进显存吗出现频率很高说明大家对这块最关心。MoE 是 Mixture of Experts 的缩写混合专家。它的核心思想是模型里有很多个专家子网络但每次前向只激活其中一小部分由门控网络gating network决定激活谁。LingBot-VLA 2.0 用 MoE我理解主要动机是容量和效率的平衡。VLA 要同时处理视觉、语言、动作三种模态还要覆盖 20 种本体的差异如果用一个稠密模型硬扛参数量会大到推理成本无法接受。MoE 允许总参数量很大容量足但单次推理只走一小部分算力省。而且不同专家可以自然分化——有的专家专门处理精细操作有的处理大范围移动有的处理特定本体的动作模式。至于MoE 架构要全部参数进显存吗答案是训练时通常要推理时不一定。训练时因为反向传播和优化器状态所有专家参数都得在显存里推理时如果做了专家并行或者按需加载理论上可以只加载被激活的专家。但工程上为了减少 IO 抖动实践中往往还是全量加载除非显存实在吃紧。这个我后面在实操部分会展开。3. 核心细节解析与实操要点3.1 统一动作空间20 种本体怎么塞进一个模型这是整个项目最硬核的工程问题。20 种本体动作维度从 6 到 30 多不等怎么统一论文采用的思路是padding mask embodiment token三件套。具体来说定义一个最大动作维度 D_max比如 32所有本体的动作向量都 padding 到这个长度用一个 mask 标记哪些维度是有效的哪些是 padding 的在输入里加一个 embodiment token告诉模型这条数据来自哪种本体。这样做的代价是padding 部分会浪费一些计算但换来的是模型结构的统一。训练时loss 只在有效维度上计算padding 维度不参与。推理时根据 embodiment token 取出对应的有效维度即可。注意padding 的数值不要用 0建议用一个不会和真实动作混淆的值比如 NaN 配合 mask或者一个超出正常范围的常数。我见过有人直接用 0 padding结果模型把 0 当成了停止信号导致推理时机器人莫名其妙停下来。另一个细节是动作的归一化。不同本体的动作量纲差异巨大有的用弧度有的用米有的用归一化的 [-1, 1]。如果不做统一归一化模型会被大量纲的动作主导。常见做法是按本体分别统计均值和方差做 z-score 归一化或者统一映射到 [-1, 1]。LingBot-VLA 2.0 用的是后者因为 [-1, 1] 对后续的扩散/流匹配头更友好。3.2 全身自由度不只是末端执行器全身自由度这个词是 LingBot-VLA 2.0 区别于很多机械臂 VLA 的关键。大部分 VLA 工作只控制机械臂末端end-effector的位姿底盘不动、躯干不动。但真实场景里很多任务需要全身协同——比如够高处的东西要踮脚或抬躯干搬重物要调整重心开门要配合底盘移动。把全身自由度纳入动作空间意味着动作维度大幅增加也意味着数据采集难度上升。6 万小时的数据里我推测相当一部分是全身运动的数据否则模型学不会协调。这里有个工程上的取舍全身控制让模型能力更强但也让训练和推理更复杂而且对硬件的要求更高不是所有机器人都有可动的躯干和底盘。从落地角度看我的建议是分阶段如果你的场景只需要固定底盘的机械臂操作可以先只用上肢自由度把全身部分 mask 掉等场景需要了再放开。LingBot-VLA 2.0 的 mask 机制天然支持这种渐进式部署。3.3 未来预测的具体实现预测什么、预测多久未来预测不是随便预测得想清楚预测的目标和时域。论文里预测的是未来帧的视觉表征visual representation而不是原始像素。这个选择很关键预测原始像素计算量大、且容易学到无关的纹理细节预测表征则更聚焦语义且和主干的特征空间对齐梯度回传更顺畅。预测时域horizon通常取未来 1 到 2 秒对应的帧数。太短了没意义和当前帧差不多太长了预测不准反而引入噪声。具体取多少取决于任务的时间尺度抓取这类快速任务0.5 秒就够移动导航这类慢任务可能要 2 秒以上。实操心得未来预测的 loss 权重不要设太大。我试过把预测 loss 权重设得和动作 loss 相当结果模型光顾着预测未来动作输出反而变糊了。一般预测 loss 权重取动作 loss 的 0.1 到 0.3 比较稳具体要调。3.4 DINO-Video 与视觉主干的选择热词里出现了 DINO-Video这应该是 LingBot-VLA 2.0 用的视觉特征提取方案之一。DINO 系列是自监督视觉表征学习的代表DINOv2 在静态图像上表现很好DINO-Video 则是把它扩展到视频加入了时序一致性约束。用 DINO-Video 做视觉主干的好处是特征语义强、对光照和视角变化鲁棒、且自带时序信息。相比从头训练一个视觉编码器用预训练的 DINO-Video 能省大量数据和时间。代价是特征维度可能和动作头不匹配需要加投影层。这里有个容易踩的坑DINO 特征通常是 patch 级别的比如 14x14 的 patch如果直接 flatten 送进动作头序列会很长注意力计算吃不消。常见做法是先做空间池化或者用少量 query token 做 cross-attention 压缩。LingBot-VLA 2.0 具体怎么做的论文里没细说但按常规实践大概率是用了可学习的 query 做压缩。4. 实操过程与核心环节实现4.1 数据准备6 万小时怎么组织和清洗6 万小时是个什么概念如果按 30fps 算那是 64.8 亿帧。这个量级的数据组织和清洗本身就是个大工程。按我的经验这类项目的数据管线通常分四层原始采集层各本体、各场景的原始轨迹包含视频、关节状态、动作指令、语言标注对齐层把不同频率、不同时间戳的模态对齐到统一时间轴过滤层剔除失败轨迹、异常值、重复数据打包层转成训练友好的格式如 WebDataset 或 LMDB支持随机读取。清洗环节最容易被忽视但最影响效果。我见过太多项目模型训不好最后发现是数据里混了大量失败轨迹或者标注错误。建议至少做这几件事用动作平滑度过滤动作序列二阶差分过大的大概率是采集抖动或标注错误用任务成功率过滤如果轨迹末尾没有达到目标状态标记为失败用语言标注质量过滤语言指令和实际动作不符的要么修正要么丢弃。注意过滤比例不要一刀切。我见过有人直接砍掉 30% 的数据结果模型泛化变差。正确做法是先小比例抽样人工核查确认过滤标准合理后再全量执行。4.2 训练配置MoE 的并行策略与显存估算MoE 训练最头疼的是显存和通信。假设总参数量是 B激活参数量是 AA B那么模型参数显存 ≈ B × 精度字节数fp16 是 2 字节fp32 是 4 字节优化器状态Adam≈ B × 8 字节fp32 的动量和方差梯度 ≈ B × 精度字节数激活值 ≈ 和 batch size、序列长度、激活参数量相关。以 B 100B 参数、fp16 混合精度为例光模型 优化器 梯度就要 100B × (2 8 2) 1.2TB。这显然单卡放不下必须用专家并行expert parallelism把不同专家分到不同卡上。专家并行的核心是 all-to-all 通信每个 token 根据门控结果被路由到对应专家所在的卡算完再路由回来。这个通信量很大是 MoE 训练的瓶颈。实践中常用的是 EP DP TP 混合并行具体切分比例要看集群拓扑。至于推理时要不要全部参数进显存我的经验是如果显存够全量加载最省心避免动态加载的延迟抖动如果显存紧张可以做专家分片 按需加载但要接受一定的延迟增加。对于实时性要求高的机器人控制我倾向于全量加载宁可多花显存也别让控制循环卡顿。4.3 动作头的选择扩散、流匹配还是回归VLA 的动作输出头这几年经历了从直接回归到扩散/流匹配的演变。直接回归简单快但容易输出平均动作在多模态分布同一个观测有多种合理动作下表现差。扩散和流匹配能建模多模态分布生成的动作更自然但推理需要多步去噪慢。LingBot-VLA 2.0 大概率用的是流匹配flow matching或扩散因为这是当前 VLA 的主流选择。流匹配相比扩散训练更稳定、推理步数可以更少。如果实时性要求高可以用一致性模型consistency model或者蒸馏把步数压到 1 到 4 步。实操心得动作头的推理步数不是越少越好。我试过把扩散步数从 10 压到 2速度是快了但精细操作的成功率掉了将近 15 个百分点。建议根据任务精度要求来定粗操作可以少步精细操作还是得多步。4.4 部署时的本体适配从仿真到真机的 gap训练完的模型要上真机中间还有个 sim-to-real 的 gap。LingBot-VLA 2.0 覆盖 20 种本体说明它在跨本体泛化上下了功夫但真机部署仍有几个必须处理的点观测对齐仿真里的相机内参、外参、分辨率要和真机一致否则视觉特征分布偏移动作频率模型输出的动作频率要和真机控制器的频率匹配不匹配要做插值或降采样延迟补偿真机有通信延迟和执行延迟模型如果不知道延迟动作会滞后。常见做法是在训练时随机注入延迟让模型学会补偿安全约束模型输出的动作要过一层安全过滤关节限位、速度限幅、碰撞检测防止意外。我踩过的最大的坑是观测对齐。仿真里相机是理想针孔模型真机有畸变结果模型在真机上看到的图像和训练分布差很多成功率直接腰斩。后来加了畸变校正和随机畸变增强才把 gap 补上。5. 常见问题与排查技巧实录5.1 VLA 模型是一个模型还是两个模型这个问题在热词里出现说明很多人搞不清。答案取决于你怎么定义一个模型。从结构上看VLA 通常是视觉编码器 语言编码器 融合主干 动作头的组合。如果这些部分端到端联合训练那它是一个模型如果视觉和语言部分冻结、只训动作头那可以理解为预训练模型 适配头两个部分。LingBot-VLA 2.0 这种规模的工作基本是端到端联合训练的所以是一个模型。但工程上为了效率视觉主干可能用预训练权重初始化并冻结前若干层这在实现上是部分冻结逻辑上仍是一个模型。5.2 MoE 负载均衡怎么做MoE 训练最怕专家坍缩——所有 token 都路由到少数几个专家其他专家饿死。解决办法是加负载均衡 loss惩罚路由分布的不均匀。常见的负载均衡 loss 有两种一是重要性均衡importance balancing让每个专家被选中的概率接近二是负载均衡load balancing让每个专家处理的 token 数接近。实践中两者常一起用权重取 0.01 到 0.1。注意负载均衡 loss 权重太大会伤害主任务。我试过权重 0.5结果模型为了均衡牺牲了性能。建议从 0.01 开始调观察专家利用率曲线够均衡就行。5.3 训练不收敛/loss 震荡的排查顺序遇到训练问题我一般按这个顺序排查排查项常见原因处理方式数据标注错误、异常值、分布偏移抽样人工核查加过滤学习率太大导致震荡太小导致不收敛用 warmup cosine 衰减从 1e-5 试起归一化动作/观测量纲不统一按本体做 z-score 或映射到 [-1,1]梯度梯度爆炸/消失加梯度裁剪检查 loss 权重并行通信死锁、路由不均检查 EP 配置加负载均衡 loss精度fp16 溢出关键层用 fp32或用 bf16这个表我基本是背下来的每次出问题先过一遍能解决八成情况。5.4 推理延迟优化的几个实用手段机器人控制对延迟敏感VLA 推理延迟优化是绕不开的。我总结的几个手段动作分块action chunking一次推理输出未来多步动作减少推理频率。这是 VLA 里最有效的优化能把推理频率降一个数量级KV cache 复用视觉和语言部分的 KV 在相邻帧间变化不大可以复用量化int8 或 int4 量化能省显存和带宽但要注意精度损失专家缓存MoE 里高频激活的专家常驻显存低频的按需加载异步推理推理和控制解耦控制循环不等推理结果用上一帧的动作。动作分块是我最推荐的几乎无脑有效。但要注意分块长度和任务时间尺度的匹配分块太长会导致对突发情况反应迟钝。5.5 跨本体泛化失败的典型表现与对策跨本体泛化失败通常表现为在训练见过的本体上表现好换新本体就崩。对策有几个层次数据层增加本体多样性哪怕每个本体的数据量少一点多样性比单本体数据量更重要结构层用 embodiment token 显式区分本体让模型知道自己在控制什么训练层用本体随机 dropout训练时随机屏蔽 embodiment token逼模型学本体无关的表征适配层新本体上做少量微调few-shot fine-tuning几十条轨迹就能适配。我实测下来embodiment token 本体 dropout 的组合最有效能让新本体的 zero-shot 成功率提升明显。如果还不行再上 few-shot 微调。6. 从这篇工作看 VLA 落地的现实路径聊完技术细节说点更宏观的观察。LingBot-VLA 2.0 这类工作其实在回答一个很现实的问题VLA 到底怎么从实验室走到产线我的判断是路径大概是这样的先在单一场景、单一本体上跑通闭环证明 VLA 比传统方案有优势然后通过多本体数据积累把泛化能力做上去最后通过 MoE 这类架构把容量和效率的平衡做好让推理成本降到可接受。LingBot-VLA 2.0 在第二步和第三步上都给出了可参考的方案。但落地还有几个非技术问题绕不开数据采集成本、真机维护成本、安全合规。6 万小时数据听着多但分摊到 20 种本体、多种场景每种组合的数据量其实有限。怎么用有限数据撬动最大泛化是接下来所有 VLA 工作都要面对的。我个人在实际操作中的体会是VLA 的瓶颈往往不在模型本身而在数据和工程。模型结构再漂亮数据不干净、部署不顺畅照样跑不起来。所以如果你在做类似项目我的建议是把 60% 的精力放在数据管线和部署链路上40% 放在模型上。这个比例听起来反直觉但踩过坑的人都懂。最后再分享一个小技巧做跨本体训练时先在小规模数据上验证 embodiment token 和 mask 机制是否正确再上全量数据。我见过有人直接上全量训了一周才发现 mask 写反了padding 维度参与了 loss 计算白烧了一周算力。这种低级错误小规模验证十分钟就能发现。 LingBot-VLA 2.0 深度解读：6万小时数据与20种本体的跨本体泛化实践
1. 从实验室到产线LingBot-VLA 2.0 到底想解决什么问题第一次看到 LingBot-VLA 2.0 这个项目的时候我脑子里冒出来的第一个念头是又一个 VLA 模型但把它的几个关键数字摆出来之后我改主意了——6 万小时数据、20 种本体、全身自由度、未来预测这四个词凑在一起说明它压根不是冲着刷 benchmark 去的而是冲着能不能真的在真实场景里跑起来去的。VLA 是 Vision-Language-Action 的缩写直译就是视觉-语言-动作。你可以把它理解成一个能看懂画面、听懂人话、然后直接输出动作指令的模型。传统的机器人控制是分层做的感知归感知规划归规划控制归控制中间靠一堆手写的接口和规则串起来。VLA 的思路是把这三件事塞进一个大模型里端到端地学。好处是泛化能力强坏处是——数据难搞、本体适配难、实时性难保证。LingBot-VLA 2.0 这篇工作基本就是围绕这三个难在做文章。那它适合谁看如果你是在做具身智能、机器人操作、多模态大模型落地的工程师这篇解读能帮你把它的设计取舍、数据策略、训练细节捋清楚如果你只是刚听说 VLA 这个词想搞明白VLA 模型是一个模型还是两个模型VLA 是怎样训练的这类基础问题我也会在中间穿插讲清楚。整篇我会按整体设计思路 → 核心细节 → 实操过程 → 常见问题这条线走尽量把论文里没写透、但工程上一定会踩的坑补上。先说结论性的判断LingBot-VLA 2.0 最值得关注的三件事一是它用 6 万小时、20 种本体的数据把跨本体泛化这件事往前推了一大步二是它把全身自由度whole-body DOF纳入了动作空间而不是只做机械臂末端三是它引入了未来预测future prediction作为辅助目标让模型不只是看到什么动什么而是预判接下来会发生什么再动。这三点恰好对应了 VLA 从实验室 demo 走向产线落地的三道坎。2. 整体设计与思路拆解为什么是这套组合拳2.1 从单本体单任务到多本体多任务的范式转变早期的 VLA 工作大多是在单一机器人本体上、针对有限任务训练的。比如某个机械臂抓取某个物体数据集可能就几百到几千条轨迹。这种模型在训练分布内表现很好但换个本体、换个场景就崩。原因很简单动作空间的物理含义变了。同一个向前移动 10 厘米的指令在 A 机械臂上对应一组关节角在 B 机械臂上对应完全不同的另一组。模型如果只见过 A它学到的其实是A 的关节角映射而不是向前移动这个抽象概念。LingBot-VLA 2.0 的做法是把 20 种本体的数据混在一起训练让模型被迫去学那个抽象概念。这背后的逻辑是当数据足够多样模型就没法靠记忆本体特定的映射来拟合只能去学更本质的视觉-语言-动作关联。这跟当年 NLP 里多语言预训练能提升单语言任务是一个道理——多样性本身就是一种正则化。但这里有个关键问题不同本体的动作维度不一样怎么办机械臂可能是 6 自由度或 7 自由度人形可能是 20 多甚至 30 多个自由度。直接拼接肯定不行。论文里用的是统一动作空间 本体标识embodiment token的方案我下面会细讲。2.2 为什么引入未来预测让模型想一步再动未来预测这个设计我觉得是整篇工作里最容易被低估、但实际价值最高的部分。传统的行为克隆behavior cloning是看到当前帧 → 输出当前动作模型学的是条件概率 p(action | observation)。这种训练方式有个隐患模型容易学到反应式策略看到物体在左边就往左动但它不理解物体接下来会往哪走。引入未来预测之后训练目标变成了联合预测既要预测未来若干帧的视觉表征又要输出当前动作。这相当于给模型加了一个世界模型的辅助任务。好处有两个一是迫使模型学到时序上的因果结构而不是帧间的表面相关二是当遇到遮挡、延迟这类问题时模型能靠预判来补偿。我在实际调试类似结构时发现加了未来预测的模型在动态场景比如物体被推动、传送带上的抓取里成功率提升往往比静态场景更明显因为静态场景本来就不太需要预判。2.3 MoE 架构的取舍为什么不用稠密模型热词里MoE 架构MoE 架构要全部参数进显存吗出现频率很高说明大家对这块最关心。MoE 是 Mixture of Experts 的缩写混合专家。它的核心思想是模型里有很多个专家子网络但每次前向只激活其中一小部分由门控网络gating network决定激活谁。LingBot-VLA 2.0 用 MoE我理解主要动机是容量和效率的平衡。VLA 要同时处理视觉、语言、动作三种模态还要覆盖 20 种本体的差异如果用一个稠密模型硬扛参数量会大到推理成本无法接受。MoE 允许总参数量很大容量足但单次推理只走一小部分算力省。而且不同专家可以自然分化——有的专家专门处理精细操作有的处理大范围移动有的处理特定本体的动作模式。至于MoE 架构要全部参数进显存吗答案是训练时通常要推理时不一定。训练时因为反向传播和优化器状态所有专家参数都得在显存里推理时如果做了专家并行或者按需加载理论上可以只加载被激活的专家。但工程上为了减少 IO 抖动实践中往往还是全量加载除非显存实在吃紧。这个我后面在实操部分会展开。3. 核心细节解析与实操要点3.1 统一动作空间20 种本体怎么塞进一个模型这是整个项目最硬核的工程问题。20 种本体动作维度从 6 到 30 多不等怎么统一论文采用的思路是padding mask embodiment token三件套。具体来说定义一个最大动作维度 D_max比如 32所有本体的动作向量都 padding 到这个长度用一个 mask 标记哪些维度是有效的哪些是 padding 的在输入里加一个 embodiment token告诉模型这条数据来自哪种本体。这样做的代价是padding 部分会浪费一些计算但换来的是模型结构的统一。训练时loss 只在有效维度上计算padding 维度不参与。推理时根据 embodiment token 取出对应的有效维度即可。注意padding 的数值不要用 0建议用一个不会和真实动作混淆的值比如 NaN 配合 mask或者一个超出正常范围的常数。我见过有人直接用 0 padding结果模型把 0 当成了停止信号导致推理时机器人莫名其妙停下来。另一个细节是动作的归一化。不同本体的动作量纲差异巨大有的用弧度有的用米有的用归一化的 [-1, 1]。如果不做统一归一化模型会被大量纲的动作主导。常见做法是按本体分别统计均值和方差做 z-score 归一化或者统一映射到 [-1, 1]。LingBot-VLA 2.0 用的是后者因为 [-1, 1] 对后续的扩散/流匹配头更友好。3.2 全身自由度不只是末端执行器全身自由度这个词是 LingBot-VLA 2.0 区别于很多机械臂 VLA 的关键。大部分 VLA 工作只控制机械臂末端end-effector的位姿底盘不动、躯干不动。但真实场景里很多任务需要全身协同——比如够高处的东西要踮脚或抬躯干搬重物要调整重心开门要配合底盘移动。把全身自由度纳入动作空间意味着动作维度大幅增加也意味着数据采集难度上升。6 万小时的数据里我推测相当一部分是全身运动的数据否则模型学不会协调。这里有个工程上的取舍全身控制让模型能力更强但也让训练和推理更复杂而且对硬件的要求更高不是所有机器人都有可动的躯干和底盘。从落地角度看我的建议是分阶段如果你的场景只需要固定底盘的机械臂操作可以先只用上肢自由度把全身部分 mask 掉等场景需要了再放开。LingBot-VLA 2.0 的 mask 机制天然支持这种渐进式部署。3.3 未来预测的具体实现预测什么、预测多久未来预测不是随便预测得想清楚预测的目标和时域。论文里预测的是未来帧的视觉表征visual representation而不是原始像素。这个选择很关键预测原始像素计算量大、且容易学到无关的纹理细节预测表征则更聚焦语义且和主干的特征空间对齐梯度回传更顺畅。预测时域horizon通常取未来 1 到 2 秒对应的帧数。太短了没意义和当前帧差不多太长了预测不准反而引入噪声。具体取多少取决于任务的时间尺度抓取这类快速任务0.5 秒就够移动导航这类慢任务可能要 2 秒以上。实操心得未来预测的 loss 权重不要设太大。我试过把预测 loss 权重设得和动作 loss 相当结果模型光顾着预测未来动作输出反而变糊了。一般预测 loss 权重取动作 loss 的 0.1 到 0.3 比较稳具体要调。3.4 DINO-Video 与视觉主干的选择热词里出现了 DINO-Video这应该是 LingBot-VLA 2.0 用的视觉特征提取方案之一。DINO 系列是自监督视觉表征学习的代表DINOv2 在静态图像上表现很好DINO-Video 则是把它扩展到视频加入了时序一致性约束。用 DINO-Video 做视觉主干的好处是特征语义强、对光照和视角变化鲁棒、且自带时序信息。相比从头训练一个视觉编码器用预训练的 DINO-Video 能省大量数据和时间。代价是特征维度可能和动作头不匹配需要加投影层。这里有个容易踩的坑DINO 特征通常是 patch 级别的比如 14x14 的 patch如果直接 flatten 送进动作头序列会很长注意力计算吃不消。常见做法是先做空间池化或者用少量 query token 做 cross-attention 压缩。LingBot-VLA 2.0 具体怎么做的论文里没细说但按常规实践大概率是用了可学习的 query 做压缩。4. 实操过程与核心环节实现4.1 数据准备6 万小时怎么组织和清洗6 万小时是个什么概念如果按 30fps 算那是 64.8 亿帧。这个量级的数据组织和清洗本身就是个大工程。按我的经验这类项目的数据管线通常分四层原始采集层各本体、各场景的原始轨迹包含视频、关节状态、动作指令、语言标注对齐层把不同频率、不同时间戳的模态对齐到统一时间轴过滤层剔除失败轨迹、异常值、重复数据打包层转成训练友好的格式如 WebDataset 或 LMDB支持随机读取。清洗环节最容易被忽视但最影响效果。我见过太多项目模型训不好最后发现是数据里混了大量失败轨迹或者标注错误。建议至少做这几件事用动作平滑度过滤动作序列二阶差分过大的大概率是采集抖动或标注错误用任务成功率过滤如果轨迹末尾没有达到目标状态标记为失败用语言标注质量过滤语言指令和实际动作不符的要么修正要么丢弃。注意过滤比例不要一刀切。我见过有人直接砍掉 30% 的数据结果模型泛化变差。正确做法是先小比例抽样人工核查确认过滤标准合理后再全量执行。4.2 训练配置MoE 的并行策略与显存估算MoE 训练最头疼的是显存和通信。假设总参数量是 B激活参数量是 AA B那么模型参数显存 ≈ B × 精度字节数fp16 是 2 字节fp32 是 4 字节优化器状态Adam≈ B × 8 字节fp32 的动量和方差梯度 ≈ B × 精度字节数激活值 ≈ 和 batch size、序列长度、激活参数量相关。以 B 100B 参数、fp16 混合精度为例光模型 优化器 梯度就要 100B × (2 8 2) 1.2TB。这显然单卡放不下必须用专家并行expert parallelism把不同专家分到不同卡上。专家并行的核心是 all-to-all 通信每个 token 根据门控结果被路由到对应专家所在的卡算完再路由回来。这个通信量很大是 MoE 训练的瓶颈。实践中常用的是 EP DP TP 混合并行具体切分比例要看集群拓扑。至于推理时要不要全部参数进显存我的经验是如果显存够全量加载最省心避免动态加载的延迟抖动如果显存紧张可以做专家分片 按需加载但要接受一定的延迟增加。对于实时性要求高的机器人控制我倾向于全量加载宁可多花显存也别让控制循环卡顿。4.3 动作头的选择扩散、流匹配还是回归VLA 的动作输出头这几年经历了从直接回归到扩散/流匹配的演变。直接回归简单快但容易输出平均动作在多模态分布同一个观测有多种合理动作下表现差。扩散和流匹配能建模多模态分布生成的动作更自然但推理需要多步去噪慢。LingBot-VLA 2.0 大概率用的是流匹配flow matching或扩散因为这是当前 VLA 的主流选择。流匹配相比扩散训练更稳定、推理步数可以更少。如果实时性要求高可以用一致性模型consistency model或者蒸馏把步数压到 1 到 4 步。实操心得动作头的推理步数不是越少越好。我试过把扩散步数从 10 压到 2速度是快了但精细操作的成功率掉了将近 15 个百分点。建议根据任务精度要求来定粗操作可以少步精细操作还是得多步。4.4 部署时的本体适配从仿真到真机的 gap训练完的模型要上真机中间还有个 sim-to-real 的 gap。LingBot-VLA 2.0 覆盖 20 种本体说明它在跨本体泛化上下了功夫但真机部署仍有几个必须处理的点观测对齐仿真里的相机内参、外参、分辨率要和真机一致否则视觉特征分布偏移动作频率模型输出的动作频率要和真机控制器的频率匹配不匹配要做插值或降采样延迟补偿真机有通信延迟和执行延迟模型如果不知道延迟动作会滞后。常见做法是在训练时随机注入延迟让模型学会补偿安全约束模型输出的动作要过一层安全过滤关节限位、速度限幅、碰撞检测防止意外。我踩过的最大的坑是观测对齐。仿真里相机是理想针孔模型真机有畸变结果模型在真机上看到的图像和训练分布差很多成功率直接腰斩。后来加了畸变校正和随机畸变增强才把 gap 补上。5. 常见问题与排查技巧实录5.1 VLA 模型是一个模型还是两个模型这个问题在热词里出现说明很多人搞不清。答案取决于你怎么定义一个模型。从结构上看VLA 通常是视觉编码器 语言编码器 融合主干 动作头的组合。如果这些部分端到端联合训练那它是一个模型如果视觉和语言部分冻结、只训动作头那可以理解为预训练模型 适配头两个部分。LingBot-VLA 2.0 这种规模的工作基本是端到端联合训练的所以是一个模型。但工程上为了效率视觉主干可能用预训练权重初始化并冻结前若干层这在实现上是部分冻结逻辑上仍是一个模型。5.2 MoE 负载均衡怎么做MoE 训练最怕专家坍缩——所有 token 都路由到少数几个专家其他专家饿死。解决办法是加负载均衡 loss惩罚路由分布的不均匀。常见的负载均衡 loss 有两种一是重要性均衡importance balancing让每个专家被选中的概率接近二是负载均衡load balancing让每个专家处理的 token 数接近。实践中两者常一起用权重取 0.01 到 0.1。注意负载均衡 loss 权重太大会伤害主任务。我试过权重 0.5结果模型为了均衡牺牲了性能。建议从 0.01 开始调观察专家利用率曲线够均衡就行。5.3 训练不收敛/loss 震荡的排查顺序遇到训练问题我一般按这个顺序排查排查项常见原因处理方式数据标注错误、异常值、分布偏移抽样人工核查加过滤学习率太大导致震荡太小导致不收敛用 warmup cosine 衰减从 1e-5 试起归一化动作/观测量纲不统一按本体做 z-score 或映射到 [-1,1]梯度梯度爆炸/消失加梯度裁剪检查 loss 权重并行通信死锁、路由不均检查 EP 配置加负载均衡 loss精度fp16 溢出关键层用 fp32或用 bf16这个表我基本是背下来的每次出问题先过一遍能解决八成情况。5.4 推理延迟优化的几个实用手段机器人控制对延迟敏感VLA 推理延迟优化是绕不开的。我总结的几个手段动作分块action chunking一次推理输出未来多步动作减少推理频率。这是 VLA 里最有效的优化能把推理频率降一个数量级KV cache 复用视觉和语言部分的 KV 在相邻帧间变化不大可以复用量化int8 或 int4 量化能省显存和带宽但要注意精度损失专家缓存MoE 里高频激活的专家常驻显存低频的按需加载异步推理推理和控制解耦控制循环不等推理结果用上一帧的动作。动作分块是我最推荐的几乎无脑有效。但要注意分块长度和任务时间尺度的匹配分块太长会导致对突发情况反应迟钝。5.5 跨本体泛化失败的典型表现与对策跨本体泛化失败通常表现为在训练见过的本体上表现好换新本体就崩。对策有几个层次数据层增加本体多样性哪怕每个本体的数据量少一点多样性比单本体数据量更重要结构层用 embodiment token 显式区分本体让模型知道自己在控制什么训练层用本体随机 dropout训练时随机屏蔽 embodiment token逼模型学本体无关的表征适配层新本体上做少量微调few-shot fine-tuning几十条轨迹就能适配。我实测下来embodiment token 本体 dropout 的组合最有效能让新本体的 zero-shot 成功率提升明显。如果还不行再上 few-shot 微调。6. 从这篇工作看 VLA 落地的现实路径聊完技术细节说点更宏观的观察。LingBot-VLA 2.0 这类工作其实在回答一个很现实的问题VLA 到底怎么从实验室走到产线我的判断是路径大概是这样的先在单一场景、单一本体上跑通闭环证明 VLA 比传统方案有优势然后通过多本体数据积累把泛化能力做上去最后通过 MoE 这类架构把容量和效率的平衡做好让推理成本降到可接受。LingBot-VLA 2.0 在第二步和第三步上都给出了可参考的方案。但落地还有几个非技术问题绕不开数据采集成本、真机维护成本、安全合规。6 万小时数据听着多但分摊到 20 种本体、多种场景每种组合的数据量其实有限。怎么用有限数据撬动最大泛化是接下来所有 VLA 工作都要面对的。我个人在实际操作中的体会是VLA 的瓶颈往往不在模型本身而在数据和工程。模型结构再漂亮数据不干净、部署不顺畅照样跑不起来。所以如果你在做类似项目我的建议是把 60% 的精力放在数据管线和部署链路上40% 放在模型上。这个比例听起来反直觉但踩过坑的人都懂。最后再分享一个小技巧做跨本体训练时先在小规模数据上验证 embodiment token 和 mask 机制是否正确再上全量数据。我见过有人直接上全量训了一周才发现 mask 写反了padding 维度参与了 loss 计算白烧了一周算力。这种低级错误小规模验证十分钟就能发现。