引言想象一个场景你对家里的机器人说“帮我把茶几上那本红色的书拿过来。”传统机器人的内心OS红色红色是哪个红色先跑一遍YOLO检测所有物体 → 找到红色物体 → 深度相机算3D位置 → 路径规划器算轨迹 → 逆运动学算关节角度 → PID控制器发指令 → 等等这个红色到底是书皮的红还是杯子的红VLA机器人的内心OS懂了。直接伸手拿这就是VLA带来的改变。一、VLA是什么V Vision视觉看懂图像认出物体、场景、空间关系L Language语言理解人话“红色的书”和“那本红色的书”是同一个意思A Action动作输出机器人关节角度、夹爪开度让机器人动起来一句话总结VLA 给机器人装了一个“看得懂、听得懂、做得出”的大脑。⚠️ 注意VLA ≠ VLM。VLM只能“看”和“说”比如给一张图它能描述图片内容。VLA在此基础上还能“做”——直接输出机器人动作指令。简单的讲VLM是解说员只负责“看”和“说”VLA是运动员既要负责“看”和“说”还要“做”。二、为什么要VLA——传统方案的痛点一个“拿杯子”的任务传统机器人要走完下面这条流水线YOLO检测 → 姿态估计 → 路径规划 → 逆运动学 → PID控制五个模块各自为政每个模块独立开发、独立训练、独立调试每个模块有自己的目标函数YOLO追求mAP高规划器追求路径短PID追求跟踪误差小全局来看它们的目标是不一致的结果就是误差累积YOLO检测偏了1厘米到最终抓取可能偏了5厘米泛化差换一个场景、换一个物体很多模块要重新调参维护成本高任何一个模块升级整个系统都要重新联调图1.传统方案 vs VLA 对比图三、VLA的核心思想——端到端传统方案为什么不行因为它不是一个模型在战斗而是五个模块在接力。VLA的方案完全不同端到端。什么叫端到端就是输入直接到输出中间没有人为划分的模块。一个类比帮你理解想象做饭这件事。传统方案是流水线A洗菜、B切菜、C炒菜、D装盘。每个人只知道自己这一步菜不好吃不知道是谁的问题也没办法让所有人一起改进。VLA是一个全能厨师从洗菜到装盘一个人搞定。他能根据最终菜好不好吃调整自己的每一个步骤。所有环节联合优化目标一致。在VLA里输入图像 文本指令↓一个巨大的神经网络VLM 动作解码器↓输出7维动作向量 [x, y, z, roll, pitch, yaw, gripper]没有YOLO、没有规划器、没有逆运动学。 所有参数为同一个目标优化——让最终动作最准。四、传统方案 vs VLA方案——训练方式的对比传统方案怎么训练五个模块每个都需要单独训练YOLO需要几千张标注了边界框的图像深度估计需要带深度标注的数据规划器需要手工调参逆运动学需要精确的机器人运动学模型PID需要现场整定参数每个模块的数据要求和训练成本都很高而且换一个机器人、换一个场景很多工作要重做。VLA怎么训练两步走第一步预训练什么叫预训练想象一个小孩先让他看大量绘本、听大人说话、看动画片他慢慢学会了“红色”、“杯子”、“拿”这些概念这个过程不需要刻意教靠海量数据自然习得对于VLA预训练就是用互联网上几十亿张“图片文字描述”的数据训练一个VLM视觉语言模型。模型学会了识别物体杯子、书、椅子理解语言“红色”、“拿”、“给我”知道物体的功能杯子能装水、椅子能坐第二步微调在预训练好的VLM基础上加上一个动作解码器再用少量几百到几千条机器人操作数据训练让模型学会把“理解”转化成“动作”。为什么预训练能提高数据效率没有预训练模型要从零学“什么是红色”、“什么是杯子”、“什么是拿”需要海量的机器人数据10万条有预训练模型已经知道了这些概念只需要学“如何把理解转化为关节角度”这一件事1000条就够了数据需求从10万条降到1000条这就是预训练的价值。五、VLA的工作过程——从输入到输出的完整流程说了这么多VLA到底是怎么工作的我们走一遍完整流程Step 1输入用户给出一张桌面图像 一句指令“把红色杯子拿给我。”Step 2VLM理解VLM视觉语言模型处理输入视觉编码器如ViT提取图像特征识别出桌面上的物体红色杯子、蓝色碗、银色勺子语言编码器理解指令“红色”修饰“杯子”“拿”是要执行的动词“给我”表示目标位置融合后输出一个“语义理解向量”包含了“我要抓那个红色的杯子”这个意图Step 3动作解码语义向量传递给动作解码器如果是MLP解码器直接映射成7维动作向量 [x, y, z, roll, pitch, yaw, gripper]如果是Diffusion解码器从随机噪声开始经过多步去噪逐步逼近精确的动作向量 [x, y, z, roll, pitch, yaw, gripper]注这7个参数描述的是机械臂末端执行器比如夹爪的位置、朝向和开合状态是机器人控制中最常用的表示方式。下面逐一解释表1.位置参数平移参数含义单位说明x末端在空间中的左右位置米或毫米通常相对于机器人基座坐标系或世界坐标系y末端在空间中的前后位置米或毫米垂直于x轴的水平方向z末端在空间中的上下位置米或毫米垂直方向向上为正这三个参数决定了夹爪要移动到空间的哪个点。比如(0.3, 0.1, 0.05)表示在机器人前方0.3米、右侧0.1米、离地0.05米的位置。表2.姿态参数旋转参数含义单位说明roll翻滚角绕x轴旋转弧度或度像飞机侧倾一样夹爪绕自身x轴转动pitch俯仰角绕y轴旋转弧度或度像点头一样夹爪绕自身y轴转动yaw偏航角绕z轴旋转弧度或度像摇头一样夹爪绕自身z轴转动这三个角度合起来决定了夹爪朝哪个方向。比如 (0, π/2, 0)表示夹爪竖直向下pitch90°适合从正上方抓取物体。表3.夹爪参数参数含义范围说明gripper夹爪开合度通常 0~1 或 0~1000表示完全闭合夹紧1表示完全张开松开有些模型也用gripper_width表示实际开口宽度毫米。一个完整的例子假设你给机器人下达指令“抓取桌面上的一颗草莓”VLA模型可能输出[0.25, 0.10, 0.03, 0, 1.57, 0, 0.8]意思是位置移动到桌面x0.25m, y0.10m, z0.03m姿态pitch1.57弧度≈90°即夹爪竖直向下对准草莓夹爪先张开到0.8准备抓取然后闭合到0抓牢Step 4执行机器人控制器接收这7个数值驱动电机运动机械臂伸向红色杯子夹爪闭合拿起杯子。整个过程从像素到关节角度一步到位没有中间模块。这就是端到端的力量。图2VLA 工作过程Step 1~4六、VLA的结构——两代架构对比第一代VLM MLP代表RT-2、OpenVLAVLM → MLP → 动作就像一个高中生直接参加高考——VLM是学霸但MLP这个“答题卡”太简陋只能填ABCD没法写作文。问题动作精度受限无法建模多模态动作同一个指令有多种合理抓法MLP只能选一个第二代VLM Diffusion解码器代表π₀、CogACTVLM → Diffusion解码器 → 动作就像学霸配了一个专业顾问——VLM负责“理解题意”Diffusion负责“写出满分作文”。这就是所谓的“双层专家系统”上层专家VLM管认知——看见什么、听明白什么、该做什么下层专家Diffusion管执行——具体动作怎么生成能建模多种可能的动作优势Diffusion能建模多模态动作从左边抓还是右边抓都可以精度更高更灵活图3VLA 两代架构对比七、VLA的好处端到端不甩锅所有模块联合优化目标一致让最终动作最准。不像传统方案YOLO和规划器互相甩锅。泛化强能举一反三VLM在互联网上学过“红色”、“杯子”、“拿”这些概念所以即使没见过某个特定的红色杯子也能正确处理。传统方案换个杯子就得重新标数据。数据效率高预训练让模型先学会看和说微调只需要少量机器人数据就能学会做。从10万条降到1000条成本大幅降低。八、VLA的挑战——别把话说太满VLA当然不是万能的数据贵真实机器人数据采集成本极高1000条示教也要几天时间黑盒模型出了问题很难排查是看错了还是想错了慢大模型推理速度远达不到实时控制的要求目前几十到几百毫秒泛化有天花板换一个完全没见过的场景还是会翻车九、未来方向1.VLA 世界模型VLA负责决策世界模型比如你之前学的BWM负责预测。两者结合可以实现“先想象再行动”——机器人在脑子里预演一遍再动手。2. VLA 强化学习VLA提供初始策略RL在真实环境中进一步优化越做越好。3.VLA 人形机器人随着人形机器人硬件成熟VLA将成为其“大脑”的核心架构。十、结尾互动VLA正在从“能看懂”走向“能做事”。它不一定是最完美的方案但无疑是具身智能领域最有想象力的方向之一。最后问大家一个问题你觉得VLA离走进家庭还有多远评论区聊聊。
机器人终于能听懂人话了？VLA模型把YOLO+规划器+控制器一锅端了
发布时间：2026/7/17 3:52:30
引言想象一个场景你对家里的机器人说“帮我把茶几上那本红色的书拿过来。”传统机器人的内心OS红色红色是哪个红色先跑一遍YOLO检测所有物体 → 找到红色物体 → 深度相机算3D位置 → 路径规划器算轨迹 → 逆运动学算关节角度 → PID控制器发指令 → 等等这个红色到底是书皮的红还是杯子的红VLA机器人的内心OS懂了。直接伸手拿这就是VLA带来的改变。一、VLA是什么V Vision视觉看懂图像认出物体、场景、空间关系L Language语言理解人话“红色的书”和“那本红色的书”是同一个意思A Action动作输出机器人关节角度、夹爪开度让机器人动起来一句话总结VLA 给机器人装了一个“看得懂、听得懂、做得出”的大脑。⚠️ 注意VLA ≠ VLM。VLM只能“看”和“说”比如给一张图它能描述图片内容。VLA在此基础上还能“做”——直接输出机器人动作指令。简单的讲VLM是解说员只负责“看”和“说”VLA是运动员既要负责“看”和“说”还要“做”。二、为什么要VLA——传统方案的痛点一个“拿杯子”的任务传统机器人要走完下面这条流水线YOLO检测 → 姿态估计 → 路径规划 → 逆运动学 → PID控制五个模块各自为政每个模块独立开发、独立训练、独立调试每个模块有自己的目标函数YOLO追求mAP高规划器追求路径短PID追求跟踪误差小全局来看它们的目标是不一致的结果就是误差累积YOLO检测偏了1厘米到最终抓取可能偏了5厘米泛化差换一个场景、换一个物体很多模块要重新调参维护成本高任何一个模块升级整个系统都要重新联调图1.传统方案 vs VLA 对比图三、VLA的核心思想——端到端传统方案为什么不行因为它不是一个模型在战斗而是五个模块在接力。VLA的方案完全不同端到端。什么叫端到端就是输入直接到输出中间没有人为划分的模块。一个类比帮你理解想象做饭这件事。传统方案是流水线A洗菜、B切菜、C炒菜、D装盘。每个人只知道自己这一步菜不好吃不知道是谁的问题也没办法让所有人一起改进。VLA是一个全能厨师从洗菜到装盘一个人搞定。他能根据最终菜好不好吃调整自己的每一个步骤。所有环节联合优化目标一致。在VLA里输入图像 文本指令↓一个巨大的神经网络VLM 动作解码器↓输出7维动作向量 [x, y, z, roll, pitch, yaw, gripper]没有YOLO、没有规划器、没有逆运动学。 所有参数为同一个目标优化——让最终动作最准。四、传统方案 vs VLA方案——训练方式的对比传统方案怎么训练五个模块每个都需要单独训练YOLO需要几千张标注了边界框的图像深度估计需要带深度标注的数据规划器需要手工调参逆运动学需要精确的机器人运动学模型PID需要现场整定参数每个模块的数据要求和训练成本都很高而且换一个机器人、换一个场景很多工作要重做。VLA怎么训练两步走第一步预训练什么叫预训练想象一个小孩先让他看大量绘本、听大人说话、看动画片他慢慢学会了“红色”、“杯子”、“拿”这些概念这个过程不需要刻意教靠海量数据自然习得对于VLA预训练就是用互联网上几十亿张“图片文字描述”的数据训练一个VLM视觉语言模型。模型学会了识别物体杯子、书、椅子理解语言“红色”、“拿”、“给我”知道物体的功能杯子能装水、椅子能坐第二步微调在预训练好的VLM基础上加上一个动作解码器再用少量几百到几千条机器人操作数据训练让模型学会把“理解”转化成“动作”。为什么预训练能提高数据效率没有预训练模型要从零学“什么是红色”、“什么是杯子”、“什么是拿”需要海量的机器人数据10万条有预训练模型已经知道了这些概念只需要学“如何把理解转化为关节角度”这一件事1000条就够了数据需求从10万条降到1000条这就是预训练的价值。五、VLA的工作过程——从输入到输出的完整流程说了这么多VLA到底是怎么工作的我们走一遍完整流程Step 1输入用户给出一张桌面图像 一句指令“把红色杯子拿给我。”Step 2VLM理解VLM视觉语言模型处理输入视觉编码器如ViT提取图像特征识别出桌面上的物体红色杯子、蓝色碗、银色勺子语言编码器理解指令“红色”修饰“杯子”“拿”是要执行的动词“给我”表示目标位置融合后输出一个“语义理解向量”包含了“我要抓那个红色的杯子”这个意图Step 3动作解码语义向量传递给动作解码器如果是MLP解码器直接映射成7维动作向量 [x, y, z, roll, pitch, yaw, gripper]如果是Diffusion解码器从随机噪声开始经过多步去噪逐步逼近精确的动作向量 [x, y, z, roll, pitch, yaw, gripper]注这7个参数描述的是机械臂末端执行器比如夹爪的位置、朝向和开合状态是机器人控制中最常用的表示方式。下面逐一解释表1.位置参数平移参数含义单位说明x末端在空间中的左右位置米或毫米通常相对于机器人基座坐标系或世界坐标系y末端在空间中的前后位置米或毫米垂直于x轴的水平方向z末端在空间中的上下位置米或毫米垂直方向向上为正这三个参数决定了夹爪要移动到空间的哪个点。比如(0.3, 0.1, 0.05)表示在机器人前方0.3米、右侧0.1米、离地0.05米的位置。表2.姿态参数旋转参数含义单位说明roll翻滚角绕x轴旋转弧度或度像飞机侧倾一样夹爪绕自身x轴转动pitch俯仰角绕y轴旋转弧度或度像点头一样夹爪绕自身y轴转动yaw偏航角绕z轴旋转弧度或度像摇头一样夹爪绕自身z轴转动这三个角度合起来决定了夹爪朝哪个方向。比如 (0, π/2, 0)表示夹爪竖直向下pitch90°适合从正上方抓取物体。表3.夹爪参数参数含义范围说明gripper夹爪开合度通常 0~1 或 0~1000表示完全闭合夹紧1表示完全张开松开有些模型也用gripper_width表示实际开口宽度毫米。一个完整的例子假设你给机器人下达指令“抓取桌面上的一颗草莓”VLA模型可能输出[0.25, 0.10, 0.03, 0, 1.57, 0, 0.8]意思是位置移动到桌面x0.25m, y0.10m, z0.03m姿态pitch1.57弧度≈90°即夹爪竖直向下对准草莓夹爪先张开到0.8准备抓取然后闭合到0抓牢Step 4执行机器人控制器接收这7个数值驱动电机运动机械臂伸向红色杯子夹爪闭合拿起杯子。整个过程从像素到关节角度一步到位没有中间模块。这就是端到端的力量。图2VLA 工作过程Step 1~4六、VLA的结构——两代架构对比第一代VLM MLP代表RT-2、OpenVLAVLM → MLP → 动作就像一个高中生直接参加高考——VLM是学霸但MLP这个“答题卡”太简陋只能填ABCD没法写作文。问题动作精度受限无法建模多模态动作同一个指令有多种合理抓法MLP只能选一个第二代VLM Diffusion解码器代表π₀、CogACTVLM → Diffusion解码器 → 动作就像学霸配了一个专业顾问——VLM负责“理解题意”Diffusion负责“写出满分作文”。这就是所谓的“双层专家系统”上层专家VLM管认知——看见什么、听明白什么、该做什么下层专家Diffusion管执行——具体动作怎么生成能建模多种可能的动作优势Diffusion能建模多模态动作从左边抓还是右边抓都可以精度更高更灵活图3VLA 两代架构对比七、VLA的好处端到端不甩锅所有模块联合优化目标一致让最终动作最准。不像传统方案YOLO和规划器互相甩锅。泛化强能举一反三VLM在互联网上学过“红色”、“杯子”、“拿”这些概念所以即使没见过某个特定的红色杯子也能正确处理。传统方案换个杯子就得重新标数据。数据效率高预训练让模型先学会看和说微调只需要少量机器人数据就能学会做。从10万条降到1000条成本大幅降低。八、VLA的挑战——别把话说太满VLA当然不是万能的数据贵真实机器人数据采集成本极高1000条示教也要几天时间黑盒模型出了问题很难排查是看错了还是想错了慢大模型推理速度远达不到实时控制的要求目前几十到几百毫秒泛化有天花板换一个完全没见过的场景还是会翻车九、未来方向1.VLA 世界模型VLA负责决策世界模型比如你之前学的BWM负责预测。两者结合可以实现“先想象再行动”——机器人在脑子里预演一遍再动手。2. VLA 强化学习VLA提供初始策略RL在真实环境中进一步优化越做越好。3.VLA 人形机器人随着人形机器人硬件成熟VLA将成为其“大脑”的核心架构。十、结尾互动VLA正在从“能看懂”走向“能做事”。它不一定是最完美的方案但无疑是具身智能领域最有想象力的方向之一。最后问大家一个问题你觉得VLA离走进家庭还有多远评论区聊聊。
