给机器人一个“视觉思维链”——先想象下一步长什么样再决定怎么动 原文信息论文标题CoT-VLA: Visual Chain-of-Thought Reasoning for Vision-Language-Action Models作者团队Qingqing Zhao, Yao Lu, Moo Jin Kim, Zipeng Fu, Zhuoyang Zhang, Yecheng Wu, Zhaoshuo Li, Qianli Ma, Song Han, Chelsea Finn, Ankur Handa, Ming-Yu Liu, Donglai Xiang, Gordon Wetzstein, Tsung-Yi LinNVIDIA Research 多所高校联合团队发表会议CVPR 2025论文地址CVPR OpenAccess | 项目主页荣誉CVPR 2025Highlight Paper一、这篇论文在做什么CoT-VLA要做的事情可以用一句话概括让机器人在执行动作之前先“想象”一下下一步的视觉目标。具体来说给定当前观察到的画面和一段文字指令CoT-VLA不会直接输出控制信号而是会先生成一个“子目标图像”subgoal image——也就是机器人认为执行完下一步之后画面应该变成什么样子。然后基于这个“想象出来的画面”模型再生成一系列具体的动作指令。一句话概括以前的VLA是“看到→做到”CoT-VLA是“看到→想到→做到”。多了一个“想”的步骤效果天差地别。二、研究背景VLA模型遇到了什么瓶颈2.1 什么是VLA模型VLAVision-Language-Action Model视觉-语言-动作模型是近年来机器人学习领域最热门的方向之一。它的核心思想是把视觉输入、语言指令和机器人动作放在同一个模型里端到端地训练让机器人像人一样“看到画面听懂指令→做出动作”。VLA模型之所以重要是因为它打破了传统机器人控制的两个壁垒泛化能力传统机器人策略针对特定任务训练换个场景就失效。VLA模型借助大规模预训练能够理解从未见过的物体和场景。多模态融合机器人需要同时处理视觉信息看到了什么和语言信息要做什么VLA模型天然支持这种多模态输入。2.2 当前VLA模型的根本问题尽管VLA模型已经展现出了惊人的潜力但现有方法存在一个致命缺陷它们只学习“输入→输出”的直接映射缺少中间的推理步骤。什么意思呢想象一下人类在完成“把杯子放到托盘上”这个任务时大脑里会有一个心理画面——“我的手抓住杯子→杯子被提起→移动到托盘上方→放下”。但现有的VLA模型没有这个“想象”的过程。它们只是把当前的像素和指令“喂”进神经网络直接输出电机角度。这种“端到端黑盒”的做法在简单任务上效果不错但一旦任务变复杂需要多步推理、需要理解因果关系模型就会显得“笨拙”——缺乏时间规划和推理能力。三、CoT-VLA的核心思想给机器人装上“视觉思维链”3.1 什么是“视觉思维链”“思维链”Chain-of-ThoughtCoT这个概念大家应该不陌生——在LLM中让模型“一步一步思考”再给出答案能显著提升推理能力。CoT-VLA的核心创新在于把文本思维链推广到了视觉领域。模型不再用文字来“思考”而是用图像来“思考”。具体来说CoT-VLA在预测动作之前会自回归地生成未来的图像帧作为视觉目标visual goals然后再生成一段短动作序列来实现这些目标。如果说文本思维链是“在脑子里用语言推理”那么视觉思维链就是“在脑子里放电影”——机器人先在大脑里“播放”下一步的画面再根据这个画面决定怎么动。3.2 一个直观的例子想象一个任务“把红色的方块推到蓝色的圆圈里”。传统VLA看到画面→直接输出机械臂的关节角度。它“知道”该怎么做但不知道为什么。CoT-VLA看到画面→先生成一个“想象图”红色方块出现在蓝色圆圈上方→然后输出动作序列去实现这个想象图。这个“想象图”就是可解释的中间推理步骤——我们人类可以看到模型在想什么而不是一个完全的黑盒。四、CoT-VLA的技术架构4.1 基础模型选择CoT-VLA构建在VILA-U之上——这是一个在交错的文本-图像数据上预训练的多模态生成模型。选择VILA-U的原因在于它具备两个关键能力理解图像能够从视觉输入中提取语义信息。生成图像能够根据上下文生成新的图像内容。这让CoT-VLA可以同时处理“理解”和“想象”两个任务。4.2 两阶段训练策略CoT-VLA的训练分为两个阶段第一阶段在机器人演示数据上训练使用真实的机器人操作数据包含图像观察、语言指令、动作序列让模型学会基本的“视觉→动作”映射。第二阶段在无动作视频上训练这是最关键的一步。CoT-VLA还利用了大量没有动作标注的视频数据比如YouTube上的操作视频来强化“视觉预测”能力。模型学会观察一系列图像帧预测下一帧会变成什么样——这就是“视觉思维链”能力的来源。这意味着CoT-VLA可以利用海量的互联网视频数据来提升推理能力而不只依赖昂贵的机器人演示数据。4.3 推理时的两种注意力机制CoT-VLA在推理时使用了两种不同的注意力机制阶段注意力类型作用生成子目标图像因果注意力Causal Attention逐帧生成未来的视觉目标每一帧只能看到过去的信息生成动作序列全注意力Full Attention基于完整的上下文观察子目标生成动作序列这种设计保证了模型在“想象”时是有序的、一步一步的而在“执行”时能充分利用所有信息。4.4 闭环控制CoT-VLA采用闭环控制方式运行执行完预测的动作序列后模型会捕获新的观察画面然后重新进行推理。这意味着模型会不断根据实际执行结果调整自己的计划而不是“一条路走到黑”。五、实验结果CoT-VLA到底有多强5.1 Franka-Tabletop基准测试在Franka机械臂的桌面操作任务中CoT-VLA在六个不同的操作任务上进行了评估覆盖单指令和多指令两种场景。关键结果CoT-VLA在所有任务上取得了最佳平均性能在单指令和多指令场景中都表现出了强大的能力。5.2 LIBERO基准测试LIBERO是机器人操作领域最权威的基准测试之一。CoT-VLA与两个最先进的VLA模型进行了对比模型平均成功率空间任务物体任务目标任务长时任务Octo微调72.4%78.3%68.3%79.2%50.5%OpenVLA微调75.1%78.9%85.7%84.6%51.1%CoT-VLAours76.5%84.7%88.4%91.6%53.7%关键观察CoT-VLA在所有指标上全面超越了两个最强的基线模型。在空间任务上CoT-VLA比OpenVLA高出5.8个百分点84.7% vs 78.9%。在目标导向任务上CoT-VLA比OpenVLA高出7.0个百分点91.6% vs 84.6%。在最具挑战性的长时任务Long Horizon上CoT-VLA也取得了最佳成绩53.7% vs 51.1%。这些数据说明“先想象、后行动”的策略在复杂的长时任务中尤其有效——这正是传统VLA模型最薄弱的环节。5.3 真实世界实验除了仿真环境CoT-VLA还在真实世界的Franka机械臂上进行了验证。研究团队展示了机器人执行任务时的画面绿色边框与模型生成的子目标图像黄色边框的对比。关键发现模型生成的子目标图像与真实执行结果高度一致证明了视觉思维链的有效性——模型“想象”的画面和实际发生的画面几乎吻合。六、CoT-VLA的技术意义与产业影响6.1 对AI研究的意义维度意义可解释性首次在VLA中引入显式的视觉推理步骤模型“在想什么”变得可视化数据效率可以利用无动作标注的视频数据来训练大幅降低数据采集成本长时任务在长时任务上取得了显著的性能提升打破了VLA的“短视”瓶颈范式创新将LLM中的思维链范式成功迁移到具身智能开辟了新方向6.2 对机器人产业的潜在影响更可靠的工业机器人在复杂装配任务中机器人可以“预演”每一步再执行减少错误。更智能的服务机器人在家庭环境中机器人可以理解“把餐桌收拾干净”这类高层次指令自行规划步骤。更低的数据门槛利用互联网视频进行训练意味着不需要为每个新任务重新采集大量机器人演示数据。七、论文信息速查项目详情论文标题CoT-VLA: Visual Chain-of-Thought Reasoning for Vision-Language-Action Models会议CVPR 2025荣誉Highlight Paper论文链接CVPR OpenAccess项目主页NVIDIA ResearchPDF下载CVPR页面提供PDF代码与模型项目主页已开源八、写在最后CoT-VLA的核心贡献可以用一句话概括让机器人在行动前先“脑补”画面。这个看似简单的“先想再做”的改动实际上解决了VLA模型最根本的问题——缺乏推理能力。传统VLA模型是一个“输入→输出”的黑盒而CoT-VLA把中间推理步骤显式地呈现为图像让模型变得可解释、可调试、可信任。更重要的是CoT-VLA证明了思维链范式可以从文本领域迁移到视觉-动作领域。这为未来具身智能的研究打开了一扇新的大门——也许未来的机器人不仅会“想”还会“想象”甚至会在大脑里“排练”各种可能的行动方案然后选择最优的那个。正如论文作者所说“我们通过在生成动作之前自回归地预测未来的图像帧作为视觉目标将明确的视觉思维链推理融入到VLA模型中。”这一步让机器人从“条件反射”走向了“深思熟虑”。本文为CVPR 2025 Highlight论文CoT-VLA的精读笔记旨在帮助中文读者快速理解该工作的核心贡献与技术细节。 延伸阅读如果你对CoT-VLA感兴趣还可以关注VILA-UCoT-VLA所基于的多模态基础模型OpenVLA论文中对比的另一个开源VLA模型LIBERO基准测试机器人操作领域最权威的评测平台NVIDIA CosmosCoT-VLA项目所属的NVIDIA研究实验室互动话题你觉得“让AI先想象再行动”这个思路除了机器人控制之外还可以应用在哪些领域欢迎在评论区讨论
CoT-VLA：CVPR 2025 Highlight，英伟达让机器人在行动前先“脑补”画面
发布时间：2026/7/8 3:38:21
给机器人一个“视觉思维链”——先想象下一步长什么样再决定怎么动 原文信息论文标题CoT-VLA: Visual Chain-of-Thought Reasoning for Vision-Language-Action Models作者团队Qingqing Zhao, Yao Lu, Moo Jin Kim, Zipeng Fu, Zhuoyang Zhang, Yecheng Wu, Zhaoshuo Li, Qianli Ma, Song Han, Chelsea Finn, Ankur Handa, Ming-Yu Liu, Donglai Xiang, Gordon Wetzstein, Tsung-Yi LinNVIDIA Research 多所高校联合团队发表会议CVPR 2025论文地址CVPR OpenAccess | 项目主页荣誉CVPR 2025Highlight Paper一、这篇论文在做什么CoT-VLA要做的事情可以用一句话概括让机器人在执行动作之前先“想象”一下下一步的视觉目标。具体来说给定当前观察到的画面和一段文字指令CoT-VLA不会直接输出控制信号而是会先生成一个“子目标图像”subgoal image——也就是机器人认为执行完下一步之后画面应该变成什么样子。然后基于这个“想象出来的画面”模型再生成一系列具体的动作指令。一句话概括以前的VLA是“看到→做到”CoT-VLA是“看到→想到→做到”。多了一个“想”的步骤效果天差地别。二、研究背景VLA模型遇到了什么瓶颈2.1 什么是VLA模型VLAVision-Language-Action Model视觉-语言-动作模型是近年来机器人学习领域最热门的方向之一。它的核心思想是把视觉输入、语言指令和机器人动作放在同一个模型里端到端地训练让机器人像人一样“看到画面听懂指令→做出动作”。VLA模型之所以重要是因为它打破了传统机器人控制的两个壁垒泛化能力传统机器人策略针对特定任务训练换个场景就失效。VLA模型借助大规模预训练能够理解从未见过的物体和场景。多模态融合机器人需要同时处理视觉信息看到了什么和语言信息要做什么VLA模型天然支持这种多模态输入。2.2 当前VLA模型的根本问题尽管VLA模型已经展现出了惊人的潜力但现有方法存在一个致命缺陷它们只学习“输入→输出”的直接映射缺少中间的推理步骤。什么意思呢想象一下人类在完成“把杯子放到托盘上”这个任务时大脑里会有一个心理画面——“我的手抓住杯子→杯子被提起→移动到托盘上方→放下”。但现有的VLA模型没有这个“想象”的过程。它们只是把当前的像素和指令“喂”进神经网络直接输出电机角度。这种“端到端黑盒”的做法在简单任务上效果不错但一旦任务变复杂需要多步推理、需要理解因果关系模型就会显得“笨拙”——缺乏时间规划和推理能力。三、CoT-VLA的核心思想给机器人装上“视觉思维链”3.1 什么是“视觉思维链”“思维链”Chain-of-ThoughtCoT这个概念大家应该不陌生——在LLM中让模型“一步一步思考”再给出答案能显著提升推理能力。CoT-VLA的核心创新在于把文本思维链推广到了视觉领域。模型不再用文字来“思考”而是用图像来“思考”。具体来说CoT-VLA在预测动作之前会自回归地生成未来的图像帧作为视觉目标visual goals然后再生成一段短动作序列来实现这些目标。如果说文本思维链是“在脑子里用语言推理”那么视觉思维链就是“在脑子里放电影”——机器人先在大脑里“播放”下一步的画面再根据这个画面决定怎么动。3.2 一个直观的例子想象一个任务“把红色的方块推到蓝色的圆圈里”。传统VLA看到画面→直接输出机械臂的关节角度。它“知道”该怎么做但不知道为什么。CoT-VLA看到画面→先生成一个“想象图”红色方块出现在蓝色圆圈上方→然后输出动作序列去实现这个想象图。这个“想象图”就是可解释的中间推理步骤——我们人类可以看到模型在想什么而不是一个完全的黑盒。四、CoT-VLA的技术架构4.1 基础模型选择CoT-VLA构建在VILA-U之上——这是一个在交错的文本-图像数据上预训练的多模态生成模型。选择VILA-U的原因在于它具备两个关键能力理解图像能够从视觉输入中提取语义信息。生成图像能够根据上下文生成新的图像内容。这让CoT-VLA可以同时处理“理解”和“想象”两个任务。4.2 两阶段训练策略CoT-VLA的训练分为两个阶段第一阶段在机器人演示数据上训练使用真实的机器人操作数据包含图像观察、语言指令、动作序列让模型学会基本的“视觉→动作”映射。第二阶段在无动作视频上训练这是最关键的一步。CoT-VLA还利用了大量没有动作标注的视频数据比如YouTube上的操作视频来强化“视觉预测”能力。模型学会观察一系列图像帧预测下一帧会变成什么样——这就是“视觉思维链”能力的来源。这意味着CoT-VLA可以利用海量的互联网视频数据来提升推理能力而不只依赖昂贵的机器人演示数据。4.3 推理时的两种注意力机制CoT-VLA在推理时使用了两种不同的注意力机制阶段注意力类型作用生成子目标图像因果注意力Causal Attention逐帧生成未来的视觉目标每一帧只能看到过去的信息生成动作序列全注意力Full Attention基于完整的上下文观察子目标生成动作序列这种设计保证了模型在“想象”时是有序的、一步一步的而在“执行”时能充分利用所有信息。4.4 闭环控制CoT-VLA采用闭环控制方式运行执行完预测的动作序列后模型会捕获新的观察画面然后重新进行推理。这意味着模型会不断根据实际执行结果调整自己的计划而不是“一条路走到黑”。五、实验结果CoT-VLA到底有多强5.1 Franka-Tabletop基准测试在Franka机械臂的桌面操作任务中CoT-VLA在六个不同的操作任务上进行了评估覆盖单指令和多指令两种场景。关键结果CoT-VLA在所有任务上取得了最佳平均性能在单指令和多指令场景中都表现出了强大的能力。5.2 LIBERO基准测试LIBERO是机器人操作领域最权威的基准测试之一。CoT-VLA与两个最先进的VLA模型进行了对比模型平均成功率空间任务物体任务目标任务长时任务Octo微调72.4%78.3%68.3%79.2%50.5%OpenVLA微调75.1%78.9%85.7%84.6%51.1%CoT-VLAours76.5%84.7%88.4%91.6%53.7%关键观察CoT-VLA在所有指标上全面超越了两个最强的基线模型。在空间任务上CoT-VLA比OpenVLA高出5.8个百分点84.7% vs 78.9%。在目标导向任务上CoT-VLA比OpenVLA高出7.0个百分点91.6% vs 84.6%。在最具挑战性的长时任务Long Horizon上CoT-VLA也取得了最佳成绩53.7% vs 51.1%。这些数据说明“先想象、后行动”的策略在复杂的长时任务中尤其有效——这正是传统VLA模型最薄弱的环节。5.3 真实世界实验除了仿真环境CoT-VLA还在真实世界的Franka机械臂上进行了验证。研究团队展示了机器人执行任务时的画面绿色边框与模型生成的子目标图像黄色边框的对比。关键发现模型生成的子目标图像与真实执行结果高度一致证明了视觉思维链的有效性——模型“想象”的画面和实际发生的画面几乎吻合。六、CoT-VLA的技术意义与产业影响6.1 对AI研究的意义维度意义可解释性首次在VLA中引入显式的视觉推理步骤模型“在想什么”变得可视化数据效率可以利用无动作标注的视频数据来训练大幅降低数据采集成本长时任务在长时任务上取得了显著的性能提升打破了VLA的“短视”瓶颈范式创新将LLM中的思维链范式成功迁移到具身智能开辟了新方向6.2 对机器人产业的潜在影响更可靠的工业机器人在复杂装配任务中机器人可以“预演”每一步再执行减少错误。更智能的服务机器人在家庭环境中机器人可以理解“把餐桌收拾干净”这类高层次指令自行规划步骤。更低的数据门槛利用互联网视频进行训练意味着不需要为每个新任务重新采集大量机器人演示数据。七、论文信息速查项目详情论文标题CoT-VLA: Visual Chain-of-Thought Reasoning for Vision-Language-Action Models会议CVPR 2025荣誉Highlight Paper论文链接CVPR OpenAccess项目主页NVIDIA ResearchPDF下载CVPR页面提供PDF代码与模型项目主页已开源八、写在最后CoT-VLA的核心贡献可以用一句话概括让机器人在行动前先“脑补”画面。这个看似简单的“先想再做”的改动实际上解决了VLA模型最根本的问题——缺乏推理能力。传统VLA模型是一个“输入→输出”的黑盒而CoT-VLA把中间推理步骤显式地呈现为图像让模型变得可解释、可调试、可信任。更重要的是CoT-VLA证明了思维链范式可以从文本领域迁移到视觉-动作领域。这为未来具身智能的研究打开了一扇新的大门——也许未来的机器人不仅会“想”还会“想象”甚至会在大脑里“排练”各种可能的行动方案然后选择最优的那个。正如论文作者所说“我们通过在生成动作之前自回归地预测未来的图像帧作为视觉目标将明确的视觉思维链推理融入到VLA模型中。”这一步让机器人从“条件反射”走向了“深思熟虑”。本文为CVPR 2025 Highlight论文CoT-VLA的精读笔记旨在帮助中文读者快速理解该工作的核心贡献与技术细节。 延伸阅读如果你对CoT-VLA感兴趣还可以关注VILA-UCoT-VLA所基于的多模态基础模型OpenVLA论文中对比的另一个开源VLA模型LIBERO基准测试机器人操作领域最权威的评测平台NVIDIA CosmosCoT-VLA项目所属的NVIDIA研究实验室互动话题你觉得“让AI先想象再行动”这个思路除了机器人控制之外还可以应用在哪些领域欢迎在评论区讨论
