GPT-6 在具身智能领域的测试热度最近被推得很高。很多做机器人、做操作规划、做多模态感知的团队都在用不同方式把 GPT-6 接入自己的系统里做验证。我这边也陆续收到了不少同行分享的测试结果加上自己团队在仿真和真机两条线上跑过几个版本这里基于这些实测经验做一次汇总。这篇文章不是什么官方评测也不会拿一堆蒸馏出来的 benchmark 铺满全文。我更想做的是把近期具身智能领域里 GPT-6 的测试情况按照任务类型、效果表现、方案架构三个维度拆开把我踩过的坑、观察到的边界、以及应对办法写清楚给正在做技术选型或者准备入坑的读者一个相对完整的参考。1. 测试目标与场景设计1.1 测试场景分级从仿真到真机再到底层控制具身智能测试和传统 NLP 任务不一样最大的区别在于环境反馈是物理的、连续的、高成本的。GPT-6 这类大模型即使参数再大、知识再丰富最后也要落到电机能不能转到目标位置、机械臂能不能抓稳一个易碎物体、移动底盘能不能在不撞墙的前提下到达目标点。所以测试场景设计是整个环节里最基础也是最容易被低估的部分。我这边把测试场景分成三个层级实测下来这个分级思路基本靠谱第一层是纯仿真场景。我们用的主要是 Isaac Sim 和 SAPIEN 两个环境跑的任务集中在物体抓取、堆叠、开门、倒水这一类短程操作。仿真环境的优势是迭代快、成本低可以同时并行几百个场景做压力测试。但仿真环境里的物理引擎和真实世界有差距尤其是在接触摩擦、柔性物体形变、光照变化这三个维度上仿真里跑得通的方案到了真机上大概率会出问题。第二层是真机桌面级操作场景。用六自由度机械臂配合 RGB-D 摄像头搭了一个小型操作台。任务包括按照自然语言指令把不同形状的积木放到指定位置、分拣杂物、拧开瓶盖并倒水进杯子。这个层级的测试能比较真实地反映 GPT-6 在感知和规划层面上的能力但执行层面还只是用了简单的 MoveIt 和位置控制没有引入力控和柔顺控制。第三层是带动态反馈的复合场景。以一个轮式移动底盘加机械臂的组合为载体做导航到目标区域-识别目标物体-抓取并搬运-放到指定容器这类长程任务。这个层级主要测试的是模型在多阶段任务中的推理稳定性、容错能力和动态环境适应能力。1.2 评测指标体系具身智能的评测不能只看一个成功率尤其是 GPT-6 这种把感知、规划、对话、反思能力集于一体的模型如果评测维度太单薄很容易得出能跑但没法用或看起来很强但攻坚不动的片面结论。我这里实际用的评测维度有六项供大家参考任务成功率不用多说是硬指标但要注意统一任务终止条件的定义。是机械臂碰到目标物体就算成功还是必须完成抓取并放到指定位置才算定义不同结果会差很多。操作精度直接用毫米级误差来衡量主要针对抓取定位、放置位置、路径轨迹这三个环节。GPT-6 本身不输出关节角度它通常输出的是语义层级的动作描述所以精度表现很大程度上取决于底层执行模块。但这块仍然要测因为模型输出的坐标点或方向向量如果波动太大底层再怎么优化也救不回来。决策延迟是另一个关键指标。从用户输入自然语言指令到机器人开始执行第一个动作这个时间间隔直接决定了交互体验。我们在测试中发现GPT-6 的单次推理在几百毫秒到秒级之间波动和输入上下文的长度、场景物体数量、以及是否触发结构化输出都有关系。交互轮次也很重要测试的是多轮对话控制和动态纠错能力。比如用户中途说不是那个红色的杯子是左边那个大的模型能不能正确理解指代关系并修正原有计划。安全裕度则是我们额外加的一个评测维度。具身智能模型在真实环境中执行动作时碰撞风险、急停响应、超出工作空间的操作都需要单独记录和评估。GPT-6 在规划阶段如果能主动识别危险动作并拒绝执行我会给很高的加分。2. 测试分类从任务维度拆解2.1 感知理解类任务感知理解是具身智能的第一道门槛。GPT-6 在这类任务上的测试核心看几个子能力开放词汇识别、空间关系推理、层级场景理解。开放词汇识别这条我们用的是自建的物体集包含 60 多个日常物体一部分是常见物品另一部分是刻意挑选的低频物品。传统视觉模型一般只能识别在训练集里出现过的类别而 GPT-6 借助其多模态预训练积累对很多没有专门微调过的物体也能给出合理判断。例如让机械臂把那只绿色的马克杯放到托盘里系统能够根据桌面上的视觉信息锁定目标物体这部分表现超出预期。空间关系推理是另一个亮点。让模型回答桌面上哪个物体在红色书本的右边这类问题GPT-6 在多数情况下能正确解码。但当场景中出现物体遮挡、正反关系混淆、多个相近物体同时存在时失败率明显上升。这种问题在纯文本推理中不存在但在物理世界中非常常见尤其是目标物体部分被遮挡的情况模型仍然容易出错。层级场景理解方面GPT-6 的优势在于可以把一个完整操作描述拆解成场景状态-目标子状态-动作序列的结构。不需要额外写解析器模型自己就能将复杂指令分解成可执行步骤。这也为长程任务规划提供了很大帮助。2.2 操作规划类任务操作规划是 GPT-6 在具身智能领域测试中表现最亮眼但也最有争议的部分。先说亮眼的部分。在把厨房台面上散落的厨具全部收纳到抽屉里这类长程任务中GPT-6 规划出的动作序列在人类视角看来非常合理。它会先做分类刀具归刀具、餐具归餐具再决定操作顺序先抓取靠近操作台边缘的物体再处理靠墙的物体最后还考虑了目标位置空间不足时的替代方案。这种规划和过去以行为克隆方式训练出来的模型完全不同行为克隆学的是数据集中出现过的操作模式而 GPT-6 更像是在用常识推理。争议的部分在于GPT-6 输出的操作规划不总是物理可行的。它可能规划出一个很理想的轨迹但这条轨迹在实际环境中会因为碰撞、物体重心偏移、摩擦系数不足等原因无法执行。单纯依赖模型输出而不做底层校验系统很快就会出问题。我团队的解决方案是引入一个轻量级的状态检查器在每一步执行前对模型的输出做一次快速校验不完全依赖模型的判断。在抓取规划方面GPT-6 的表现相对保守。它给出的抓取位置通常是物体正上方或重心附近这对常规形状的物体是安全的但面对不规则物体或者堆叠物体的场景模型仍然倾向于看起来合理但不一定最优的抓取姿态。后续如果要做精准抓取建议把视觉检测和大模型输出做一次融合让模型决策放在更高层的策略层面把精确坐标交给专门的检测模块去做。2.3 多模态协同类任务多模态协同是人类操作物理世界时的核心能力也是 GPT-6 测试中我认为最有前景的方向。具体体现在三个层面上第一个层面是视觉和语言的对齐。指代表达理解Referring Expression Comprehension测试中让模型根据一句话在图像中定位目标。GPT-6 的处理方式不再是传统的检测排序而是真正将文本语义和图像特征做了深度结合。比如指令是那个被阴影遮住的蓝色工具箱模型能够排除表面颜色被污染带来的干扰准确定位到目标。第二个层面是触觉和力觉信息的处理。虽然 GPT-6 本身不是专为触觉感知设计的但在我们测试中把六维力传感器的读数文本化、再作为上下文输入给模型后模型展现出一定的异常感知能力。例如在执行精密装配任务时当力反馈数据出现异常波动模型能够识别出可能发生了卡阻并主动建议回退调整。这说明大模型的隐式推理能力可以覆盖到非传统模态的输入上只要把数据格式统一成模型能理解的形式。第三个层面是语音-语义-空间三者的协同。在语音指令驱动场景中用户说帮我把客厅的绿植搬到窗台上系统需要同时完成语音转文字、空间定位、路径规划和操作推理。GPT-6 在其中扮演的是总调度把原本分散的多个模块串成一条完整链路。实测下来用户指令的意思理解部分做得不错但是真正耗时的地方在于下游模块的响应速度。2.4 交互式学习类任务交互式学习是我个人最关注的一个方向因为它直接关系到具身智能从演示学习走向自主进化。GPT-6 展现出的能力是可以用自然语言对自身行为进行解释和调整。例如让机械臂尝试抓取一个不规则的物体如果第一次抓取失败我们把失败的视觉信息反馈给模型询问刚才为什么失败应该怎么调整模型给出的分析逻辑通常是合理的。它会关注到抓取点选择不当施加力方向不对或目标物体表面太光滑这些因素并给出改进建议。这种能力最大的意义在于它可以替代一部分人工标注和调参工作。在过去机械臂一次抓取失败后需要工程师分析日志、调整参数、重新部署一个来回可能几小时。而 GPT-6 加持后模型可以快速分析失败原因并给出修正意见虽然不是所有建议都能直接生效但至少把调试周期压缩了一个量级。当然交互式学习目前还只能做到模型给建议、系统执行建议还没有真正形成端到端的自主学习闭环。这和底层的强化学习算法、数据收集流程都有关系短期内还不能说 GPT-6 已经能像人类一样从经验中持续进步但方向上我认为是对的。3. 测试效果观察与数据分析3.1 成功率与基线对比在桌面级操作场景中我们做了 GPT-6 和几种常见方案的横向对比基线包括传统视觉-运动规划管线、基于预训练视觉语言模型的方案、以及基于操作大模型的方案。结果大概如下在单物体抓取任务中GPT-6 方案和预训练视觉语言模型方案差距不大成功率都在 85%-90% 区间。在多物体分拣任务中GPT-6 的规划优势开始显现成功率约 82%比传统方案高出约 15 个百分点。在长程多阶段任务中GPT-6 的优势最为明显成功率能够保持在 65% 左右而基线方案普遍低于 40%。长程任务里传统方案的问题在于任务分解不够灵活一旦场景和训练数据有偏差就很容易卡死。GPT-6 的优势在于它能够根据实时视觉信息动态调整子任务的目标和顺序容错能力更强。但也别高兴太早这个成功率是在精心设计的场景里测出来的真机上的表现会有所下降后面我会细说。3.2 失败模式分布拆解失败案例时我们发现GPT-6 主导的系统中主要失败点已经从决策规划环节转移到了感知和底层执行环节。具体数据是感知环节错误约占比 35%包括目标检测漏检、位姿估计偏差、遮挡误判执行环节错误约占比 40%包括抓取滑落、路径碰撞、放置不稳决策规划环节错误仅占比 25%主要是长程任务中的状态跟踪丢失和错误累积。这个分布很有意思。过去用传统模型时失败往往会集中在规划环节因为模型不理解人类指令中的隐含意图。而 GPT-6 把规划和理解这块做得好很多导致短板变成了硬件和底层控制。这其实是好事因为感知和执行问题相对更容易通过传统算法来弥补而规划问题如果模型学不会整个系统等于废了一半。3.3 关键突破零样本泛化与常识推理GPT-6 在具身智能领域最大的突破我认为是它的零样本泛化能力。过去的机器人系统换一个环境、换一类物体往往需要重新训练或收集数据。GPT-6 的优势在于它庞大的先验知识库让系统能应对很多没教过的场景。举个例子。我们在真机上测试了一个任务如果桌上有半杯水和一张纸巾就把水杯移到纸巾旁边防止水洒到桌面上。这个指令在我们搭建的测试集里从来没有出现过但 GPT-6 几乎不需要额外适配就完成了整个任务链路的规划识别水杯位置和纸巾位置、规划移动路径、执行抓取和搬运。虽然中途因为水杯表面反光导致视觉检测闪了一下但整体表现仍然让人印象深刻。常识推理能力同样值得一提。在面对这个箱子里装的是易碎物品请小心搬运这样的隐含指令时模型会自动在规划中增加减速接近降低抓取力度抬高离地距离等保护性策略。这类策略如果靠工程师写规则来实现可能要写几百条 if-else 都覆盖不全而 GD-6 却能从语义层面直接理解。3.4 明显短板长时程漂移与物理常识边界有突破就有短板而且短板还挺突出。第一个短板是长时程状态漂移。在超过 10 个步骤的长周期任务中GPT-6 偶尔会在中间步骤出现忘记初始目标的问题。例如任务最初是把书架上的书全部搬到箱子里但执行到第 8 步时模型可能因为视觉输入的变化开始搬运桌面上不是书架上的书。这种漂移在我们测试中的发生频率大约在 15%-20%不算低。解决方法我们目前是用固定的 Prompt 结构在每一步的执行结果反馈里都带上原始任务描述和已完成步骤的摘要相当于给模型提词。实测漂移率能降到 5% 以内但代价是上下文变长推理速度有所下降。第二个短板是物理世界常识仍然有很大边界。模型知道水往低处流但当面对液体在微重力环境下的行为柔性材料在拉伸过程中的力学变化这类更精细的物理常识时模型的表现就变得不稳定了。这个问题在纯软件场景中不显著但在具身智能中会对可操作物体范围产生直接限制。4. 方案架构具身智能体如何接入 GPT-64.1 感知层接入推荐采用多模态编码器桥接而非直接输入GPT-6 对视觉信息的输入方式和早期模型不同这对具身智能的系统架构有直接影响。如果直接把连续视频帧流灌给模型既不经济也不高效。我们在测试中对比了几种方案最终采用的是多模态编码器桥接模式。具体流程是先用一个轻量级视觉编码器ResNet-50 的蒸馏版或 DINOv2 的小型变体对 RGB-D 图像做特征提取然后把这些特征映射成视觉 Token再和文本 Token 一起送入 GPT-6。这套方案的优点是保留了 GPT-6 的语义理解能力又避免了高频视觉数据直接输入带来的算力开销和延迟问题。这里有一个很关键的设计细节视觉 Token 的密度和采样频率需要根据任务类型动态调整。对于静态场景的目标识别可以每 500ms 采一帧对于动态抓取场景则采样频率要提高到 100ms-200ms 一帧同时降低单帧的分辨率只保留目标区域附近的细节。我们在这个环节调了很多轮参数最后发现分辨率降一点、频率提一点在很多场景下效果反而更好。另外力觉和其他传感器数据的接入方式也可以参考这个思路。六维力传感器的数据序列先经过一个小型的时序编码器转换成一组描述性文本或专用 Token再注入到模型上下文中。测试中发现将力信号转成文本描述接触力异常增大比直接塞原始数值效果更好因为模型在处理符号化描述时更稳定。4.2 决策规划层任务分解与状态管理的双轨结构决策规划层是整套方案的核心也是工作量最大的部分。我们的架构采用的是双轨结构一条轨负责把任务拆解成动作序列另一条轨负责维护场景状态。任务分解轨使用 GPT-6 的自然语言生成能力把用户指令逐步拆解为子任务。在设计 Prompt 时我强烈建议使用结构化输出格式强制模型输出 JSON 形式的结果。例如{ task_id: 1, subtasks: [ {id: 1, type: navigate, target: kitchen_table, description: 导航到餐桌旁}, {id: 2, type: grasp, object: blue_mug, description: 抓取蓝色马克杯}, {id: 3, type: place, target: tray, description: 放置在托盘中} ] }结构化输出最大的好处是方便后续的程序链路直接调用不用再做一次自然语言的二次解析。实测下来JSON 模式的输出稳定性比自然语言模式高出不少特别是在长任务分解时不容易丢字段、不容易格式错乱。状态管理轨负责维护一个实时更新的场景状态表状态表的每一行代表一个当前已知的物体或环境信息包括位置、姿态、状态空闲/占用/已抓取等。每一轮执行完成后状态表都会根据视觉检测结果和动作反馈做一次更新而更新后的状态表又会作为下一轮 Prompt 的上下文输入。这套机制本质上是在给模型加了一副记忆眼镜弥补它在长程任务中的状态漂移问题。双轨结构在实现时要注意两个模块之间的同步节奏。如果状态更新过快会导致模型收到频繁变更的上下文推理输出的稳定性下降如果更新过慢则模型可能基于过期的环境信息做决策。我们最终采用的策略是视觉触发式更新只有检测到场景发生显著变化时才刷新状态表而不是每帧都更新。4.3 执行控制层语义动作到底层控制协议规划层输出的是一系列语义层级的动作描述但这些动作最终要转换成底层控制指令。这一层我的建议是不要指望 GPT-6 直接输出关节角度或 PWM 信号它做不到也不应该让它做。执行控制层最合理的架构是中间表示传统控制器。GPT-6 输出的是类似open_grippermove_to(0.45, 0.32, 0.15)close_gripper_with(0.8)这样的中间语义动作然后由我们开发的一个语义动作解析器将中间表示映射到具体的控制命令。解析器内部其实是一个有限状态机根据当前动作类型分发到不同的控制模块。例如 move_to 动作交给路径规划器MoveIt/RMPgrasp 动作交给抓取控制器结合当前物体的位姿估计navigate 动作交给移动底盘的导航栈。这个环节最需要注意的问题是语义动作的参数精度。GPT-6 生成的坐标通常是语义层面的精度一般在厘米级而很多操作任务要求毫米级精度。处理办法是增加一个精定位步骤当执行器接近目标位置时切换为视觉伺服模式用相机反馈闭环修正位置误差。这样既利用了大模型的全局规划能力又不牺牲底层控制精度。4.4 数据闭环测试日志、场景回放与离线评估一套完整的测试方案架构不能只做在线推理数据闭环同样至关重要。我们在测试中做的第一件事就是全流程日志记录。不仅仅是记录模型输入输出还包括每个时间戳下的视觉帧摘要、底层控制状态、中间状态表快照。这些日志在问题排查中发挥着关键作用。比如系统在执行某个任务时出现异常工程师可以直接回放日志逐帧查看模型在哪个时间点做出了错误判断。第二件重要的事是场景回放工具。我们把测试中记录的关键动作轨迹和状态变化做成可以二次加载的回放文件用一套基于 Python 的可视化工具进行离线分析。这比在线调试效率高得多可以在不打乱真实系统的情况下反复推演。可视化工具本身用 Python 写就行配合 Open3D 或 Matplotlib 就能实现基本功能。第三件事是离线评估脚本。这里不只是简单统计成功率而是把日志中记录的每一步动作和预期动作做对比计算出每个环节的独立误差。例如导航环节成功但抓取环节失败说明问题出在感知或者抓取规划如果抓取环节自身成功率本来就不高那优先优化的是感知模块而不是大模型策略。这样的拆解式评估比只看一个最终成功率要有用得多。5. 常见问题与排查技巧实录5.1 决策延迟偏高别急着升级硬件先检查上下文实测中 GPT-6 在具身智能场景里的决策延迟通常在 300ms-2s 之间波动很剧烈。很多团队遇到延迟高第一反应是换更强的推理卡但我建议先检查 Prompt 上下文长度。我们遇到过一个案例任务开始后系统把每一帧的视觉描述都叠加到上下文中执行到第 5 步时上下文已经超过 8K Token推理速度明显变慢。解决办法是限制上下文窗口只保留最近 3 轮的状态信息同时把原始任务描述和已完成子任务摘要置顶。调整后单次推理时间从 1.8s 降到了 600ms 左右成功率没有明显变化。另外如果只是需要快速判断场景中是否有目标物体可以先用单独的检测模型做一次预过滤只有在检测到目标时才调用模型做高层决策。这种分层策略可以省掉大量无效的大模型调用。5.2 模型输出不稳定的 JSON 或格式错误这是我在实际测试中遇到最频繁的问题之一。即使 Prompt 里明确要求只输出 JSON模型仍然可能夹杂解释性文本或者漏掉某个字段。解决方案有三层第一层是在 Prompt 中给出强约束的输出示例用 few-shot 的方式让模型模仿格式第二层是在代码层面做容错解析用正则表达式将模型输出中最接近 JSON 结构的部分截取出来再做解析第三层是设置重试机制如果解析失败将解析错误信息反馈给模型并请求重新输出。这三层方案叠加后格式错误率能控制在 1% 以内基本不影响主流程。需要提醒的是重试机制里要加一个最大重试次数限制避免因为模型持续输出异常导致整个任务卡死。我们设置的阈值是 3 次超过就直接放弃当前子任务并报告错误。5.3 抓取精度不足需要引入闭环精定位前面提过 GPT-6 输出的坐标精度往往不能满足精确抓取需求这个问题在真机测试中暴露得比仿真中明显得多。仿真环境里物体位置是精确已知的而真机摄像头标定误差、手眼标定误差、机械臂连杆形变都会叠加起来导致最终抓取位置偏差达到 1cm-2cm。解决思路是两步走第一步GPT-6 负责粗定位把机械臂移动到目标物体附近第二步切换到视觉伺服模式用高精度检测模型对目标物体做像素级定位再通过闭环控制调整机械臂末端到准确抓取点。这套粗规划精执行的方案在我们的实测中把抓取成功率从 70% 提高到了 90% 以上。后面看到很多同行分享的方案大体也是这个思路。需要注意的坑是视觉伺服的相机标定精度。手眼标定做不好视觉伺服不仅不能提高精度反而会把机械臂带偏。如果发现加了精定位后成功率不升反降优先检查标定参数。5.4 安全护栏物理系统必须要加最后一道防线无论 GPT-6 的推理能力多强在物理世界做测试安全措施绝不能省。我的建议是安全防线不要依赖大模型要用独立的传统逻辑来控制。我们主要做了三层防护。第一层是速度限制机械臂关节速度上限设置为额定范围的 30%移动底盘速度上限也调低即使模型给出激进的移动指令物理层也不会执行。第二层是碰撞检测配置了基于力矩的碰撞检测机制当机械臂遇到异常阻力时会自动停止避免对设备和环境造成破坏。第三层是急停逻辑如果系统连续执行异常动作或某个状态出现不可自动恢复的错误机器人会发送急停信号所有关节锁死。这套防护逻辑在设计之初就考虑了和 GPT-6 的耦合问题。安全模块独立运行不依赖模型的上下文也不受模型的更新影响。时刻铭记一点大模型可以是大脑但物理世界里的安全机制必须是脊髓反射不能过脑子。6. 对后续方案演进的思考测试做到这个阶段GPT-6 在具身智能领域的整体轮廓已经比较清晰了。它不是一个可以直接驱动的低层控制器而是一个能提供通用常识逻辑推理任务规划的高层认知引擎。真正适合 GPT-6 的角色定位是把复杂的任务指令拆解成可执行的动作序列并持续对环境变化做出合理判断。我认为后续的方案演进会朝着两个方向走。第一个方向是更紧密的感知-模型耦合让模型不再处理稀疏的视觉 Token而是直接在一个可微分渲染的场景表示上推理模型能够更真实地理解物体空间关系。第二个方向是更主动的环境交互能力让模型在遇到不确定情况时主动提出疑问或请求更多信息而不是自己硬猜测、硬执行。这两个方向都还在早期但方向是明确的。对准备尝试 GPT-6 做具身智能的团队我给一个比较实用的建议不要一上来就追求端到端不要想着模型直接输出控制指令。先用感知编码器GPT-6规划传统控制器的混合架构跑通一个最小场景把日志和数据闭环建好再逐步增加模型的决策权限。记住在物理世界中稳定和可控永远是第一位的在这个基础上的智能才有价值。