1. 项目概述与核心问题剖析在机器人技术日新月异的今天让机器人像人一样理解“把桌上的黑色碗拿起来”这样的指令并精准执行是通往通用机器人的关键一步。视觉语言动作模型正是为此而生它将摄像头看到的画面、接收到的语言指令以及机器人自身的状态感知融合成一个统一的策略直接输出控制机械臂和手爪的动作序列。听起来很酷对吧但真正干过机器人部署的人都知道从“能动”到“能干好”中间隔着一道巨大的鸿沟这道鸿沟的名字就叫“精度”。想象一下你让机器人去抓取一个放在桌沿的玻璃杯。模型可能完美理解了“抓取玻璃杯”的意图并规划了一条从起点到杯子的大致轨迹。然而就在最后几厘米由于视觉误差、模型预测偏差或环境扰动机械臂的末端执行器手爪可能偏离了目标几毫米或者手爪闭合的时机早了那么零点几秒。结果就是要么碰倒了杯子要么抓了个空。这种失败往往不是因为机器人“不懂”而是因为它“不够准”。这就是当前大多数VLA模型面临的“动作尺度不匹配”困境模型在训练时需要同时学习跨越整个工作空间的大范围移动宏观运输和接触点附近毫米级的微调微观修正。由于大范围移动的误差信号动作幅度大在损失函数中占主导地位那些微小但决定成败的修正信号很容易被淹没导致模型在需要精细操作的任务上表现不佳。我最近深入研究了北京工业大学和北京航空航天大学联合团队提出的AnchorRefine框架它直指这个痛点。其核心思想非常直观甚至可以说有点“返璞归真”模仿人类。当你伸手去拿水杯时你的大脑并不是一次性计算出每一块肌肉的精确收缩量。你会先快速规划一条大致的伸手路线轨迹锚点然后在接近杯子时根据视觉反馈进行微小的、连续的调整残差细化。AnchorRefine正是将这种“先锚定后细化”的生物启发式策略系统性地引入了VLA模型的训练与推理架构中。简单来说它不再让一个模型“一口吃成胖子”去同时学习所有尺度的动作。而是将其分解一个轨迹锚点规划器负责学习并预测全局的、粗粒度的运动骨架另一个独立的残差细化模块则专门学习如何对这个骨架进行局部、精细的修正。最终执行的动作就是这两部分的叠加。这种层次化的分解让模型能够更专注、更有效地处理不同尺度、不同性质的控制问题尤其是在抓取、插入、对齐等精度关键操控场景下效果提升显著。接下来我将带你深入这个框架的每一个细节看看它是如何工作的以及我们在实践中如何借鉴和应用其思想。2. AnchorRefine 架构深度解析2.1 整体框架与设计哲学AnchorRefine的架构设计清晰地体现了其“分而治之”的哲学。整个系统可以看作是一个两阶段的预测流水线但它并非简单的串行处理而是通过一种巧妙的“目标解耦”来实现功能分离。整个流程始于统一的多模态上下文构建。模型通过视觉编码器、文本编码器和状态编码器分别处理来自多个摄像头的图像、自然语言指令以及机器人的本体感知信息如关节角度、末端位姿。这些信息被编码并拼接成一个共享的上下文表示Z_t。这个上下文是所有后续预测的基础确保了锚点规划和残差细化都基于同一份对当前世界的“理解”。与传统VLA模型直接将Z_t输入一个庞大的动作预测网络不同AnchorRefine引入了两套独立的、可学习的“动作潜在令牌”。你可以把它们想象成两个具有不同职责的“问题专家”锚点潜在令牌ξ_a它的任务是向共享上下文Z_t提问“基于当前场景和指令大致的运动路线应该是怎样的”它驱动着轨迹锚点规划器。细化潜在令牌ξ_r它的任务是提出另一个问题“假设我们已经有了一个大致路线现在需要做哪些细微的调整才能精准到位”它驱动着残差细化模块。这种设计的关键在于两个模块在训练初期是独立学习的但在推理时协同工作。规划器提供运动的“骨架”细化模块提供“肌肉”的微调。最终机械臂的连续动作由两者相加得到A_final A_anchor R_refine。注意这里的一个精妙之处是残差细化模块并不直接将锚点预测A_anchor作为输入特征。相反它通过“目标构建”的方式感知锚点。在训练第二阶段细化模块的学习目标是“真实动作”与“冻结的锚点预测”之间的差值。这意味着细化模块被迫去学习“补全”锚点所缺失的部分而不是简单地记忆或复制锚点的特征这鼓励了它去发现那些被锚点忽略的、细微的修正模式。2.2 轨迹锚点规划器构建全局运动骨架轨迹锚点规划器是整个框架的第一阶段也是基础。它的目标是在原始的动作空间里预测出一个可执行的、粗粒度的动作序列A_anchor。它具体在学什么在训练的第一阶段规划器被给予完整的真实动作序列作为监督目标。由于使用的是标准的回归损失如L1或L2损失模型优化时会优先拟合那些变化显著、对整体损失贡献大的部分——也就是大范围的、连贯的运输运动。例如从桌面中央移动到目标物体上方这一过程其运动幅度远大于最后几厘米的抓取对准。因此规划器会自然而然地先学会捕捉任务的“主干道”运动的整体方向、大致的路径形状、以及接近目标的粗略位姿。为什么称之为“锚点”这里的“锚点”并非一个预先定义好的、手工标注的粗糙路径。它是一个功能性的概念。经过第一阶段的训练后规划器的输出会自动呈现出“骨架”的特性它包含了完成任务所需的主要运动成分但缺失了那些精细的、接触敏感的调整。论文中的统计也证实了这一点将训练好的锚点预测与真实动作对比其残差即差值的幅值和协方差都远小于原始动作。这说明锚点确实“吸收”了动作中占主导地位的、低频率的运输成分留下了一个更紧凑、更易于学习的残差目标供第二阶段使用。实操心得在设计或理解锚点规划器时一个重要的考量是动作序列的预测长度。如果预测窗口太短锚点可能无法形成有意义的全局轨迹如果太长规划器可能难以捕捉长时依赖。在实践中需要根据任务的时间尺度来调整。例如对于快速抓取任务1-2秒的预测窗口可能足够对于包含多个子任务的长期规划可能需要更长的窗口或引入更高层次的时序抽象。2.3 残差细化模块专注局部精密修正当锚点规划器被冻结后第二阶段训练的残差细化模块便开始登场。它的任务非常明确学习预测那个更紧凑的残差目标R* A_gt - A_anchor。学习目标的转变带来的优势目标空间简化残差目标的动态范围数值变化幅度和结构复杂性显著降低。模型不再需要同时建模“从A点移动到B点”的大尺度变换和“旋转5度以对齐”的微调。它只需要专注于后者这本质上将一个复杂的多尺度回归问题简化为了一个更局部的修正问题通常更容易优化收敛更快。功能特化细化模块可以将其全部“注意力”集中在接触点附近的几何偏差上。例如如何微调末端姿态以使夹爪的指尖完美贴合物体表面或者在物体滑动时如何进行即时的位置补偿。这种特化使得模型对执行阶段的误差更加敏感。缓解过平滑许多端到端策略在输出连续动作时容易产生“过平滑”问题即动作看起来合理但缺乏关键时刻的果断变化如快速闭合夹爪。残差细化模块由于目标更尖锐残差可能在接触瞬间有突变有助于保留这些关键的非平滑特征。训练细节在第二阶段锚点规划器的参数被冻结其梯度不再回传。这是为了防止细化模块“偷懒”试图去修改锚点本身来拟合目标从而破坏了两阶段分解的意义。细化模块只能通过调整自己的参数来学习预测那个固定的残差。损失函数直接计算预测残差R_pred与目标残差R*之间的差距。2.4 决策感知的夹爪细化攻克接触边界难题机械臂的6自由度连续运动位置和姿态和夹爪的二元开关控制开/合在性质上截然不同。连续运动天然适合用残差来修正加一点位置调一点角度但夹爪控制本质上是决策问题其失败往往源于决策边界错误机械臂已经到了位置但夹爪闭合的时机早了或晚了零点几秒。AnchorRefine为夹爪控制设计了一个精巧的“决策感知”细化机制这在我看来是其最大的亮点之一。传统方法的局限如果将夹爪作为一个额外的连续维度或简单的二分类任务来回归模型很容易在边界附近如闭合概率为0.49 vs 0.51产生模糊的预测导致在实际执行中犹豫不决或错误切换。决策感知细化的原理生成锚点预测锚点规划器不仅预测连续动作也输出夹爪在每个时间步的闭合概率q_anc通过sigmoid函数得到。计算修正信号细化模块不直接预测夹爪状态而是预测一个修正量r_grip。这个修正量的监督目标设计得非常巧妙首先判断锚点预测的决策q_anc 0.5则认为预测为闭合与真实标签是否一致。如果不一致则产生一个方向信号1 表示应向闭合方向修正-1 表示应向打开方向修正。修正量的目标值大小正比于锚点预测概率与决策边界0.5的距离再加上一个小余量ε。这意味着当锚点预测本身就很接近正确决策时例如概率为0.9需要的修正量小当锚点预测在边界附近摇摆时例如概率为0.55则需要一个更强的修正信号来使其明确地跨越边界。推理合成在推理时将预测的修正量r_grip_pred加到锚点概率q_anc上然后根据新的值是否大于0.5来决定最终夹爪状态。这个设计的精妙之处在于它将一个离散的二分类问题转换为了一个连续的“决策边界偏移量”回归问题。细化模块学习的是“如何调整锚点决策的置信度使其更正确”而不是从头学习夹爪应该开还是合。这更符合问题的本质——夹爪错误通常不是完全随机的而是在接近正确的时机上出现了微小偏差。重要提示在实现这个模块时余量ε是一个需要仔细调节的超参数。设置太小修正可能不足以推动预测跨越决策边界设置太大可能会过度修正干扰原本正确的锚点预测。论文中通常设置一个较小的值如0.1。3. 训练策略与实现要点3.1 两阶段训练流程AnchorRefine采用严格的顺序两阶段训练策略这是保证其层次化分解成功的关键绝不能合并或交替训练。第一阶段锚点规划器训练目标训练轨迹锚点规划器及其基础的夹爪预测头使其能够在原始动作空间里预测出合理的、粗粒度的动作序列。输入多模态观测上下文Z_t。输出粗粒度动作A_anchor和夹爪逻辑值G_anc。损失函数连续动作采用L1或L2损失监督A_anchor逼近真实动作A_gt。夹爪采用二元交叉熵损失监督G_anc经过sigmoid后的概率逼近真实夹爪状态。状态残差细化模块此时不存在或不参与训练。终点训练至损失收敛得到一个稳定的锚点预测器。第二阶段残差细化模块训练目标在冻结的锚点规划器基础上训练残差细化模块和决策感知夹爪细化器。输入同样的多模态观测上下文Z_t。输出连续动作残差R_pred。夹爪决策修正量r_grip_pred。损失函数连续动作残差L1/L2损失监督R_pred逼近目标残差R* A_gt - sg(A_anchor)。sg代表停止梯度确保锚点参数不被更新。夹爪修正量均方误差损失监督r_grip_pred逼近按前述方法计算出的目标修正量r_grip*。总损失为两者加权和L_total L_refine λ * L_gripλ 用于平衡两者尺度通常设为0.01左右。状态锚点规划器参数完全冻结仅细化模块的参数被更新。为什么必须顺序训练如果同时训练两个模块它们很容易“合谋”细化模块可能学习到一个恒为零的输出而锚点规划器则学习去预测全部动作这完全退化回了单阶段模型。顺序训练强制了功能的分离先让一个模块学会抓大放小锚点再让另一个模块学会查漏补缺细化。3.2 骨干网络集成与扩展AnchorRefine是一个框架级的改进而非一个特定的网络架构。这意味着它可以集成到多种现有的VLA骨干模型上。论文中主要展示了在两类主流骨干上的成功基于回归的骨干如GR-1这类模型通常使用Transformer解码器直接回归动作序列。集成时将原来的单一动作预测头替换为并行的锚点头和残差头共享编码器并采用上述两阶段训练。基于扩散的骨干如X-VLA这类模型通过迭代去噪生成动作。集成时可以将去噪过程理解为同时预测锚点和残差或者更常见的是用锚点预测来初始化去噪过程让扩散模型专注于残差空间的细化。论文采用的方式是修改扩散模型的目标使其预测残差而非原始动作。实操心得在选择骨干网络时需要考虑其与AnchorRefine思想的兼容性。对于已经具有较强时序建模能力的扩散模型AnchorRefine带来的提升可能相对温和但依然稳定。对于相对简单的回归模型由于其对复杂动作序列的建模能力有限引入层次化分解带来的性能提升往往更为显著。在资源有限的情况下优先在回归类模型上尝试此框架性价比可能更高。3.3 推理流程与效率考量推理过程是直观且高效的前向传播给定当前观测通过共享编码器得到上下文Z_t。并行预测将Z_t分别输入冻结的锚点规划器和训练好的细化模块。锚点规划器输出A_anchor和夹爪概率q_anc。细化模块输出动作残差R_pred和夹爪修正量r_grip_pred。动作合成连续动作A_final A_anchor R_pred夹爪决策grip_final 1 if (q_anc r_grip_pred) 0.5 else 0执行与循环执行合成后的动作获取新的观测重复上述过程。效率分析由于两个模块共享编码器且推理时是并行计算AnchorRefine相比原始单阶段模型主要增加的是细化模块的解码计算量。这部分开销通常远小于编码器因此整体推理时间的增加是可控的通常在20%以内。对于对实时性要求极高的应用可以通过模型蒸馏等技术将两个模块的知识压缩到一个更小的网络中但这可能会牺牲部分性能。4. 实验效果分析与实战启示4.1 基准测试结果解读论文在LIBERO-Long和CALVIN这两个权威的长时序机器人操作基准上进行了全面测试。结果令人信服在GR-1回归模型上AnchorRefine将LIBERO-Long的成功率从74.5%提升至82.3%CALVIN上的平均完成序列长度也从3.51提升至3.64。这证明了对于能力尚有较大提升空间的模型层次化分解能带来显著的性能增益。在X-VLA扩散模型上即使在已经很强的基线95.8%成功率上AnchorRefine仍能将其提升至97.4%在CALVIN上也实现了全面提升。这说明即使对于先进的模型将全局规划与局部修正解耦依然是有益的。长时序任务增益更明显在CALVIN上需要连续完成5个子任务的挑战中提升幅度最大。这是因为错误在长序列中会累积而局部修正机制能及时纠偏防止任务早期的小偏差导致后期全盘失败。这些数据强有力地支持了核心论点动作生成的层次化分解是提升VLA模型在精度关键任务上表现的有效原则。4.2 核心机制验证与问题排查论文通过细致的机制分析揭示了AnchorRefine为何有效修正方向性分析统计发现细化模块将“锚点失败”的任务转变为“成功”的次数远多于将“锚点成功”转变为“失败”的次数。这说明细化模块主要扮演了“纠错者”而非“破坏者”的角色其修正行为是积极且定向的。训练动态残差目标的损失函数比原始动作目标的损失函数收敛得更快、最终值更低。这直观地证明了“学习残差”确实是一个更简单、更易优化的子问题。目标空间紧凑性如前所述残差目标的统计特性均值和协方差远小于原始动作证实了功能分离的有效性。常见问题与排查思路问题集成AnchorRefine后模型性能没有提升甚至下降。排查点1锚点规划器是否训练充分如果锚点预测本身非常差残差将变得巨大且无结构细化模块难以学习。确保第一阶段训练完全收敛。排查点2两阶段训练是否严格隔离检查在第二阶段锚点规划器的参数是否确实被冻结其梯度是否为零。任何“泄漏”都会破坏分解。排查点3残差目标计算是否正确确认在计算R* A_gt - sg(A_anchor)时sg停止梯度操作被正确应用。问题夹爪控制变得不稳定频繁开合。排查点1决策感知细化中的余量ε设置是否合理尝试调整ε的大小观察夹爪决策的稳定性。排查点2锚点阶段的夹爪预测是否过于模糊检查第一阶段训练的夹爪分类损失。如果锚点预测的概率值始终在0.5附近说明它没学会基本的开合时机需要加强第一阶段的夹爪监督。4.3 对实际机器人应用的启示虽然论文实验主要在仿真中进行但其思想对真实机器人部署极具指导意义系统辨识与误差补偿真实机器人存在模型误差、执行器误差和延迟。可以将AnchorRefine中的“细化模块”具体化为一个在线误差观测与补偿器。锚点规划器输出理想轨迹而细化模块根据力传感器、视觉伺服反馈实时计算补偿量对抗真实世界的不确定性。人机协作与示教在示教编程中操作员可以先拖动机械臂完成一个粗略的轨迹锚点然后系统自动学习在该轨迹附近进行精细调整细化以适应微小的位姿变化这可以大大降低高质量示教数据的获取成本。安全性与鲁棒性可以将锚点规划器设计得相对保守如远离障碍物而让细化模块在安全边界内进行敏捷调整。这种“粗规划细调整”的模式有助于在动态环境中平衡效率与安全。最后一点个人体会AnchorRefine的成功本质上是对机器人控制问题“层次性”和“异质性”的深刻尊重。它没有用一个复杂的黑盒模型去蛮力拟合所有问题而是通过结构化的设计让不同部件各司其职。这种思想不仅适用于VLA模型对于任何涉及多尺度、多模态控制的机器人学习问题都具有广泛的借鉴价值。在实际项目中当你发现端到端模型在某些精细操作上遇到瓶颈时不妨思考一下能否将问题分解能否先做一个“差不多”的规划再训练一个“精益求精”的修正器这往往是突破性能天花板的关键。
AnchorRefine：层次化分解提升VLA模型在机器人精细操作中的精度
发布时间：2026/6/1 6:01:08
1. 项目概述与核心问题剖析在机器人技术日新月异的今天让机器人像人一样理解“把桌上的黑色碗拿起来”这样的指令并精准执行是通往通用机器人的关键一步。视觉语言动作模型正是为此而生它将摄像头看到的画面、接收到的语言指令以及机器人自身的状态感知融合成一个统一的策略直接输出控制机械臂和手爪的动作序列。听起来很酷对吧但真正干过机器人部署的人都知道从“能动”到“能干好”中间隔着一道巨大的鸿沟这道鸿沟的名字就叫“精度”。想象一下你让机器人去抓取一个放在桌沿的玻璃杯。模型可能完美理解了“抓取玻璃杯”的意图并规划了一条从起点到杯子的大致轨迹。然而就在最后几厘米由于视觉误差、模型预测偏差或环境扰动机械臂的末端执行器手爪可能偏离了目标几毫米或者手爪闭合的时机早了那么零点几秒。结果就是要么碰倒了杯子要么抓了个空。这种失败往往不是因为机器人“不懂”而是因为它“不够准”。这就是当前大多数VLA模型面临的“动作尺度不匹配”困境模型在训练时需要同时学习跨越整个工作空间的大范围移动宏观运输和接触点附近毫米级的微调微观修正。由于大范围移动的误差信号动作幅度大在损失函数中占主导地位那些微小但决定成败的修正信号很容易被淹没导致模型在需要精细操作的任务上表现不佳。我最近深入研究了北京工业大学和北京航空航天大学联合团队提出的AnchorRefine框架它直指这个痛点。其核心思想非常直观甚至可以说有点“返璞归真”模仿人类。当你伸手去拿水杯时你的大脑并不是一次性计算出每一块肌肉的精确收缩量。你会先快速规划一条大致的伸手路线轨迹锚点然后在接近杯子时根据视觉反馈进行微小的、连续的调整残差细化。AnchorRefine正是将这种“先锚定后细化”的生物启发式策略系统性地引入了VLA模型的训练与推理架构中。简单来说它不再让一个模型“一口吃成胖子”去同时学习所有尺度的动作。而是将其分解一个轨迹锚点规划器负责学习并预测全局的、粗粒度的运动骨架另一个独立的残差细化模块则专门学习如何对这个骨架进行局部、精细的修正。最终执行的动作就是这两部分的叠加。这种层次化的分解让模型能够更专注、更有效地处理不同尺度、不同性质的控制问题尤其是在抓取、插入、对齐等精度关键操控场景下效果提升显著。接下来我将带你深入这个框架的每一个细节看看它是如何工作的以及我们在实践中如何借鉴和应用其思想。2. AnchorRefine 架构深度解析2.1 整体框架与设计哲学AnchorRefine的架构设计清晰地体现了其“分而治之”的哲学。整个系统可以看作是一个两阶段的预测流水线但它并非简单的串行处理而是通过一种巧妙的“目标解耦”来实现功能分离。整个流程始于统一的多模态上下文构建。模型通过视觉编码器、文本编码器和状态编码器分别处理来自多个摄像头的图像、自然语言指令以及机器人的本体感知信息如关节角度、末端位姿。这些信息被编码并拼接成一个共享的上下文表示Z_t。这个上下文是所有后续预测的基础确保了锚点规划和残差细化都基于同一份对当前世界的“理解”。与传统VLA模型直接将Z_t输入一个庞大的动作预测网络不同AnchorRefine引入了两套独立的、可学习的“动作潜在令牌”。你可以把它们想象成两个具有不同职责的“问题专家”锚点潜在令牌ξ_a它的任务是向共享上下文Z_t提问“基于当前场景和指令大致的运动路线应该是怎样的”它驱动着轨迹锚点规划器。细化潜在令牌ξ_r它的任务是提出另一个问题“假设我们已经有了一个大致路线现在需要做哪些细微的调整才能精准到位”它驱动着残差细化模块。这种设计的关键在于两个模块在训练初期是独立学习的但在推理时协同工作。规划器提供运动的“骨架”细化模块提供“肌肉”的微调。最终机械臂的连续动作由两者相加得到A_final A_anchor R_refine。注意这里的一个精妙之处是残差细化模块并不直接将锚点预测A_anchor作为输入特征。相反它通过“目标构建”的方式感知锚点。在训练第二阶段细化模块的学习目标是“真实动作”与“冻结的锚点预测”之间的差值。这意味着细化模块被迫去学习“补全”锚点所缺失的部分而不是简单地记忆或复制锚点的特征这鼓励了它去发现那些被锚点忽略的、细微的修正模式。2.2 轨迹锚点规划器构建全局运动骨架轨迹锚点规划器是整个框架的第一阶段也是基础。它的目标是在原始的动作空间里预测出一个可执行的、粗粒度的动作序列A_anchor。它具体在学什么在训练的第一阶段规划器被给予完整的真实动作序列作为监督目标。由于使用的是标准的回归损失如L1或L2损失模型优化时会优先拟合那些变化显著、对整体损失贡献大的部分——也就是大范围的、连贯的运输运动。例如从桌面中央移动到目标物体上方这一过程其运动幅度远大于最后几厘米的抓取对准。因此规划器会自然而然地先学会捕捉任务的“主干道”运动的整体方向、大致的路径形状、以及接近目标的粗略位姿。为什么称之为“锚点”这里的“锚点”并非一个预先定义好的、手工标注的粗糙路径。它是一个功能性的概念。经过第一阶段的训练后规划器的输出会自动呈现出“骨架”的特性它包含了完成任务所需的主要运动成分但缺失了那些精细的、接触敏感的调整。论文中的统计也证实了这一点将训练好的锚点预测与真实动作对比其残差即差值的幅值和协方差都远小于原始动作。这说明锚点确实“吸收”了动作中占主导地位的、低频率的运输成分留下了一个更紧凑、更易于学习的残差目标供第二阶段使用。实操心得在设计或理解锚点规划器时一个重要的考量是动作序列的预测长度。如果预测窗口太短锚点可能无法形成有意义的全局轨迹如果太长规划器可能难以捕捉长时依赖。在实践中需要根据任务的时间尺度来调整。例如对于快速抓取任务1-2秒的预测窗口可能足够对于包含多个子任务的长期规划可能需要更长的窗口或引入更高层次的时序抽象。2.3 残差细化模块专注局部精密修正当锚点规划器被冻结后第二阶段训练的残差细化模块便开始登场。它的任务非常明确学习预测那个更紧凑的残差目标R* A_gt - A_anchor。学习目标的转变带来的优势目标空间简化残差目标的动态范围数值变化幅度和结构复杂性显著降低。模型不再需要同时建模“从A点移动到B点”的大尺度变换和“旋转5度以对齐”的微调。它只需要专注于后者这本质上将一个复杂的多尺度回归问题简化为了一个更局部的修正问题通常更容易优化收敛更快。功能特化细化模块可以将其全部“注意力”集中在接触点附近的几何偏差上。例如如何微调末端姿态以使夹爪的指尖完美贴合物体表面或者在物体滑动时如何进行即时的位置补偿。这种特化使得模型对执行阶段的误差更加敏感。缓解过平滑许多端到端策略在输出连续动作时容易产生“过平滑”问题即动作看起来合理但缺乏关键时刻的果断变化如快速闭合夹爪。残差细化模块由于目标更尖锐残差可能在接触瞬间有突变有助于保留这些关键的非平滑特征。训练细节在第二阶段锚点规划器的参数被冻结其梯度不再回传。这是为了防止细化模块“偷懒”试图去修改锚点本身来拟合目标从而破坏了两阶段分解的意义。细化模块只能通过调整自己的参数来学习预测那个固定的残差。损失函数直接计算预测残差R_pred与目标残差R*之间的差距。2.4 决策感知的夹爪细化攻克接触边界难题机械臂的6自由度连续运动位置和姿态和夹爪的二元开关控制开/合在性质上截然不同。连续运动天然适合用残差来修正加一点位置调一点角度但夹爪控制本质上是决策问题其失败往往源于决策边界错误机械臂已经到了位置但夹爪闭合的时机早了或晚了零点几秒。AnchorRefine为夹爪控制设计了一个精巧的“决策感知”细化机制这在我看来是其最大的亮点之一。传统方法的局限如果将夹爪作为一个额外的连续维度或简单的二分类任务来回归模型很容易在边界附近如闭合概率为0.49 vs 0.51产生模糊的预测导致在实际执行中犹豫不决或错误切换。决策感知细化的原理生成锚点预测锚点规划器不仅预测连续动作也输出夹爪在每个时间步的闭合概率q_anc通过sigmoid函数得到。计算修正信号细化模块不直接预测夹爪状态而是预测一个修正量r_grip。这个修正量的监督目标设计得非常巧妙首先判断锚点预测的决策q_anc 0.5则认为预测为闭合与真实标签是否一致。如果不一致则产生一个方向信号1 表示应向闭合方向修正-1 表示应向打开方向修正。修正量的目标值大小正比于锚点预测概率与决策边界0.5的距离再加上一个小余量ε。这意味着当锚点预测本身就很接近正确决策时例如概率为0.9需要的修正量小当锚点预测在边界附近摇摆时例如概率为0.55则需要一个更强的修正信号来使其明确地跨越边界。推理合成在推理时将预测的修正量r_grip_pred加到锚点概率q_anc上然后根据新的值是否大于0.5来决定最终夹爪状态。这个设计的精妙之处在于它将一个离散的二分类问题转换为了一个连续的“决策边界偏移量”回归问题。细化模块学习的是“如何调整锚点决策的置信度使其更正确”而不是从头学习夹爪应该开还是合。这更符合问题的本质——夹爪错误通常不是完全随机的而是在接近正确的时机上出现了微小偏差。重要提示在实现这个模块时余量ε是一个需要仔细调节的超参数。设置太小修正可能不足以推动预测跨越决策边界设置太大可能会过度修正干扰原本正确的锚点预测。论文中通常设置一个较小的值如0.1。3. 训练策略与实现要点3.1 两阶段训练流程AnchorRefine采用严格的顺序两阶段训练策略这是保证其层次化分解成功的关键绝不能合并或交替训练。第一阶段锚点规划器训练目标训练轨迹锚点规划器及其基础的夹爪预测头使其能够在原始动作空间里预测出合理的、粗粒度的动作序列。输入多模态观测上下文Z_t。输出粗粒度动作A_anchor和夹爪逻辑值G_anc。损失函数连续动作采用L1或L2损失监督A_anchor逼近真实动作A_gt。夹爪采用二元交叉熵损失监督G_anc经过sigmoid后的概率逼近真实夹爪状态。状态残差细化模块此时不存在或不参与训练。终点训练至损失收敛得到一个稳定的锚点预测器。第二阶段残差细化模块训练目标在冻结的锚点规划器基础上训练残差细化模块和决策感知夹爪细化器。输入同样的多模态观测上下文Z_t。输出连续动作残差R_pred。夹爪决策修正量r_grip_pred。损失函数连续动作残差L1/L2损失监督R_pred逼近目标残差R* A_gt - sg(A_anchor)。sg代表停止梯度确保锚点参数不被更新。夹爪修正量均方误差损失监督r_grip_pred逼近按前述方法计算出的目标修正量r_grip*。总损失为两者加权和L_total L_refine λ * L_gripλ 用于平衡两者尺度通常设为0.01左右。状态锚点规划器参数完全冻结仅细化模块的参数被更新。为什么必须顺序训练如果同时训练两个模块它们很容易“合谋”细化模块可能学习到一个恒为零的输出而锚点规划器则学习去预测全部动作这完全退化回了单阶段模型。顺序训练强制了功能的分离先让一个模块学会抓大放小锚点再让另一个模块学会查漏补缺细化。3.2 骨干网络集成与扩展AnchorRefine是一个框架级的改进而非一个特定的网络架构。这意味着它可以集成到多种现有的VLA骨干模型上。论文中主要展示了在两类主流骨干上的成功基于回归的骨干如GR-1这类模型通常使用Transformer解码器直接回归动作序列。集成时将原来的单一动作预测头替换为并行的锚点头和残差头共享编码器并采用上述两阶段训练。基于扩散的骨干如X-VLA这类模型通过迭代去噪生成动作。集成时可以将去噪过程理解为同时预测锚点和残差或者更常见的是用锚点预测来初始化去噪过程让扩散模型专注于残差空间的细化。论文采用的方式是修改扩散模型的目标使其预测残差而非原始动作。实操心得在选择骨干网络时需要考虑其与AnchorRefine思想的兼容性。对于已经具有较强时序建模能力的扩散模型AnchorRefine带来的提升可能相对温和但依然稳定。对于相对简单的回归模型由于其对复杂动作序列的建模能力有限引入层次化分解带来的性能提升往往更为显著。在资源有限的情况下优先在回归类模型上尝试此框架性价比可能更高。3.3 推理流程与效率考量推理过程是直观且高效的前向传播给定当前观测通过共享编码器得到上下文Z_t。并行预测将Z_t分别输入冻结的锚点规划器和训练好的细化模块。锚点规划器输出A_anchor和夹爪概率q_anc。细化模块输出动作残差R_pred和夹爪修正量r_grip_pred。动作合成连续动作A_final A_anchor R_pred夹爪决策grip_final 1 if (q_anc r_grip_pred) 0.5 else 0执行与循环执行合成后的动作获取新的观测重复上述过程。效率分析由于两个模块共享编码器且推理时是并行计算AnchorRefine相比原始单阶段模型主要增加的是细化模块的解码计算量。这部分开销通常远小于编码器因此整体推理时间的增加是可控的通常在20%以内。对于对实时性要求极高的应用可以通过模型蒸馏等技术将两个模块的知识压缩到一个更小的网络中但这可能会牺牲部分性能。4. 实验效果分析与实战启示4.1 基准测试结果解读论文在LIBERO-Long和CALVIN这两个权威的长时序机器人操作基准上进行了全面测试。结果令人信服在GR-1回归模型上AnchorRefine将LIBERO-Long的成功率从74.5%提升至82.3%CALVIN上的平均完成序列长度也从3.51提升至3.64。这证明了对于能力尚有较大提升空间的模型层次化分解能带来显著的性能增益。在X-VLA扩散模型上即使在已经很强的基线95.8%成功率上AnchorRefine仍能将其提升至97.4%在CALVIN上也实现了全面提升。这说明即使对于先进的模型将全局规划与局部修正解耦依然是有益的。长时序任务增益更明显在CALVIN上需要连续完成5个子任务的挑战中提升幅度最大。这是因为错误在长序列中会累积而局部修正机制能及时纠偏防止任务早期的小偏差导致后期全盘失败。这些数据强有力地支持了核心论点动作生成的层次化分解是提升VLA模型在精度关键任务上表现的有效原则。4.2 核心机制验证与问题排查论文通过细致的机制分析揭示了AnchorRefine为何有效修正方向性分析统计发现细化模块将“锚点失败”的任务转变为“成功”的次数远多于将“锚点成功”转变为“失败”的次数。这说明细化模块主要扮演了“纠错者”而非“破坏者”的角色其修正行为是积极且定向的。训练动态残差目标的损失函数比原始动作目标的损失函数收敛得更快、最终值更低。这直观地证明了“学习残差”确实是一个更简单、更易优化的子问题。目标空间紧凑性如前所述残差目标的统计特性均值和协方差远小于原始动作证实了功能分离的有效性。常见问题与排查思路问题集成AnchorRefine后模型性能没有提升甚至下降。排查点1锚点规划器是否训练充分如果锚点预测本身非常差残差将变得巨大且无结构细化模块难以学习。确保第一阶段训练完全收敛。排查点2两阶段训练是否严格隔离检查在第二阶段锚点规划器的参数是否确实被冻结其梯度是否为零。任何“泄漏”都会破坏分解。排查点3残差目标计算是否正确确认在计算R* A_gt - sg(A_anchor)时sg停止梯度操作被正确应用。问题夹爪控制变得不稳定频繁开合。排查点1决策感知细化中的余量ε设置是否合理尝试调整ε的大小观察夹爪决策的稳定性。排查点2锚点阶段的夹爪预测是否过于模糊检查第一阶段训练的夹爪分类损失。如果锚点预测的概率值始终在0.5附近说明它没学会基本的开合时机需要加强第一阶段的夹爪监督。4.3 对实际机器人应用的启示虽然论文实验主要在仿真中进行但其思想对真实机器人部署极具指导意义系统辨识与误差补偿真实机器人存在模型误差、执行器误差和延迟。可以将AnchorRefine中的“细化模块”具体化为一个在线误差观测与补偿器。锚点规划器输出理想轨迹而细化模块根据力传感器、视觉伺服反馈实时计算补偿量对抗真实世界的不确定性。人机协作与示教在示教编程中操作员可以先拖动机械臂完成一个粗略的轨迹锚点然后系统自动学习在该轨迹附近进行精细调整细化以适应微小的位姿变化这可以大大降低高质量示教数据的获取成本。安全性与鲁棒性可以将锚点规划器设计得相对保守如远离障碍物而让细化模块在安全边界内进行敏捷调整。这种“粗规划细调整”的模式有助于在动态环境中平衡效率与安全。最后一点个人体会AnchorRefine的成功本质上是对机器人控制问题“层次性”和“异质性”的深刻尊重。它没有用一个复杂的黑盒模型去蛮力拟合所有问题而是通过结构化的设计让不同部件各司其职。这种思想不仅适用于VLA模型对于任何涉及多尺度、多模态控制的机器人学习问题都具有广泛的借鉴价值。在实际项目中当你发现端到端模型在某些精细操作上遇到瓶颈时不妨思考一下能否将问题分解能否先做一个“差不多”的规划再训练一个“精益求精”的修正器这往往是突破性能天花板的关键。
