1. 具身智能浪潮下的VLA算法用一句话说清楚它是什么最近大半年圈子里讨论最多的方向之一就是具身智能而具身智能算法里出镜率最高的两个词无非是VLAVision-Language-Action和Diffusion Policy。从实验室的机械臂抓取到人形机器人的全身控制再到各种灵巧手操作任务这两套东西几乎成了标配。今天我想以自身做具身算法落地的实操视角把VLA算法和Diffusion Policy从原理到训练再到部署完整地拆一遍把那些论文里不会明说的细节一并讲清楚。先说结论式的大白话VLA是一个总体的算法框架意思是视觉和语言输入共同决定动作输出Diffusion Policy则是一种动作生成策略它负责在VLA框架里把特征变成真实可执行的机械臂关节指令。简单点说VLA负责“理解任务和场景”Diffusion Policy负责“生成动作轨迹”。两者结合构成了一条完整的具身操作决策链路。这套东西能解决什么问题呢传统机器人控制里机械臂的轨迹要么是人工示教出来的固定路径要么是传统规划器解算出来的解析解复杂任务基本瘫。而VLA Diffusion Policy这套组合能直接从多模态输入中学出泛化性更强的控制策略尤其是面对多变的物体位姿、光照、干扰物时鲁棒性明显优于行为克隆和传统强化学习方案。适合谁参考呢如果你正在做机器人操作策略的研究、准备复现最近半年发布的开源具身模型、或者想把扩散策略部署到自己的机械臂上做验证这篇文章应该能帮你少走不少弯路。需要先说明一点我讲的侧重点是VLA算法框架内Diffusion Policy作为动作头action head的实现细节因为这一层是当前工程落地中坑最多、收益也最明显的地方。VLA前端的大语言模型部分各家开源模型已经做得比较成熟直接复用就可以真正决定任务成败的往往是后端动作生成质量和数据质量。2. Diffusion PolicyVLA背后的“动作生成引擎”2.1 从扩散模型说起它不是生成图片而是生成动作轨迹很多人一听到Diffusion Policy就会联想到Stable Diffusion这类图像生成模型。直觉上图像扩散模型是在噪声中逐步去噪还原出一张清晰的图片Diffusion Policy做的事情在数学逻辑上是类似的但它生成的不是像素矩阵而是一段动作序列也就是机械臂未来一段时间内每个关节的角度变化曲线。我习惯把Diffusion Policy理解为一条“动作轨迹生成流水线”。它首先在训练阶段学习真实演示数据中动作序列的分布然后到推理阶段从一个随机噪声轨迹出发通过多步去噪迭代逐步修正出符合当前视觉上下文和任务目标的动作轨迹。整个过程不是一步到位而是逐步精修。这里有个特别容易误解的地方Diffusion Policy并不像大语言模型那样逐词生成动作也不是像传统控制算法那样依据当前状态直接解算一步动作。它与Transformer类策略的关键差别在于它一次性生成一个完整的动作块action chunk这个动作块覆盖了未来几十甚至上百个控制步长。一个动作块生成完后机器人执行其中的一部分然后以最新观测重新生成下一个动作块周而复始。这种“成块预测 滚动执行”的机制带来一个非常实际的好处即便在某一步观察出现噪声或者临时遮挡策略也不会立刻做出剧烈的单步反应因为当前动作块的前半段是相对稳定平滑的。这一点对于真实机械臂控制来说太重要了。真实电机有惯性、有通信延迟、有模型误差单步预测往往会在实际执行中被放大成高频抖动而成块生成天然有一定的平滑作用。2.2 Diffusion Policy到底在预测什么理解Diffusion Policy首先要理解它的输入、输出以及它们之间的对齐方式。输入通常由两部分构成视觉观测和机器人本体状态。视觉观测往往是来自多个视角的RGB图像有时还会叠加深度图本体状态则是当前各关节的角度、末端执行器的位置和姿态甚至包括夹爪的开合状态。这些输入会被编码器转换成特征向量作为扩散去噪过程中的条件信息。输出则是未来一段时间内的动作轨迹。举个例子如果控制频率是10Hz预测时域prediction horizon设为8步那Diffusion Policy每次推理输出的就是一个 8 x 动作维度 的动作矩阵。动作维度如果是6自由度机械臂加1个夹爪那就是8 x 7。需要特别强调的一点是Diffusion Policy输出的动作轨迹不是传统意义的最优轨迹。它不是通过优化某个代价函数解出来的而是从数据分布中采样的结果。这意味着同样一个场景下策略每次生成的轨迹可能在细节上不一样但统计特性是一致的。这个特性带来了一个极大的工程红利处理多模态动作分布。我之前做的一个插孔任务就遇到过典型问题同样的工件同样的目标孔人工演示时一半次数是正着插进去另一半次数是稍微旋转一下再插进去。这两种轨迹差异很大如果用传统行为克隆的MSE损失去训练策略网络模型最终会学到两者的平均值也就是一条“既不快也不准”的平庸轨迹。而改用Diffusion Policy之后模型很自然地学到了两个模态推理时会根据当前视觉细节明确地选择其中一种执行。2.3 为什么要用扩散模型来生成动作这个问题经常被问尤其是做过强化学习的朋友会质疑为什么不在VLA框架里直接用高斯策略或者离散动作分类。我的体会是扩散模型在动作生成上有三个难以替代的优势。第一个优势是表达能力强。真实世界的机器人操作数据动作分布往往是多峰、非高斯甚至带剧烈跳变的。高斯策略假设动作分布是单峰的高斯分布离散化策略又会损失动作连续性。扩散模型的去噪过程可以拟合成任意复杂的分布这让它能够忠实还原演示数据的真实分布。第二个优势是训练稳定性好。行为克隆的训练本质上是最大似然估计扩散模型通过预测噪声来间接优化似然训练目标非常平滑不容易出现模式崩溃或者训练震荡。我实际训练过不少策略相对比强化学习动辄几十万步还要调各种超参数Diffusion Policy的训练过程友好很多通常在RTX 4090上几小时就能收敛到一个能跑的策略。第三个优势是推理时可以通过调节去噪步数来权衡速度和精度。想要更快就减少去噪步数比如只用5步甚至1步想要更稳就走满20步甚至50步。这种灵活的控制维度在真实机器人部署中非常实用。捕捉快速移动物体的场景可以少走几步精密装配任务可以多走几步。同一个权重文件可以根据任务难度灵活切换推理配置。3. VLA与Diffusion Policy的完整结合链路3.1 数据流从视觉语言输入到动作输出的全流程现在我把VLA和Diffusion Policy放到一条链路里完整串一遍。一条典型的端到端操作流程是这样的任务指令比如“把红色方块放到蓝色盒子里”首先进入一个大语言模型语言模型把文本指令编码为一系列token的语义特征。与此同时安装在头部的相机持续采集RGB图像视觉编码器比如基于CLIP训练的ViT或专门的感知模型会把这些图像编码成视觉特征。接着一个融合模块将语言特征与视觉特征做交叉注意力融合得到一个任务上下文向量。这个任务上下文向量就是Diffusion Policy的“条件”。在训练阶段扩散模型学习在这个条件下拟合真实演示轨迹在推理阶段扩散模型从一个随机高斯噪声轨迹开始依据这个条件进行多轮去噪最终输出满足任务约束的动作轨迹。轨迹再经过程控接口下发到机械臂控制器执行。在实际系统中VLA部分一般跑在一个相对大算力的设备上比如机载工控机配一张消费级显卡或者嵌入式GPU而机械臂底层控制器则以高频比如500Hz到1000Hz进行伺服闭环。两者之间会有一个缓冲层VLA生成的轨迹块按10到30Hz的频率推送给控制层控制层做插值平滑后以高频执行。这个高低频解耦设计是整个系统稳定性的关键。3.2 关键设计选择动作空间、观察空间、预测时域结合实现经验有几个设计决策会显著影响最终策略质量值得单独拿出来讲清楚。首先是动作空间的选择。对于大部分桌面机械臂任务我推荐直接使用关节角度增量或绝对关节角度作为动作空间而不是笛卡尔空间末端位姿。原因有二一是关节空间不需要逆解避免了奇异点问题二是关节空间的分布通常比笛卡尔空间更平滑扩散模型学起来更容易。但如果是人形机器人全身控制关节空间维度动辄二三十维甚至更高这时候就要考虑是否采用末端速度加身体姿态的分层动作表示。其次是观察空间的设计。很多人会忽略一个关键点Diffusion Policy对视觉特征非常敏感而来自大语言模型的视觉编码器通常是224x224分辨率的输入这对于精细操作远远不够。我的实践是把视觉编码拆成两路一路用低分辨率全局图提供场景上下文另一路用高分辨率局部图提供精细纹理信息比如工件上的小孔位置。两路特征拼接后作为条件效果远好于单独使用任何一路。第三是预测时域prediction horizon的选择。这个参数需要根据任务特性和控制频率来调。控制频率10Hz、预测时域16步意味着策略一次看到未来1.6秒的动作。装配任务我通常设成较长的预测时域给动作充分的收敛时间而动态抓取任务则需要更短的预测时域缩短系统反应延迟。一个相对通用的经验是预测时域 单次动作完成所需时间的1.5倍左右过短容易抖动过长容易忽略最新观测。3.3 训练细节条件注入、损失函数与推理加速训练Diffusion Policy时最核心的条件注入方式有两种cross-attention和FiLMFeature-wise Linear Modulation。做VLA嵌入时我强烈建议优先尝试FiLM方式。原因是交叉注意力在diffusion的U-Net或DiT骨架里会增加巨量计算开销训练和推理都变慢而FiLM只是对特征做仿射变换计算轻量配合足够强的语言特征效果其实不差。我在多个实验里对比过在相同迭代步数下FiLM收敛速度更快最终成功率差异在2%以内。对于机器人策略这种样本量不大的场景训练效率的优势很值得考虑。损失函数方面标准的扩散损失是预测噪声与真实噪声之间的MSE。但有一个工业界常用的变体值得知道动作轨迹加权的损失。也就是对动作块中靠近当前时刻的动作给予更高权重远离当前时刻的动作给予更低权重。这样做的直觉是未来太远的动作不确定性大强制模型精确拟合它们意义有限反而可能导致过拟合。加权后模型往往会更稳。推理加速是部署阶段逃不开的话题。默认的Diffusion采样需要走20到50步去噪在CPU上基本没法实时。常见的加速手段包括DDIM采样器减少步数到10步、使用DPM-Solver这类高阶采样器在5步内出结果、以及蒸馏技术把多步去噪蒸馏成单步生成。我的实际经验是DDIM采样10步是一个精度和速度平衡很好的点。如果还需要更快可以对去噪网络做INT8量化精度损失在机器人控制精度可接受范围内。提示训练扩散策略时千万不要直接拿ImageNet预训练的大模型权重来初始化动作头通常需要从头训练或在机器人数据上做充分微调。因为机器人动作轨迹的分布和图像特征的分布差异太大迁移学习的效果并不像视觉任务里那么理想。4. 实操记录用Diffusion Policy做一个真实抓取任务4.1 环境准备与数据采集这里我以一个桌面机械臂的抓取摆放任务为例完整走一遍实操流程。硬件环境是6自由度协作机械臂、一个RGB-D深度相机、一台带RTX 4090的工控机。软件环境是Ubuntu 22.04Python 3.10PyTorch 2.1以及开源的Diffusion Policy训练框架比如LeRobot或自己改写的版本。数据采集是整套流程最花时间也最决定成败的部分。我会采集500到1000条演示数据每条演示包含同步记录的视觉图像序列、关节角度序列和动作标签。采集过程中有一个很关键的细节演示数据的多样性比数量重要得多。宁可采集300条覆盖不同物体位置和姿态的演示也不要采集1000条物体位置几乎相同的单调演示。否则训练出来的策略会对位置过拟合稍微移动物体就失败。采集时我还会刻意混入一些失败的演示数据。这里要说明一下我的策略不是把失败演示作为正样本而是用它们做数据增强的参照比如观察失败样本中物体姿态的边界情况再决定是否补充相应的正样本。失败演示本身不用来直接训练但可以指导我判断是否某个角落的物体位姿覆盖不足。同步问题是另一个大坑。视觉流和控制流如果时间没有对齐模型会学到错误的状态动作对应关系。我的做法是在采集端用一个共享时间戳服务相机帧到达后立即与最新关节状态合并确保每条数据的状态和动作时间差不超过一个控制周期。4.2 训练配置与参数选择训练配置方面我给出自己常用的参数组合这个组合在多个桌面任务上表现都比较稳预测时域16步动作块执行步数8步也就是每次生成16步执行前半段8步观察历史帧数2帧堆叠作为视觉上下文扩散去噪步数训练1000步推理时DDIM采样10步学习率1e-4使用余弦退火批量大小64训练轮数200到300轮训练时我还会启用EMA指数移动平均来平滑模型参数这能显著提升推理时的动作稳定性。梯度裁剪设为1.0防止个别困难样本导致梯度爆炸。整个训练过程在RTX 4090上300轮大约需要6到8小时。TensorBoard里我会重点盯两个曲线loss下降曲线和验证集上的动作误差。如果loss下降很快但验证误差不降多半是过拟合了优先加大数据增强而不是加数据量。4.3 推理部署与常见性能瓶颈推理部署时面临的第一个瓶颈是延迟。从相机取帧到动作下发端到端延迟需要控制在100毫秒以内否则机械臂会有明显滞后感。我的系统拆解下来延迟分布大致是相机取帧15ms视觉编码30ms语言指令编码10ms扩散采样10步约25ms通信和余量20ms。整体在100ms内可以完成。如果遇到延迟超标优先优化的环节是视觉编码器。ViT-L级别的模型可以考虑换成ViT-B或者对输入图像降采样。扩散采样步数从10步降到5步也能压缩10ms左右的耗时但动作质量会有轻微下降。更激进的做法是把扩散模型导出成TensorRT引擎在RTX显卡上能实现接近3倍的加速。部署时另一个容易忽视的问题是动作指令平滑。即使扩散策略生成的轨迹本身平滑直接下发到机械臂控制器仍然可能出现执行不连贯。我在中间加了一个二阶低通滤波器对位置和速度同时做平滑效果立竿见影。但要注意滤波系数不能过强否则会引入明显的相位延迟。建议滤波截止频率设置为机械臂控制频率的1/4左右实测平衡点比较理想。5. 踩坑实录Diffusion Policy落地中的5个典型问题5.1 动作抖动第一个遇到的拦路虎几乎每个第一次部署Diffusion Policy的人都会遇到动作抖动问题。症状是机械臂在目标位置附近高频小幅抖动看起来像帕金森症状。排查时我按以下顺序逐项检查第一检查视觉观测是否稳定。轻微的图像噪声被视觉编码器放大后会给扩散模型带来不必要的条件波动。解决方法是给相机加曝光锁定避免自动曝光导致亮度突变。第二检查动作块衔接逻辑。我用的动作块滑动窗口有一个细节每次生成16步动作但只执行前8步。也就是说相邻两次推理生成的动作块之间有8步的重叠区间。如果两次生成的前8步差异较大就会出现动作跳变。解决方法是保存当前执行的动作块缓存在生成新动作块后的前8步用旧动作块的值对新动作块对应位置做平滑插值。第三检查末端执行器速度是否限制过松。把速度限制从100%降到70%很多时候抖动就消失了。这不算治本但适合快速验证问题是否出在控制层。5.2 多模态行为取舍模型学会了但不稳定前文提到的插孔任务里模型能够学到两种插入模态但也带来一个新问题有时它会在两种模态之间反复横跳。推理第一次采样结果偏向模态A下一次又偏向模态B导致动作不连贯。我的解决办法是引入多轨迹一致性校验在推理时对同一条件采样3条候选轨迹用轨迹的自一致性分数做筛选也就是看每条轨迹与当前已执行轨迹的起始段吻合度选最接近的。这样做虽然增加了一点推理开销但换来的是对已执行历史的平滑衔接避免了不同模态间的反复横跳。另一个思路是在训练数据里对不同模态做平衡。如果一个模态的数据量远多于另一个模型会倾向多数模态少数模态基本不会被采样到。这会让策略的表观泛化能力变差。数据采集时最好把多模态的演示数量控制在一个相近量级。5.3 算力与实时性当模型跑不动怎么办边缘设备算力不足是真实部署时绕不开的问题。我遇到过在Jetson Orin上跑完整VLA流程端到端延迟超过300毫秒完全没法用。我的降级方案是三级递进的第一级把扩散采样从10步降到3步配合DPM-Solver加速采样。延迟能压到200毫秒左右。第二级视觉编码器降级。从ViT-L换成轻量的ViT-S输入分辨率从224降到168。视觉特征质量下降但在简单任务上仍能保持80%以上的成功率。第三级手工设计视觉缓存机制。如果场景在短时间内变化不大可以降低视觉编码的推理频率从每帧一次降到每3帧一次其余帧复用上一帧的特征。这一招效果很明显因为扩散模型对视觉特征的短时变化并不敏感。5.4 数据质量陷阱标注错误和轨迹断裂数据采集中最容易出错的是动作标注。尤其是与外部设备交互的任务比如按压按钮、转动阀门夹爪开合状态标注漏标或错标会导致策略在关键时刻做出错误动作。我的数据质检流程里加了一道自动检查对每条轨迹做差分标记出速度突变超过阈值的帧。这些帧往往是标注错误或数据拼接点人工复核时重点看这些位置。这个流程帮我在训练前发现了好几批有问题的数据避免了反复训练反复失败的循环。5.5 语言指令理解偏差VLA框架里语言指令的作用不能忽视但也不能过度依赖。实际发现简单指令比如“拿起杯子”效果很好但长指令比如“拿起架子右边第二个格子里的蓝色杯子”偶尔会出错原因是大语言模型对具体空间位置的编码不够精确。我的做法是在语言指令之外叠加一层显式的目标物体位置信息。用一个轻量化的检测器先识别目标物体位置把坐标作为额外的数值条件注入扩散模型。这样视觉和语言共同决定动作工程实现上更稳。6. 后续可以折腾的几个扩展方向最后说几个我最近在尝试的扩展方向都是围绕现有VLA Diffusion Policy框架的自然延伸。第一个是跨任务泛化。目前的做法是针对单一任务采集数据单独训练。思路完全可以扩展到多任务统一模型采集包含多种操作任务的数据比如抓取、放置、推开、插入在训练时把任务描述作为语言条件输入。这样共享视觉骨干网络多个任务之间能够互相促进。第二个是仿真到真机的迁移。在MuJoCo或Isaac Sim里大规模采集演示数据成本远低于真机但仿真和真机之间存在视觉域差距。我正在尝试用域随机化加扩散模型的条件增强来缩小这个差距。目前初步结果是可以直接用仿真权重在真机上完成简单抓取任务但复杂任务还需要在真机上补充少量数据做微调。第三个是扩散模型与其他动作头的融合。最近有一些工作尝试在VLA框架里同时使用扩散模型生成粗轨迹和高斯模型生成精细修正形成两阶段的动作输出。这种做法在精密装配任务里潜力很大因为粗轨迹负责全局导航精细修正负责局部对齐各有分工。这些都是比较新的方向开源社区跟进很快。感兴趣的话可以多关注具身智能领域最近几个月的进展尤其是围绕开源数据集和统一框架的内容很多都在逐步落地成型。Diffusion Policy作为VLA框架的动作生成核心在很长一段时间里都值得深入掌握。我个人在实际操作中的体会是这套方案的难点不在算法本身而在于数据质量和系统各环节的工程协调解决了这两块它能够覆盖非常广泛的应用任务。 VLA与Diffusion Policy：从原理到部署的具身智能操作实战指南
1. 具身智能浪潮下的VLA算法用一句话说清楚它是什么最近大半年圈子里讨论最多的方向之一就是具身智能而具身智能算法里出镜率最高的两个词无非是VLAVision-Language-Action和Diffusion Policy。从实验室的机械臂抓取到人形机器人的全身控制再到各种灵巧手操作任务这两套东西几乎成了标配。今天我想以自身做具身算法落地的实操视角把VLA算法和Diffusion Policy从原理到训练再到部署完整地拆一遍把那些论文里不会明说的细节一并讲清楚。先说结论式的大白话VLA是一个总体的算法框架意思是视觉和语言输入共同决定动作输出Diffusion Policy则是一种动作生成策略它负责在VLA框架里把特征变成真实可执行的机械臂关节指令。简单点说VLA负责“理解任务和场景”Diffusion Policy负责“生成动作轨迹”。两者结合构成了一条完整的具身操作决策链路。这套东西能解决什么问题呢传统机器人控制里机械臂的轨迹要么是人工示教出来的固定路径要么是传统规划器解算出来的解析解复杂任务基本瘫。而VLA Diffusion Policy这套组合能直接从多模态输入中学出泛化性更强的控制策略尤其是面对多变的物体位姿、光照、干扰物时鲁棒性明显优于行为克隆和传统强化学习方案。适合谁参考呢如果你正在做机器人操作策略的研究、准备复现最近半年发布的开源具身模型、或者想把扩散策略部署到自己的机械臂上做验证这篇文章应该能帮你少走不少弯路。需要先说明一点我讲的侧重点是VLA算法框架内Diffusion Policy作为动作头action head的实现细节因为这一层是当前工程落地中坑最多、收益也最明显的地方。VLA前端的大语言模型部分各家开源模型已经做得比较成熟直接复用就可以真正决定任务成败的往往是后端动作生成质量和数据质量。2. Diffusion PolicyVLA背后的“动作生成引擎”2.1 从扩散模型说起它不是生成图片而是生成动作轨迹很多人一听到Diffusion Policy就会联想到Stable Diffusion这类图像生成模型。直觉上图像扩散模型是在噪声中逐步去噪还原出一张清晰的图片Diffusion Policy做的事情在数学逻辑上是类似的但它生成的不是像素矩阵而是一段动作序列也就是机械臂未来一段时间内每个关节的角度变化曲线。我习惯把Diffusion Policy理解为一条“动作轨迹生成流水线”。它首先在训练阶段学习真实演示数据中动作序列的分布然后到推理阶段从一个随机噪声轨迹出发通过多步去噪迭代逐步修正出符合当前视觉上下文和任务目标的动作轨迹。整个过程不是一步到位而是逐步精修。这里有个特别容易误解的地方Diffusion Policy并不像大语言模型那样逐词生成动作也不是像传统控制算法那样依据当前状态直接解算一步动作。它与Transformer类策略的关键差别在于它一次性生成一个完整的动作块action chunk这个动作块覆盖了未来几十甚至上百个控制步长。一个动作块生成完后机器人执行其中的一部分然后以最新观测重新生成下一个动作块周而复始。这种“成块预测 滚动执行”的机制带来一个非常实际的好处即便在某一步观察出现噪声或者临时遮挡策略也不会立刻做出剧烈的单步反应因为当前动作块的前半段是相对稳定平滑的。这一点对于真实机械臂控制来说太重要了。真实电机有惯性、有通信延迟、有模型误差单步预测往往会在实际执行中被放大成高频抖动而成块生成天然有一定的平滑作用。2.2 Diffusion Policy到底在预测什么理解Diffusion Policy首先要理解它的输入、输出以及它们之间的对齐方式。输入通常由两部分构成视觉观测和机器人本体状态。视觉观测往往是来自多个视角的RGB图像有时还会叠加深度图本体状态则是当前各关节的角度、末端执行器的位置和姿态甚至包括夹爪的开合状态。这些输入会被编码器转换成特征向量作为扩散去噪过程中的条件信息。输出则是未来一段时间内的动作轨迹。举个例子如果控制频率是10Hz预测时域prediction horizon设为8步那Diffusion Policy每次推理输出的就是一个 8 x 动作维度 的动作矩阵。动作维度如果是6自由度机械臂加1个夹爪那就是8 x 7。需要特别强调的一点是Diffusion Policy输出的动作轨迹不是传统意义的最优轨迹。它不是通过优化某个代价函数解出来的而是从数据分布中采样的结果。这意味着同样一个场景下策略每次生成的轨迹可能在细节上不一样但统计特性是一致的。这个特性带来了一个极大的工程红利处理多模态动作分布。我之前做的一个插孔任务就遇到过典型问题同样的工件同样的目标孔人工演示时一半次数是正着插进去另一半次数是稍微旋转一下再插进去。这两种轨迹差异很大如果用传统行为克隆的MSE损失去训练策略网络模型最终会学到两者的平均值也就是一条“既不快也不准”的平庸轨迹。而改用Diffusion Policy之后模型很自然地学到了两个模态推理时会根据当前视觉细节明确地选择其中一种执行。2.3 为什么要用扩散模型来生成动作这个问题经常被问尤其是做过强化学习的朋友会质疑为什么不在VLA框架里直接用高斯策略或者离散动作分类。我的体会是扩散模型在动作生成上有三个难以替代的优势。第一个优势是表达能力强。真实世界的机器人操作数据动作分布往往是多峰、非高斯甚至带剧烈跳变的。高斯策略假设动作分布是单峰的高斯分布离散化策略又会损失动作连续性。扩散模型的去噪过程可以拟合成任意复杂的分布这让它能够忠实还原演示数据的真实分布。第二个优势是训练稳定性好。行为克隆的训练本质上是最大似然估计扩散模型通过预测噪声来间接优化似然训练目标非常平滑不容易出现模式崩溃或者训练震荡。我实际训练过不少策略相对比强化学习动辄几十万步还要调各种超参数Diffusion Policy的训练过程友好很多通常在RTX 4090上几小时就能收敛到一个能跑的策略。第三个优势是推理时可以通过调节去噪步数来权衡速度和精度。想要更快就减少去噪步数比如只用5步甚至1步想要更稳就走满20步甚至50步。这种灵活的控制维度在真实机器人部署中非常实用。捕捉快速移动物体的场景可以少走几步精密装配任务可以多走几步。同一个权重文件可以根据任务难度灵活切换推理配置。3. VLA与Diffusion Policy的完整结合链路3.1 数据流从视觉语言输入到动作输出的全流程现在我把VLA和Diffusion Policy放到一条链路里完整串一遍。一条典型的端到端操作流程是这样的任务指令比如“把红色方块放到蓝色盒子里”首先进入一个大语言模型语言模型把文本指令编码为一系列token的语义特征。与此同时安装在头部的相机持续采集RGB图像视觉编码器比如基于CLIP训练的ViT或专门的感知模型会把这些图像编码成视觉特征。接着一个融合模块将语言特征与视觉特征做交叉注意力融合得到一个任务上下文向量。这个任务上下文向量就是Diffusion Policy的“条件”。在训练阶段扩散模型学习在这个条件下拟合真实演示轨迹在推理阶段扩散模型从一个随机高斯噪声轨迹开始依据这个条件进行多轮去噪最终输出满足任务约束的动作轨迹。轨迹再经过程控接口下发到机械臂控制器执行。在实际系统中VLA部分一般跑在一个相对大算力的设备上比如机载工控机配一张消费级显卡或者嵌入式GPU而机械臂底层控制器则以高频比如500Hz到1000Hz进行伺服闭环。两者之间会有一个缓冲层VLA生成的轨迹块按10到30Hz的频率推送给控制层控制层做插值平滑后以高频执行。这个高低频解耦设计是整个系统稳定性的关键。3.2 关键设计选择动作空间、观察空间、预测时域结合实现经验有几个设计决策会显著影响最终策略质量值得单独拿出来讲清楚。首先是动作空间的选择。对于大部分桌面机械臂任务我推荐直接使用关节角度增量或绝对关节角度作为动作空间而不是笛卡尔空间末端位姿。原因有二一是关节空间不需要逆解避免了奇异点问题二是关节空间的分布通常比笛卡尔空间更平滑扩散模型学起来更容易。但如果是人形机器人全身控制关节空间维度动辄二三十维甚至更高这时候就要考虑是否采用末端速度加身体姿态的分层动作表示。其次是观察空间的设计。很多人会忽略一个关键点Diffusion Policy对视觉特征非常敏感而来自大语言模型的视觉编码器通常是224x224分辨率的输入这对于精细操作远远不够。我的实践是把视觉编码拆成两路一路用低分辨率全局图提供场景上下文另一路用高分辨率局部图提供精细纹理信息比如工件上的小孔位置。两路特征拼接后作为条件效果远好于单独使用任何一路。第三是预测时域prediction horizon的选择。这个参数需要根据任务特性和控制频率来调。控制频率10Hz、预测时域16步意味着策略一次看到未来1.6秒的动作。装配任务我通常设成较长的预测时域给动作充分的收敛时间而动态抓取任务则需要更短的预测时域缩短系统反应延迟。一个相对通用的经验是预测时域 单次动作完成所需时间的1.5倍左右过短容易抖动过长容易忽略最新观测。3.3 训练细节条件注入、损失函数与推理加速训练Diffusion Policy时最核心的条件注入方式有两种cross-attention和FiLMFeature-wise Linear Modulation。做VLA嵌入时我强烈建议优先尝试FiLM方式。原因是交叉注意力在diffusion的U-Net或DiT骨架里会增加巨量计算开销训练和推理都变慢而FiLM只是对特征做仿射变换计算轻量配合足够强的语言特征效果其实不差。我在多个实验里对比过在相同迭代步数下FiLM收敛速度更快最终成功率差异在2%以内。对于机器人策略这种样本量不大的场景训练效率的优势很值得考虑。损失函数方面标准的扩散损失是预测噪声与真实噪声之间的MSE。但有一个工业界常用的变体值得知道动作轨迹加权的损失。也就是对动作块中靠近当前时刻的动作给予更高权重远离当前时刻的动作给予更低权重。这样做的直觉是未来太远的动作不确定性大强制模型精确拟合它们意义有限反而可能导致过拟合。加权后模型往往会更稳。推理加速是部署阶段逃不开的话题。默认的Diffusion采样需要走20到50步去噪在CPU上基本没法实时。常见的加速手段包括DDIM采样器减少步数到10步、使用DPM-Solver这类高阶采样器在5步内出结果、以及蒸馏技术把多步去噪蒸馏成单步生成。我的实际经验是DDIM采样10步是一个精度和速度平衡很好的点。如果还需要更快可以对去噪网络做INT8量化精度损失在机器人控制精度可接受范围内。提示训练扩散策略时千万不要直接拿ImageNet预训练的大模型权重来初始化动作头通常需要从头训练或在机器人数据上做充分微调。因为机器人动作轨迹的分布和图像特征的分布差异太大迁移学习的效果并不像视觉任务里那么理想。4. 实操记录用Diffusion Policy做一个真实抓取任务4.1 环境准备与数据采集这里我以一个桌面机械臂的抓取摆放任务为例完整走一遍实操流程。硬件环境是6自由度协作机械臂、一个RGB-D深度相机、一台带RTX 4090的工控机。软件环境是Ubuntu 22.04Python 3.10PyTorch 2.1以及开源的Diffusion Policy训练框架比如LeRobot或自己改写的版本。数据采集是整套流程最花时间也最决定成败的部分。我会采集500到1000条演示数据每条演示包含同步记录的视觉图像序列、关节角度序列和动作标签。采集过程中有一个很关键的细节演示数据的多样性比数量重要得多。宁可采集300条覆盖不同物体位置和姿态的演示也不要采集1000条物体位置几乎相同的单调演示。否则训练出来的策略会对位置过拟合稍微移动物体就失败。采集时我还会刻意混入一些失败的演示数据。这里要说明一下我的策略不是把失败演示作为正样本而是用它们做数据增强的参照比如观察失败样本中物体姿态的边界情况再决定是否补充相应的正样本。失败演示本身不用来直接训练但可以指导我判断是否某个角落的物体位姿覆盖不足。同步问题是另一个大坑。视觉流和控制流如果时间没有对齐模型会学到错误的状态动作对应关系。我的做法是在采集端用一个共享时间戳服务相机帧到达后立即与最新关节状态合并确保每条数据的状态和动作时间差不超过一个控制周期。4.2 训练配置与参数选择训练配置方面我给出自己常用的参数组合这个组合在多个桌面任务上表现都比较稳预测时域16步动作块执行步数8步也就是每次生成16步执行前半段8步观察历史帧数2帧堆叠作为视觉上下文扩散去噪步数训练1000步推理时DDIM采样10步学习率1e-4使用余弦退火批量大小64训练轮数200到300轮训练时我还会启用EMA指数移动平均来平滑模型参数这能显著提升推理时的动作稳定性。梯度裁剪设为1.0防止个别困难样本导致梯度爆炸。整个训练过程在RTX 4090上300轮大约需要6到8小时。TensorBoard里我会重点盯两个曲线loss下降曲线和验证集上的动作误差。如果loss下降很快但验证误差不降多半是过拟合了优先加大数据增强而不是加数据量。4.3 推理部署与常见性能瓶颈推理部署时面临的第一个瓶颈是延迟。从相机取帧到动作下发端到端延迟需要控制在100毫秒以内否则机械臂会有明显滞后感。我的系统拆解下来延迟分布大致是相机取帧15ms视觉编码30ms语言指令编码10ms扩散采样10步约25ms通信和余量20ms。整体在100ms内可以完成。如果遇到延迟超标优先优化的环节是视觉编码器。ViT-L级别的模型可以考虑换成ViT-B或者对输入图像降采样。扩散采样步数从10步降到5步也能压缩10ms左右的耗时但动作质量会有轻微下降。更激进的做法是把扩散模型导出成TensorRT引擎在RTX显卡上能实现接近3倍的加速。部署时另一个容易忽视的问题是动作指令平滑。即使扩散策略生成的轨迹本身平滑直接下发到机械臂控制器仍然可能出现执行不连贯。我在中间加了一个二阶低通滤波器对位置和速度同时做平滑效果立竿见影。但要注意滤波系数不能过强否则会引入明显的相位延迟。建议滤波截止频率设置为机械臂控制频率的1/4左右实测平衡点比较理想。5. 踩坑实录Diffusion Policy落地中的5个典型问题5.1 动作抖动第一个遇到的拦路虎几乎每个第一次部署Diffusion Policy的人都会遇到动作抖动问题。症状是机械臂在目标位置附近高频小幅抖动看起来像帕金森症状。排查时我按以下顺序逐项检查第一检查视觉观测是否稳定。轻微的图像噪声被视觉编码器放大后会给扩散模型带来不必要的条件波动。解决方法是给相机加曝光锁定避免自动曝光导致亮度突变。第二检查动作块衔接逻辑。我用的动作块滑动窗口有一个细节每次生成16步动作但只执行前8步。也就是说相邻两次推理生成的动作块之间有8步的重叠区间。如果两次生成的前8步差异较大就会出现动作跳变。解决方法是保存当前执行的动作块缓存在生成新动作块后的前8步用旧动作块的值对新动作块对应位置做平滑插值。第三检查末端执行器速度是否限制过松。把速度限制从100%降到70%很多时候抖动就消失了。这不算治本但适合快速验证问题是否出在控制层。5.2 多模态行为取舍模型学会了但不稳定前文提到的插孔任务里模型能够学到两种插入模态但也带来一个新问题有时它会在两种模态之间反复横跳。推理第一次采样结果偏向模态A下一次又偏向模态B导致动作不连贯。我的解决办法是引入多轨迹一致性校验在推理时对同一条件采样3条候选轨迹用轨迹的自一致性分数做筛选也就是看每条轨迹与当前已执行轨迹的起始段吻合度选最接近的。这样做虽然增加了一点推理开销但换来的是对已执行历史的平滑衔接避免了不同模态间的反复横跳。另一个思路是在训练数据里对不同模态做平衡。如果一个模态的数据量远多于另一个模型会倾向多数模态少数模态基本不会被采样到。这会让策略的表观泛化能力变差。数据采集时最好把多模态的演示数量控制在一个相近量级。5.3 算力与实时性当模型跑不动怎么办边缘设备算力不足是真实部署时绕不开的问题。我遇到过在Jetson Orin上跑完整VLA流程端到端延迟超过300毫秒完全没法用。我的降级方案是三级递进的第一级把扩散采样从10步降到3步配合DPM-Solver加速采样。延迟能压到200毫秒左右。第二级视觉编码器降级。从ViT-L换成轻量的ViT-S输入分辨率从224降到168。视觉特征质量下降但在简单任务上仍能保持80%以上的成功率。第三级手工设计视觉缓存机制。如果场景在短时间内变化不大可以降低视觉编码的推理频率从每帧一次降到每3帧一次其余帧复用上一帧的特征。这一招效果很明显因为扩散模型对视觉特征的短时变化并不敏感。5.4 数据质量陷阱标注错误和轨迹断裂数据采集中最容易出错的是动作标注。尤其是与外部设备交互的任务比如按压按钮、转动阀门夹爪开合状态标注漏标或错标会导致策略在关键时刻做出错误动作。我的数据质检流程里加了一道自动检查对每条轨迹做差分标记出速度突变超过阈值的帧。这些帧往往是标注错误或数据拼接点人工复核时重点看这些位置。这个流程帮我在训练前发现了好几批有问题的数据避免了反复训练反复失败的循环。5.5 语言指令理解偏差VLA框架里语言指令的作用不能忽视但也不能过度依赖。实际发现简单指令比如“拿起杯子”效果很好但长指令比如“拿起架子右边第二个格子里的蓝色杯子”偶尔会出错原因是大语言模型对具体空间位置的编码不够精确。我的做法是在语言指令之外叠加一层显式的目标物体位置信息。用一个轻量化的检测器先识别目标物体位置把坐标作为额外的数值条件注入扩散模型。这样视觉和语言共同决定动作工程实现上更稳。6. 后续可以折腾的几个扩展方向最后说几个我最近在尝试的扩展方向都是围绕现有VLA Diffusion Policy框架的自然延伸。第一个是跨任务泛化。目前的做法是针对单一任务采集数据单独训练。思路完全可以扩展到多任务统一模型采集包含多种操作任务的数据比如抓取、放置、推开、插入在训练时把任务描述作为语言条件输入。这样共享视觉骨干网络多个任务之间能够互相促进。第二个是仿真到真机的迁移。在MuJoCo或Isaac Sim里大规模采集演示数据成本远低于真机但仿真和真机之间存在视觉域差距。我正在尝试用域随机化加扩散模型的条件增强来缩小这个差距。目前初步结果是可以直接用仿真权重在真机上完成简单抓取任务但复杂任务还需要在真机上补充少量数据做微调。第三个是扩散模型与其他动作头的融合。最近有一些工作尝试在VLA框架里同时使用扩散模型生成粗轨迹和高斯模型生成精细修正形成两阶段的动作输出。这种做法在精密装配任务里潜力很大因为粗轨迹负责全局导航精细修正负责局部对齐各有分工。这些都是比较新的方向开源社区跟进很快。感兴趣的话可以多关注具身智能领域最近几个月的进展尤其是围绕开源数据集和统一框架的内容很多都在逐步落地成型。Diffusion Policy作为VLA框架的动作生成核心在很长一段时间里都值得深入掌握。我个人在实际操作中的体会是这套方案的难点不在算法本身而在于数据质量和系统各环节的工程协调解决了这两块它能够覆盖非常广泛的应用任务。