模仿学习2.7：diffusion

概念以专家示范轨迹为训练数据通过扩散模型的「逐步加噪 - 条件去噪」生成范式学习并输出符合专家行为分布的连续动作序列的模仿学习方法核心目标从专家示范的状态 - 动作轨迹中学习一个从环境状态到执行动作的映射策略让智能体复现专家的行为核心能力通过「前向逐步给数据加高斯噪声反向训练去噪网络还原数据」的流程精准拟合高维、复杂、多模态的数据分布训练稳定性远优于 GAN 等生成模型工作流程1. 训练阶段学习专家行为分布数据预处理收集专家示范轨迹整理为「环境状态序列含当前 / 历史状态 对应未来多步动作序列」的配对数据动作序列是扩散模型的生成目标。前向加噪过程对专家的真实动作序列逐步添加高斯噪声经过 T 步后纯动作序列被完全破坏为随机高斯噪声。条件去噪训练训练一个条件去噪神经网络输入为「加噪后的动作序列、当前加噪步数、环境状态条件」训练目标是精准预测当前步添加的高斯噪声。通过迭代训练模型学会在给定状态下从噪声中还原出专家的动作分布。2. 推理阶段策略执行从随机高斯噪声出发作为初始的动作序列基于当前实时的环境状态通过训练好的去噪网络执行 T 步逐步去噪最终还原出符合专家行为的完整动作序列一般取序列的第一个动作在环境中执行之后进入新的环境状态重复上述去噪生成流程实现闭环的连续决策。