1. 引言On-Policy Distillation 的兴起与挑战在大型语言模型LLM的训练实践中我们常常面临一个两难选择监督微调SFT虽然简单高效但模型在推理时遇到超出训练分布的情况容易产生过度自信的错误而强化学习RL方法如PPO/GRPO虽然理论上更优雅却需要消耗数十倍的训练资源且效果提升往往不尽如人意。2025年下旬Thinking Machines Lab提出的On-Policy DistillationOPD为解决这一困境提供了新思路。其核心创新在于让学生模型在自己的采样轨迹上接受教师模型的密集监督既保留了on-policy训练消除exposure bias的优势又获得了token级别的精细指导。这种方法在数学推理、代码生成等需要精确控制的场景展现出显著优势。过去半年OPD领域涌现出三大主流研究方向稳定性与多样性优化解决训练崩溃和模式坍缩问题自蒸馏与特权信息利用无需外部教师模型的轻量方案多模态与场景扩展将OPD应用于视频理解等新领域本文将深入解析这三大方向的9篇代表性工作揭示技术演进的内在逻辑并分享在实际复现中的关键经验。2. 稳定性与多样性OPD的基础难题2.1 梯度几何视角的稳定性突破2.1.1 Veto方法的核心洞察传统OPD面临的根本矛盾在于Forward KL散度会导致低概率token上的梯度爆炸当教师概率p→0而学生概率q→1时梯度项p/q→∞而Reverse KL又会导致模式坍缩学生只学习教师的最可能路径丧失多样性。Veto论文arXiv 2601.07155的创新在于发现这个问题本质上是目标函数几何结构导致的。其解决方案是在logit空间构建过渡分布q_α softmax((1-α)*logits_teacher α*logits_student)其中α∈[0,1]是可调参数。这个设计带来两个关键好处在Forward KL场景下α→0梯度项变为p/q_α即使p→0只要α0梯度就不会爆炸在Reverse KL场景下α→1α实际上成为熵正则化的强度控制项2.1.2 实际实现技巧在复现Veto时我们发现α的调度策略至关重要。推荐采用余弦退火策略def alpha_schedule(step, total_steps): return 0.5 * (1 math.cos(math.pi * step / total_steps))这种调度在训练初期α≈1优先保证稳定性后期α→0逐渐逼近原始目标。在Qwen3-1.7B上的实验显示相比固定α0.5余弦调度在MATH500上的Pass1提升2.3%。关键提示logit空间插值需要教师和学生模型的logits温度保持一致建议在蒸馏前先对两个模型进行温度校准。2.2 熵感知的多样性保持2.2.1 EOPD的算法设计EOPDarXiv 2603.07079针对Reverse KL导致的多样性丧失问题提出基于token熵的条件优化策略计算每个token位置i的教师熵H_i -∑ p_i log p_i定义熵阈值τpercentile({H_i}, 70%)即前30%高熵位置损失函数变为L [∑_{H_iτ} KL(q||p) λ∑_{H_i≥τ} KL(p||q)]其中λ是超参数通常取0.1-0.3。这种设计确保模型在决策关键点高熵位置保留教师的多路径特性。2.2.2 实现细节在实际代码中高效计算熵阈值是关键。我们推荐以下实现def compute_loss(logits_teacher, logits_student): probs_teacher F.softmax(logits_teacher, dim-1) entropy - (probs_teacher * torch.log(probs_teacher)).sum(-1) # [batch, seq] # 使用分位数估计避免排序全量数据 tau torch.quantile(entropy.flatten(), 0.7) mask_high (entropy tau).float() loss_high F.kl_div( F.log_softmax(logits_student, dim-1), probs_teacher, reductionnone ).sum(-1) * mask_high mask_low 1 - mask_high loss_low F.kl_div( F.log_softmax(logits_teacher, dim-1), F.softmax(logits_student, dim-1), reductionnone ).sum(-1) * mask_low return (loss_high.mean() 0.2 * loss_low.mean()) / seq_len避坑指南直接使用torch.kldiv会因log计算导致数值不稳定建议使用log_softmax softmax组合。2.3 RL技巧的迁移应用2.3.1 REOPOLD的三项创新REOPOLDarXiv 2603.11137将RL优化技巧系统性地迁移到OPD场景混合reward裁剪r_clip torch.sign(r) * torch.min(abs(r), clip_val)其中clip_val从1.0线性衰减到0.1兼顾初期稳定性和后期精细优化熵引导的token过滤计算batch内所有token的熵值只对top-30%高熵token计算梯度动态调整比例前期50%鼓励探索后期20%聚焦难点两阶段训练策略阶段1前40%步数屏蔽绝对值大于1的负reward阶段2完整reward信号 熵过滤2.3.2 复现效果对比在AIME25数据集上我们复现的REOPOLD与原始论文结果对比指标论文报告我们的复现Pass132.4%31.7%训练步数8k7.5kGPU小时320290差异主要来自梯度累积策略的调整我们使用更小的batch size但更多累积步数。3. 自蒸馏与特权信息利用3.1 自我指导的推理优化3.1.1 OPSD的核心机制OPSDarXiv 2601.18734的巧妙之处在于角色分离教师模式模型接收问题Q正确答案A生成推理链R学生模式仅接收Q生成R优化目标最小化在R上的KL散度这种设计实现了三个突破无需更强外部教师答案信息提供密集监督完全on-policy避免分布偏移3.1.2 工程实现要点在实际系统中我们采用共享模型参数不同prompt的策略class OPSDWrapper(torch.nn.Module): def __init__(self, base_model): super().__init__() self.model base_model def forward(self, input_ids, is_teacherFalse): if is_teacher: # 添加[TEACHER]特殊token input_ids torch.cat([ torch.tensor([[TEACHER_ID]]).expand(input_ids.size(0), 1), input_ids ], dim1) return self.model(input_ids)关键细节使用不同的BOS token区分模式教师模式下将答案附加在问题后采用梯度停驻stop_gradient避免教师更新3.2 持续学习的新范式3.2.1 SDFT的数学等价性SDFTarXiv 2601.19897揭示了一个深刻洞见自蒸馏目标[D_KL(π(·|x, D) || π(·|x))]等价于最大化隐式rewardr(x,y) log π(y|x,D) - log π(y|x)这与RLHF的奖励建模完全一致但无需额外训练reward模型。3.2.2 实际应用方案我们在医疗问答系统中实现了SDFT持续学习初始训练在1,000个通用医疗问答对上SFT新增专科数据保留100个旧任务示例作为D新数据训练时计算KL散度损失评估显示旧任务遗忘率5%传统SFT30%新任务学习效率提升2倍经验分享示例集D需要定期更新建议保留各类别的top-10最高概率样本。3.3 环境反馈的密集利用3.3.1 SDPO的reward设计SDPOarXiv 2601.20802将稀疏标量reward扩展为token级优势函数A_t log π(a_t|s_t, e) - log π(a_t|s_t)其中e是环境反馈文本如错误信息。这种设计带来细粒度credit分配精确识别错误位置免重生成优势仅需重新计算logprob信息密度提升利用全部反馈文本3.3.2 代码实现技巧我们优化了原始论文的实现方案def sdp_loss(initial_logits, feedback_logits, feedback_labels): # initial_logits: 原始生成的logits [batch, seq, vocab] # feedback_logits: 看到反馈后相同输入的logits # feedback_labels: 实际生成的token ids initial_logprobs F.log_softmax(initial_logits, dim-1) feedback_logprobs F.log_softmax(feedback_logits, dim-1) # 仅在实际生成的token位置计算优势 advantage torch.gather(feedback_logprobs - initial_logprobs, 2, feedback_labels.unsqueeze(-1)).squeeze() loss -advantage.mean() # 最大化优势 return loss优化点包括使用gather避免全量计算对长序列采用分chunk处理添加0.01的熵正则项4. 多模态与场景扩展4.1 视频时序定位的适配4.1.1 Video-OPD的架构创新Video-OPDarXiv 2602.02994针对视频理解的两个核心挑战视觉编码优化学生和教师共享视觉编码器添加轻量适配层LoRA只更新适配层参数课程学习策略TRPV阶段过滤IoU0.5的不可靠样本DBTP阶段优先训练|p_t - q_t|0.7的高分歧帧4.1.2 关键超参数设置在Charades-TimeLens数据集上的最优配置参数值视觉LoRA rank8学习率3e-5温度τ0.07DBTP比例30%最大帧数64硬件提示使用梯度检查点技术可将显存占用降低60%适合长视频处理。4.2 上下文知识的参数化4.2.1 OPCD的蒸馏策略OPCDarXiv 2602.12275实现上下文知识烧录的关键步骤构造系统prompt S和历史对话D学生模型生成响应y∼π(·|x)教师模型评估π(·|x,S,D)在y上的概率优化Reverse KL散度4.2.2 实际部署方案我们在客服系统中实现了OPCD初始阶段收集优秀客服对话含系统prompt蒸馏阶段白天在线服务记录用户query和response夜间用当日数据做OPD训练效果上下文长度减少70%响应速度提升2.1倍满意度评分提高15%5. 复现经验与避坑指南5.1 硬件配置建议基于A100 80GB的实测数据模型规模批量大小显存占用吞吐量tokens/s1.7B1638GB12004B872GB6508B4OOM-对于8B模型推荐使用DeepSpeed Zero-3开启梯度检查点采用BF16混合精度5.2 常见失败案例梯度爆炸现象loss突然变为NaN解决方案添加梯度裁剪max_norm1.0初始化α0.9模式坍缩现象生成多样性骤降诊断计算生成文本的dist-3指标修复增加Forward KL权重λ0.3→0.5训练震荡现象指标波动大于5%调整减小学习率5e-6→2e-6增大batch size5.3 评估指标设计除常规准确率外建议监控分布一致性def js_div(p, q): m 0.5 * (p q) return 0.5 * (kl(p||m) kl(q||m))健康范围0.2-0.4过低过拟合过高欠拟合熵比\frac{H_{student}}{H_{teacher}} ∈ [0.8, 1.2]Top-k覆盖 教师top-5预测被学生top-10覆盖的比例应85%6. 未来方向展望当前OPD研究正在向三个维度拓展理论深度探索与模仿学习的理论联系研究不同散度度量的几何特性应用广度蛋白质设计机器人控制策略迁移工程优化分布式OPD框架量化感知训练在实际业务场景中我们发现OPD特别适合以下场景需要保留模型个性的迁移学习资源受限的边缘部署对生成多样性要求高的创作类任务个人实践建议从1.7B模型OPSD方案开始尝试逐步扩展到更大规模和更复杂方法。注意保留完整的实验日志因为OPD对超参数相当敏感。
On-Policy Distillation技术解析与优化实践
发布时间：2026/7/27 15:54:55
1. 引言On-Policy Distillation 的兴起与挑战在大型语言模型LLM的训练实践中我们常常面临一个两难选择监督微调SFT虽然简单高效但模型在推理时遇到超出训练分布的情况容易产生过度自信的错误而强化学习RL方法如PPO/GRPO虽然理论上更优雅却需要消耗数十倍的训练资源且效果提升往往不尽如人意。2025年下旬Thinking Machines Lab提出的On-Policy DistillationOPD为解决这一困境提供了新思路。其核心创新在于让学生模型在自己的采样轨迹上接受教师模型的密集监督既保留了on-policy训练消除exposure bias的优势又获得了token级别的精细指导。这种方法在数学推理、代码生成等需要精确控制的场景展现出显著优势。过去半年OPD领域涌现出三大主流研究方向稳定性与多样性优化解决训练崩溃和模式坍缩问题自蒸馏与特权信息利用无需外部教师模型的轻量方案多模态与场景扩展将OPD应用于视频理解等新领域本文将深入解析这三大方向的9篇代表性工作揭示技术演进的内在逻辑并分享在实际复现中的关键经验。2. 稳定性与多样性OPD的基础难题2.1 梯度几何视角的稳定性突破2.1.1 Veto方法的核心洞察传统OPD面临的根本矛盾在于Forward KL散度会导致低概率token上的梯度爆炸当教师概率p→0而学生概率q→1时梯度项p/q→∞而Reverse KL又会导致模式坍缩学生只学习教师的最可能路径丧失多样性。Veto论文arXiv 2601.07155的创新在于发现这个问题本质上是目标函数几何结构导致的。其解决方案是在logit空间构建过渡分布q_α softmax((1-α)*logits_teacher α*logits_student)其中α∈[0,1]是可调参数。这个设计带来两个关键好处在Forward KL场景下α→0梯度项变为p/q_α即使p→0只要α0梯度就不会爆炸在Reverse KL场景下α→1α实际上成为熵正则化的强度控制项2.1.2 实际实现技巧在复现Veto时我们发现α的调度策略至关重要。推荐采用余弦退火策略def alpha_schedule(step, total_steps): return 0.5 * (1 math.cos(math.pi * step / total_steps))这种调度在训练初期α≈1优先保证稳定性后期α→0逐渐逼近原始目标。在Qwen3-1.7B上的实验显示相比固定α0.5余弦调度在MATH500上的Pass1提升2.3%。关键提示logit空间插值需要教师和学生模型的logits温度保持一致建议在蒸馏前先对两个模型进行温度校准。2.2 熵感知的多样性保持2.2.1 EOPD的算法设计EOPDarXiv 2603.07079针对Reverse KL导致的多样性丧失问题提出基于token熵的条件优化策略计算每个token位置i的教师熵H_i -∑ p_i log p_i定义熵阈值τpercentile({H_i}, 70%)即前30%高熵位置损失函数变为L [∑_{H_iτ} KL(q||p) λ∑_{H_i≥τ} KL(p||q)]其中λ是超参数通常取0.1-0.3。这种设计确保模型在决策关键点高熵位置保留教师的多路径特性。2.2.2 实现细节在实际代码中高效计算熵阈值是关键。我们推荐以下实现def compute_loss(logits_teacher, logits_student): probs_teacher F.softmax(logits_teacher, dim-1) entropy - (probs_teacher * torch.log(probs_teacher)).sum(-1) # [batch, seq] # 使用分位数估计避免排序全量数据 tau torch.quantile(entropy.flatten(), 0.7) mask_high (entropy tau).float() loss_high F.kl_div( F.log_softmax(logits_student, dim-1), probs_teacher, reductionnone ).sum(-1) * mask_high mask_low 1 - mask_high loss_low F.kl_div( F.log_softmax(logits_teacher, dim-1), F.softmax(logits_student, dim-1), reductionnone ).sum(-1) * mask_low return (loss_high.mean() 0.2 * loss_low.mean()) / seq_len避坑指南直接使用torch.kldiv会因log计算导致数值不稳定建议使用log_softmax softmax组合。2.3 RL技巧的迁移应用2.3.1 REOPOLD的三项创新REOPOLDarXiv 2603.11137将RL优化技巧系统性地迁移到OPD场景混合reward裁剪r_clip torch.sign(r) * torch.min(abs(r), clip_val)其中clip_val从1.0线性衰减到0.1兼顾初期稳定性和后期精细优化熵引导的token过滤计算batch内所有token的熵值只对top-30%高熵token计算梯度动态调整比例前期50%鼓励探索后期20%聚焦难点两阶段训练策略阶段1前40%步数屏蔽绝对值大于1的负reward阶段2完整reward信号 熵过滤2.3.2 复现效果对比在AIME25数据集上我们复现的REOPOLD与原始论文结果对比指标论文报告我们的复现Pass132.4%31.7%训练步数8k7.5kGPU小时320290差异主要来自梯度累积策略的调整我们使用更小的batch size但更多累积步数。3. 自蒸馏与特权信息利用3.1 自我指导的推理优化3.1.1 OPSD的核心机制OPSDarXiv 2601.18734的巧妙之处在于角色分离教师模式模型接收问题Q正确答案A生成推理链R学生模式仅接收Q生成R优化目标最小化在R上的KL散度这种设计实现了三个突破无需更强外部教师答案信息提供密集监督完全on-policy避免分布偏移3.1.2 工程实现要点在实际系统中我们采用共享模型参数不同prompt的策略class OPSDWrapper(torch.nn.Module): def __init__(self, base_model): super().__init__() self.model base_model def forward(self, input_ids, is_teacherFalse): if is_teacher: # 添加[TEACHER]特殊token input_ids torch.cat([ torch.tensor([[TEACHER_ID]]).expand(input_ids.size(0), 1), input_ids ], dim1) return self.model(input_ids)关键细节使用不同的BOS token区分模式教师模式下将答案附加在问题后采用梯度停驻stop_gradient避免教师更新3.2 持续学习的新范式3.2.1 SDFT的数学等价性SDFTarXiv 2601.19897揭示了一个深刻洞见自蒸馏目标[D_KL(π(·|x, D) || π(·|x))]等价于最大化隐式rewardr(x,y) log π(y|x,D) - log π(y|x)这与RLHF的奖励建模完全一致但无需额外训练reward模型。3.2.2 实际应用方案我们在医疗问答系统中实现了SDFT持续学习初始训练在1,000个通用医疗问答对上SFT新增专科数据保留100个旧任务示例作为D新数据训练时计算KL散度损失评估显示旧任务遗忘率5%传统SFT30%新任务学习效率提升2倍经验分享示例集D需要定期更新建议保留各类别的top-10最高概率样本。3.3 环境反馈的密集利用3.3.1 SDPO的reward设计SDPOarXiv 2601.20802将稀疏标量reward扩展为token级优势函数A_t log π(a_t|s_t, e) - log π(a_t|s_t)其中e是环境反馈文本如错误信息。这种设计带来细粒度credit分配精确识别错误位置免重生成优势仅需重新计算logprob信息密度提升利用全部反馈文本3.3.2 代码实现技巧我们优化了原始论文的实现方案def sdp_loss(initial_logits, feedback_logits, feedback_labels): # initial_logits: 原始生成的logits [batch, seq, vocab] # feedback_logits: 看到反馈后相同输入的logits # feedback_labels: 实际生成的token ids initial_logprobs F.log_softmax(initial_logits, dim-1) feedback_logprobs F.log_softmax(feedback_logits, dim-1) # 仅在实际生成的token位置计算优势 advantage torch.gather(feedback_logprobs - initial_logprobs, 2, feedback_labels.unsqueeze(-1)).squeeze() loss -advantage.mean() # 最大化优势 return loss优化点包括使用gather避免全量计算对长序列采用分chunk处理添加0.01的熵正则项4. 多模态与场景扩展4.1 视频时序定位的适配4.1.1 Video-OPD的架构创新Video-OPDarXiv 2602.02994针对视频理解的两个核心挑战视觉编码优化学生和教师共享视觉编码器添加轻量适配层LoRA只更新适配层参数课程学习策略TRPV阶段过滤IoU0.5的不可靠样本DBTP阶段优先训练|p_t - q_t|0.7的高分歧帧4.1.2 关键超参数设置在Charades-TimeLens数据集上的最优配置参数值视觉LoRA rank8学习率3e-5温度τ0.07DBTP比例30%最大帧数64硬件提示使用梯度检查点技术可将显存占用降低60%适合长视频处理。4.2 上下文知识的参数化4.2.1 OPCD的蒸馏策略OPCDarXiv 2602.12275实现上下文知识烧录的关键步骤构造系统prompt S和历史对话D学生模型生成响应y∼π(·|x)教师模型评估π(·|x,S,D)在y上的概率优化Reverse KL散度4.2.2 实际部署方案我们在客服系统中实现了OPCD初始阶段收集优秀客服对话含系统prompt蒸馏阶段白天在线服务记录用户query和response夜间用当日数据做OPD训练效果上下文长度减少70%响应速度提升2.1倍满意度评分提高15%5. 复现经验与避坑指南5.1 硬件配置建议基于A100 80GB的实测数据模型规模批量大小显存占用吞吐量tokens/s1.7B1638GB12004B872GB6508B4OOM-对于8B模型推荐使用DeepSpeed Zero-3开启梯度检查点采用BF16混合精度5.2 常见失败案例梯度爆炸现象loss突然变为NaN解决方案添加梯度裁剪max_norm1.0初始化α0.9模式坍缩现象生成多样性骤降诊断计算生成文本的dist-3指标修复增加Forward KL权重λ0.3→0.5训练震荡现象指标波动大于5%调整减小学习率5e-6→2e-6增大batch size5.3 评估指标设计除常规准确率外建议监控分布一致性def js_div(p, q): m 0.5 * (p q) return 0.5 * (kl(p||m) kl(q||m))健康范围0.2-0.4过低过拟合过高欠拟合熵比\frac{H_{student}}{H_{teacher}} ∈ [0.8, 1.2]Top-k覆盖 教师top-5预测被学生top-10覆盖的比例应85%6. 未来方向展望当前OPD研究正在向三个维度拓展理论深度探索与模仿学习的理论联系研究不同散度度量的几何特性应用广度蛋白质设计机器人控制策略迁移工程优化分布式OPD框架量化感知训练在实际业务场景中我们发现OPD特别适合以下场景需要保留模型个性的迁移学习资源受限的边缘部署对生成多样性要求高的创作类任务个人实践建议从1.7B模型OPSD方案开始尝试逐步扩展到更大规模和更复杂方法。注意保留完整的实验日志因为OPD对超参数相当敏感。
