在 DPO 训练中用 BEMA 更新参考模型trl bema_for_ref_model 模块实战指南【免费下载链接】trlTrain transformer language models with reinforcement learning.项目地址: https://gitcode.com/GitHub_Trending/tr/trl导读本指南围绕 trl 仓库中的 bema_for_reference_model 文档 展开系统讲解如何用 BEMABias-Corrected Exponential Moving Average偏差校正指数移动平均算法在 DPO 训练过程中持续更新参考模型reference model以替代固定参考模型的传统做法。读完本文你将掌握BEMACallback与DPOTrainer的完整配置方法、每个超参数的物理含义与取值建议以及该特性在源码层的实现原理与测试验证方式。BEMA 是什么从 EMA 到偏差校正BEMABias-Corrected Exponential Moving Average是一种模型权重平滑算法由 Adam Block 与 Cyril Zhang 提出trl 在 基础回调实现 中将其定义为偏差校正的指数移动平均。与经典 EMA 相比BEMA 多了一个随训练步数衰减的偏差校正项从而缓解 EMA 在训练早期因权重尚未稳定而产生的偏置。在 bema_for_ref_model 回调源码 的 docstring 中BEMA 的核心公式被定义为$$ \theta_t \alpha_t \cdot (\theta_t - \theta_0) \text{EMA}_t $$其中\( \theta_t \) 是第 \( t \) 步的当前模型权重\( \theta_0 \) 是在首次执行 BEMA 更新即update_after步时对模型权重拍摄的快照\( \text{EMA}_t \) 是指数移动平均权重\( \alpha_t \) 是随步数 \( t \) 衰减的缩放因子\( \alpha_t (\rho \gamma \cdot t)^{-\eta} \)。EMA 本身的递推式为$$ \text{EMA}t (1 - \beta_t) \cdot \text{EMA}{t-1} \beta_t \cdot \theta_t $$其中 \( \beta_t \) 是同样随时间衰减的 EMA 系数\( \beta_t (\rho \gamma \cdot t)^{-\kappa} \)。直观理解\( \theta_t - \theta_0 \) 衡量了模型从起始快照开始的累积更新量乘以衰减因子 \( \alpha_t \) 后叠加到 EMA 之上使得早期大步长更新不会被 EMA 过度平滑抹平后期则逐渐退化为标准 EMA。这套机制在 DPO 场景中的价值在于用 BEMA 平滑后的权重去更新参考模型可以给策略模型一个滞后且平滑的参照系避免参考模型与策略模型同步剧烈抖动从而稳定偏好优化过程。快速上手最小可运行示例在trl.experimental.bema_for_ref_model命名空间下官方文档给出了一个开箱即用的示例核心代码如下from trl.experimental.bema_for_ref_model import BEMACallback, DPOTrainer from datasets import load_dataset dataset load_dataset(trl-internal-testing/zen, standard_preference, splittrain) bema_callback BEMACallback(update_ref_modelTrue) trainer DPOTrainer( modeltrl-internal-testing/tiny-Qwen2ForCausalLM-2.5, train_datasetdataset, callbacks[bema_callback], ) trainer.train()这段代码做了三件事加载 trl 内部测试用的偏好数据集trl-internal-testing/zenstandard_preference配置构造一个开启参考模型更新的BEMACallback(update_ref_modelTrue)把它挂载到实验版DPOTrainer的callbacks列表上启动训练。与标准 DPO 训练的唯一差异在于回调的引入——训练循环本身、损失函数、数据流完全复用 trl 的 DPO 训练器。update_ref_modelTrue是让该特性真正生效的关键开关它告诉回调在训练过程中周期性把 BEMA 权重写回参考模型。BEMACallback 参数详解BEMACallback的完整签名定义在 实验版回调 中它继承了 基础 BEMACallback 的全部参数并新增了三个参考模型更新相关的参数。全部参数如下参数论文符号默认值作用说明update_freq\( \phi \)400每多少步更新一次 BEMA 权重ema_power\( \kappa \)0.5EMA 衰减因子 \( \beta_t \) 的幂次设为0.0可完全禁用 EMAbias_power\( \eta \)0.2BEMA 缩放因子 \( \alpha_t \) 的幂次设为8.0左右会让 \( \alpha_t \) 快速衰减到 0近似关闭偏差校正设为0.0则 \( \alpha_t \) 恒为 1最大、不衰减的校正lag\( \rho \)10衰减调度中的初始偏移量相当于给更新一个虚拟起始年龄控制早期平滑程度update_after\( \tau \)0BEMA 权重开始更新前的预热burn-in步数同时决定 \( \theta_0 \) 快照的拍摄时刻multiplier\( \gamma \)1.0EMA 衰减因子的初始值系数min_ema_multiplier—0.0EMA 衰减因子的下限防止 \( \beta_t \) 衰减到过小device—cpuBEMA 缓冲区所在设备。源码注释特别强调在大多数情况下该设备应当与训练设备不同以避免显存溢出OOMupdate_ref_model—False是否用 BEMA 权重更新参考模型开启后参考模型即成为主模型的滞后平滑版本ref_model_update_freq—400每多少步把 BEMA 权重写入参考模型ref_model_update_after—0开始更新参考模型前等待的步数其中前 8 个参数对应 BEMA 算法本身的调度后 3 个参数专属于参考模型更新特性。从源码看_ema_beta与_bema_alpha两个方法trl/trainer/callbacks.py分别实现beta (self.lag self.multiplier * step) ** (-self.ema_power) alpha (self.lag self.multiplier * step) ** (-self.bias_power)即 \( \beta_t (\rho \gamma \cdot t)^{-\kappa} \)、\( \alpha_t (\rho \gamma \cdot t)^{-\eta} \)且 \( \beta_t \) 受min_ema_multiplier截断。调参时记住两条经验法则ema_power0.0关闭 EMA、bias_power0.0将偏差校正固定为最大强度这两个边界值均有测试覆盖见下文测试与验证。底层原理回调如何驱动 BEMA 计算BEMA 权重计算完全由回调内部状态机驱动全程在torch.no_grad()下进行不参与梯度计算。其生命周期在 基础回调实现 中分为三个阶段训练开始on_train_begin将模型解包处理 DeepSpeed、FSDP、DataParallel/DDP 包装后新建一个同结构模型实例running_model作为 BEMA 权重的载体并缓存所有可训练参数记录参数名、参数引用为每个参数在device上克隆出 \( \theta_0 \) 缓冲区并把 EMA 初始化为 \( \theta_0 \) 的拷贝。每步结束on_step_end读取state.global_step若step update_after直接跳过若step update_after拍摄 \( \theta_0 \) 快照并把 EMA 重置为 \( \theta_0 \)若(step - update_after) % update_freq 0执行_update_bema_weights(step)原地更新 EMA 并计算 BEMA 权重写入running_model。核心更新逻辑trl/trainer/callbacks.py为ema.mul_(1 - beta).add_(thetat, alphabeta) # EMA 更新 run_param.copy_(ema alpha * (thetat - theta0)) # BEMA 更新即先按 \( \beta_t \) 递推 EMA再计算 \( \text{EMA}_t \alpha_t(\theta_t - \theta_0) \) 覆盖到running_model上。训练结束on_train_end在全局主进程is_world_process_zero下把running_model通过save_pretrained保存到{output_dir}/bema目录因此即便不开启参考模型更新训练结束后也能拿到一份 BEMA 平滑后的独立权重。参考模型更新机制与 DPOTrainer 改造回调处理器让参考模型进入回调事件标准transformers.Trainer的回调事件不会传递参考模型。实验版DPOTrainerdpo_trainer.py在初始化时做了一处关键替换self.callback_handler CallbackHandlerWithRefModel( self.callback_handler.callbacks, self.model, self.ref_model, self.processing_class, self.optimizer, self.lr_scheduler, )CallbackHandlerWithRefModelcallback.py继承自transformers.CallbackHandler其call_event方法在原有回调调用基础上追加了ref_modelself.ref_model关键字参数从而让BEMACallback.on_step_end能够拿到参考模型实例。注意它复用的是原始 handler 中已有的callbacks列表因此你传给DPOTrainer(callbacks[...])的回调会原样进入新的处理器。回调内的参考模型更新实验版BEMACallback.on_step_endcallback.py在完成基础 BEMA 权重计算后检查三个条件决定是否同步参考模型if ( self.update_ref_model and step self.ref_model_update_after and (step - self.ref_model_update_after) % self.ref_model_update_freq 0 ):满足条件后它从kwargs中取出ref_model若缺失会抛出ValueError把running_model的 state_dict 作为 BEMA 权重源调用_update_model_with_bema_weights写入参考模型。这里对 PEFTLoRA场景做了专门处理当ref_model is NonePEFT 模式下 DPO 训练器不维护独立参考模型实例时改为更新主模型的基座模型get_base_model()当参考模型本身是 PEFT 模型时同样只更新其基座。在_update_model_with_bema_weightscallback.py中还会过滤掉lora_、adapter_前缀的适配器参数并剥离base_model.前缀后以strictFalse载入保证分布式与 PEFT 混合场景下的键名兼容。与 DPO 训练器参考模型管理的配合使用该特性前需要理解实验版DPOTrainer底层trl/trainer/dpo_trainer.py对参考模型的管理方式未显式传入ref_model时训练器会根据配置从args.ref_model或模型自身路径自动加载一份参考模型若启用sync_ref_model训练器会额外注册SyncRefModelCallback周期性同步参考模型——但该选项与 PEFT 模型、precompute_ref_log_probsTrue均不兼容后者假定参考模型固定预计算的对数概率会被周期更新的参考模型作废禁用 dropout 时disable_dropoutTrue主模型与参考模型都会执行disable_dropout_in_model。实验版 BEMA 回调属于在回调层面直接覆写参考模型权重的实现路径与sync_ref_model是两套独立的参考模型更新机制一般场景下选择其一即可避免机制叠加带来的不确定性。测试与验证步进调度与保存行为仓库的 test_callbacks.py 为 BEMA 回调提供了完整的单元测试可直接作为行为契约参考test_model_saved训练结束后断言{output_dir}/bema目录存在且能用AutoModelForCausalLM.from_pretrained重新加载验证了训练结束自动保存 BEMA 权重的行为test_update_frequency_0update_freq2、共 9 步17 样本、batch size 8、3 epoch时通过 mock 断言_update_bema_weights在步 2、4、6、8 被调用test_update_frequency_1update_freq3时更新发生在步 3、6、9test_update_frequency_2update_freq2, update_after3时更新发生在步 5、7、9验证了预热步数对调度起点的影响test_bias_power_zero/test_no_ema分别验证bias_power0.0最大偏差校正与ema_power0.0禁用 EMA两个边界配置下训练可正常完成。这些测试精确刻画了每update_freq步更新一次、以update_after为起点的调度语义你在自定义步数配置时可以此为准。使用注意事项与调参建议显存规划device参数默认是cpu这是刻意设计——BEMA 需要为每个可训练参数维护 \( \theta_0 \) 与 EMA 两份副本若放在cuda上会与训练显存竞争源码注释明确建议在大多数场景下让 BEMA 缓冲区与训练设备分离避免 OOM。训练时长匹配默认update_freq400、ref_model_update_freq400面向较长训练流程设计短实验如单元测试中的 9 步训练需要调小这些值才会观察到参考模型更新。预热与快照update_after既决定 BEMA 开始更新的步数也决定 \( \theta_0 \) 快照的拍摄时机建议在模型训练进入相对平稳阶段后再启用 BEMA以减小早期剧烈波动对快照的污染。输出产物训练结束后 BEMA 平滑权重会保存到输出目录的bema子目录中可用于后续评估或作为最终模型候选save_model、push_to_hub等DPOTrainer方法详见 bema_for_reference_model 文档同样可用。PEFT 场景LoRA 微调时参考模型实例可能为None回调会退化为更新主模型的基座权重适配器参数不会被 BEMA 覆写这点在评估BEMA 到底更新了什么时需要留意。小结bema_for_ref_model为 DPO 训练提供了一个轻量而完整的动态参考模型方案通过BEMACallback(update_ref_modelTrue)一行配置即可让参考模型周期性收敛到主模型的 BEMA 平滑权重从而获得滞后、平滑的参照系。其实现横跨三处关键代码——算法本体在 trl/trainer/callbacks.py参考模型同步与回调处理器扩展在 trl/experimental/bema_for_ref_model/callback.py训练器接线在 trl/experimental/bema_for_ref_model/dpo_trainer.py——配合 tests/test_callbacks.py 中的行为测试你可以放心地将它集成进自己的 DPO 训练流水线。【免费下载链接】trlTrain transformer language models with reinforcement learning.项目地址: https://gitcode.com/GitHub_Trending/tr/trl创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 在 DPO 训练中用 BEMA 更新参考模型：trl bema_for_ref_model 模块实战指南
在 DPO 训练中用 BEMA 更新参考模型trl bema_for_ref_model 模块实战指南【免费下载链接】trlTrain transformer language models with reinforcement learning.项目地址: https://gitcode.com/GitHub_Trending/tr/trl导读本指南围绕 trl 仓库中的 bema_for_reference_model 文档 展开系统讲解如何用 BEMABias-Corrected Exponential Moving Average偏差校正指数移动平均算法在 DPO 训练过程中持续更新参考模型reference model以替代固定参考模型的传统做法。读完本文你将掌握BEMACallback与DPOTrainer的完整配置方法、每个超参数的物理含义与取值建议以及该特性在源码层的实现原理与测试验证方式。BEMA 是什么从 EMA 到偏差校正BEMABias-Corrected Exponential Moving Average是一种模型权重平滑算法由 Adam Block 与 Cyril Zhang 提出trl 在 基础回调实现 中将其定义为偏差校正的指数移动平均。与经典 EMA 相比BEMA 多了一个随训练步数衰减的偏差校正项从而缓解 EMA 在训练早期因权重尚未稳定而产生的偏置。在 bema_for_ref_model 回调源码 的 docstring 中BEMA 的核心公式被定义为$$ \theta_t \alpha_t \cdot (\theta_t - \theta_0) \text{EMA}_t $$其中\( \theta_t \) 是第 \( t \) 步的当前模型权重\( \theta_0 \) 是在首次执行 BEMA 更新即update_after步时对模型权重拍摄的快照\( \text{EMA}_t \) 是指数移动平均权重\( \alpha_t \) 是随步数 \( t \) 衰减的缩放因子\( \alpha_t (\rho \gamma \cdot t)^{-\eta} \)。EMA 本身的递推式为$$ \text{EMA}t (1 - \beta_t) \cdot \text{EMA}{t-1} \beta_t \cdot \theta_t $$其中 \( \beta_t \) 是同样随时间衰减的 EMA 系数\( \beta_t (\rho \gamma \cdot t)^{-\kappa} \)。直观理解\( \theta_t - \theta_0 \) 衡量了模型从起始快照开始的累积更新量乘以衰减因子 \( \alpha_t \) 后叠加到 EMA 之上使得早期大步长更新不会被 EMA 过度平滑抹平后期则逐渐退化为标准 EMA。这套机制在 DPO 场景中的价值在于用 BEMA 平滑后的权重去更新参考模型可以给策略模型一个滞后且平滑的参照系避免参考模型与策略模型同步剧烈抖动从而稳定偏好优化过程。快速上手最小可运行示例在trl.experimental.bema_for_ref_model命名空间下官方文档给出了一个开箱即用的示例核心代码如下from trl.experimental.bema_for_ref_model import BEMACallback, DPOTrainer from datasets import load_dataset dataset load_dataset(trl-internal-testing/zen, standard_preference, splittrain) bema_callback BEMACallback(update_ref_modelTrue) trainer DPOTrainer( modeltrl-internal-testing/tiny-Qwen2ForCausalLM-2.5, train_datasetdataset, callbacks[bema_callback], ) trainer.train()这段代码做了三件事加载 trl 内部测试用的偏好数据集trl-internal-testing/zenstandard_preference配置构造一个开启参考模型更新的BEMACallback(update_ref_modelTrue)把它挂载到实验版DPOTrainer的callbacks列表上启动训练。与标准 DPO 训练的唯一差异在于回调的引入——训练循环本身、损失函数、数据流完全复用 trl 的 DPO 训练器。update_ref_modelTrue是让该特性真正生效的关键开关它告诉回调在训练过程中周期性把 BEMA 权重写回参考模型。BEMACallback 参数详解BEMACallback的完整签名定义在 实验版回调 中它继承了 基础 BEMACallback 的全部参数并新增了三个参考模型更新相关的参数。全部参数如下参数论文符号默认值作用说明update_freq\( \phi \)400每多少步更新一次 BEMA 权重ema_power\( \kappa \)0.5EMA 衰减因子 \( \beta_t \) 的幂次设为0.0可完全禁用 EMAbias_power\( \eta \)0.2BEMA 缩放因子 \( \alpha_t \) 的幂次设为8.0左右会让 \( \alpha_t \) 快速衰减到 0近似关闭偏差校正设为0.0则 \( \alpha_t \) 恒为 1最大、不衰减的校正lag\( \rho \)10衰减调度中的初始偏移量相当于给更新一个虚拟起始年龄控制早期平滑程度update_after\( \tau \)0BEMA 权重开始更新前的预热burn-in步数同时决定 \( \theta_0 \) 快照的拍摄时刻multiplier\( \gamma \)1.0EMA 衰减因子的初始值系数min_ema_multiplier—0.0EMA 衰减因子的下限防止 \( \beta_t \) 衰减到过小device—cpuBEMA 缓冲区所在设备。源码注释特别强调在大多数情况下该设备应当与训练设备不同以避免显存溢出OOMupdate_ref_model—False是否用 BEMA 权重更新参考模型开启后参考模型即成为主模型的滞后平滑版本ref_model_update_freq—400每多少步把 BEMA 权重写入参考模型ref_model_update_after—0开始更新参考模型前等待的步数其中前 8 个参数对应 BEMA 算法本身的调度后 3 个参数专属于参考模型更新特性。从源码看_ema_beta与_bema_alpha两个方法trl/trainer/callbacks.py分别实现beta (self.lag self.multiplier * step) ** (-self.ema_power) alpha (self.lag self.multiplier * step) ** (-self.bias_power)即 \( \beta_t (\rho \gamma \cdot t)^{-\kappa} \)、\( \alpha_t (\rho \gamma \cdot t)^{-\eta} \)且 \( \beta_t \) 受min_ema_multiplier截断。调参时记住两条经验法则ema_power0.0关闭 EMA、bias_power0.0将偏差校正固定为最大强度这两个边界值均有测试覆盖见下文测试与验证。底层原理回调如何驱动 BEMA 计算BEMA 权重计算完全由回调内部状态机驱动全程在torch.no_grad()下进行不参与梯度计算。其生命周期在 基础回调实现 中分为三个阶段训练开始on_train_begin将模型解包处理 DeepSpeed、FSDP、DataParallel/DDP 包装后新建一个同结构模型实例running_model作为 BEMA 权重的载体并缓存所有可训练参数记录参数名、参数引用为每个参数在device上克隆出 \( \theta_0 \) 缓冲区并把 EMA 初始化为 \( \theta_0 \) 的拷贝。每步结束on_step_end读取state.global_step若step update_after直接跳过若step update_after拍摄 \( \theta_0 \) 快照并把 EMA 重置为 \( \theta_0 \)若(step - update_after) % update_freq 0执行_update_bema_weights(step)原地更新 EMA 并计算 BEMA 权重写入running_model。核心更新逻辑trl/trainer/callbacks.py为ema.mul_(1 - beta).add_(thetat, alphabeta) # EMA 更新 run_param.copy_(ema alpha * (thetat - theta0)) # BEMA 更新即先按 \( \beta_t \) 递推 EMA再计算 \( \text{EMA}_t \alpha_t(\theta_t - \theta_0) \) 覆盖到running_model上。训练结束on_train_end在全局主进程is_world_process_zero下把running_model通过save_pretrained保存到{output_dir}/bema目录因此即便不开启参考模型更新训练结束后也能拿到一份 BEMA 平滑后的独立权重。参考模型更新机制与 DPOTrainer 改造回调处理器让参考模型进入回调事件标准transformers.Trainer的回调事件不会传递参考模型。实验版DPOTrainerdpo_trainer.py在初始化时做了一处关键替换self.callback_handler CallbackHandlerWithRefModel( self.callback_handler.callbacks, self.model, self.ref_model, self.processing_class, self.optimizer, self.lr_scheduler, )CallbackHandlerWithRefModelcallback.py继承自transformers.CallbackHandler其call_event方法在原有回调调用基础上追加了ref_modelself.ref_model关键字参数从而让BEMACallback.on_step_end能够拿到参考模型实例。注意它复用的是原始 handler 中已有的callbacks列表因此你传给DPOTrainer(callbacks[...])的回调会原样进入新的处理器。回调内的参考模型更新实验版BEMACallback.on_step_endcallback.py在完成基础 BEMA 权重计算后检查三个条件决定是否同步参考模型if ( self.update_ref_model and step self.ref_model_update_after and (step - self.ref_model_update_after) % self.ref_model_update_freq 0 ):满足条件后它从kwargs中取出ref_model若缺失会抛出ValueError把running_model的 state_dict 作为 BEMA 权重源调用_update_model_with_bema_weights写入参考模型。这里对 PEFTLoRA场景做了专门处理当ref_model is NonePEFT 模式下 DPO 训练器不维护独立参考模型实例时改为更新主模型的基座模型get_base_model()当参考模型本身是 PEFT 模型时同样只更新其基座。在_update_model_with_bema_weightscallback.py中还会过滤掉lora_、adapter_前缀的适配器参数并剥离base_model.前缀后以strictFalse载入保证分布式与 PEFT 混合场景下的键名兼容。与 DPO 训练器参考模型管理的配合使用该特性前需要理解实验版DPOTrainer底层trl/trainer/dpo_trainer.py对参考模型的管理方式未显式传入ref_model时训练器会根据配置从args.ref_model或模型自身路径自动加载一份参考模型若启用sync_ref_model训练器会额外注册SyncRefModelCallback周期性同步参考模型——但该选项与 PEFT 模型、precompute_ref_log_probsTrue均不兼容后者假定参考模型固定预计算的对数概率会被周期更新的参考模型作废禁用 dropout 时disable_dropoutTrue主模型与参考模型都会执行disable_dropout_in_model。实验版 BEMA 回调属于在回调层面直接覆写参考模型权重的实现路径与sync_ref_model是两套独立的参考模型更新机制一般场景下选择其一即可避免机制叠加带来的不确定性。测试与验证步进调度与保存行为仓库的 test_callbacks.py 为 BEMA 回调提供了完整的单元测试可直接作为行为契约参考test_model_saved训练结束后断言{output_dir}/bema目录存在且能用AutoModelForCausalLM.from_pretrained重新加载验证了训练结束自动保存 BEMA 权重的行为test_update_frequency_0update_freq2、共 9 步17 样本、batch size 8、3 epoch时通过 mock 断言_update_bema_weights在步 2、4、6、8 被调用test_update_frequency_1update_freq3时更新发生在步 3、6、9test_update_frequency_2update_freq2, update_after3时更新发生在步 5、7、9验证了预热步数对调度起点的影响test_bias_power_zero/test_no_ema分别验证bias_power0.0最大偏差校正与ema_power0.0禁用 EMA两个边界配置下训练可正常完成。这些测试精确刻画了每update_freq步更新一次、以update_after为起点的调度语义你在自定义步数配置时可以此为准。使用注意事项与调参建议显存规划device参数默认是cpu这是刻意设计——BEMA 需要为每个可训练参数维护 \( \theta_0 \) 与 EMA 两份副本若放在cuda上会与训练显存竞争源码注释明确建议在大多数场景下让 BEMA 缓冲区与训练设备分离避免 OOM。训练时长匹配默认update_freq400、ref_model_update_freq400面向较长训练流程设计短实验如单元测试中的 9 步训练需要调小这些值才会观察到参考模型更新。预热与快照update_after既决定 BEMA 开始更新的步数也决定 \( \theta_0 \) 快照的拍摄时机建议在模型训练进入相对平稳阶段后再启用 BEMA以减小早期剧烈波动对快照的污染。输出产物训练结束后 BEMA 平滑权重会保存到输出目录的bema子目录中可用于后续评估或作为最终模型候选save_model、push_to_hub等DPOTrainer方法详见 bema_for_reference_model 文档同样可用。PEFT 场景LoRA 微调时参考模型实例可能为None回调会退化为更新主模型的基座权重适配器参数不会被 BEMA 覆写这点在评估BEMA 到底更新了什么时需要留意。小结bema_for_ref_model为 DPO 训练提供了一个轻量而完整的动态参考模型方案通过BEMACallback(update_ref_modelTrue)一行配置即可让参考模型周期性收敛到主模型的 BEMA 平滑权重从而获得滞后、平滑的参照系。其实现横跨三处关键代码——算法本体在 trl/trainer/callbacks.py参考模型同步与回调处理器扩展在 trl/experimental/bema_for_ref_model/callback.py训练器接线在 trl/experimental/bema_for_ref_model/dpo_trainer.py——配合 tests/test_callbacks.py 中的行为测试你可以放心地将它集成进自己的 DPO 训练流水线。【免费下载链接】trlTrain transformer language models with reinforcement learning.项目地址: https://gitcode.com/GitHub_Trending/tr/trl创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考