verl 中 PPO 训练器的完整实战指南从核心配置到源码级原理【免费下载链接】verlverl/HybridFlow: A Flexible and Efficient RL Post-Training Framework项目地址: https://gitcode.com/GitHub_Trending/ve/verl导读PPOProximal Policy Optimization近端策略优化是 verl 中首个、也是目前最完整的 on-policy RL 后训练算法家族之一。本文以examples/ppo_trainer/README.md为核心结合仓库中可运行的规范脚本与verl/trainer/ppo/core_algos.py等源码实现系统讲解 PPO 在 verl 中的关键组件、全部核心配置项、KL 发散控制与 Dual-clip 扩展并给出基于 Qwen3-8B GSM8K/MATH 的可复现训练方案。读完本文你将掌握 verl 中 PPOactor critic 双模型的配置语义、脚本运行方式以及 GAE、KL 罚项与裁剪目标在源码中的真实计算过程。PPO 算法背景与 verl 中的定位PPO 是 OpenAI 在 2017 年提出的策略梯度算法家族在简洁性、稳定性与性能之间取得了良好平衡是现代 RL 应用包括大规模语言模型微调中使用最广泛的算法之一。传统策略梯度方法如 REINFORCE、Vanilla Policy Gradient存在两个痛点方差高、样本效率低策略更新过大导致训练不稳定。PPO 通过一个**裁剪的替代目标clipped surrogate objective**解决上述问题——在无需二阶导数的情况下限制单次更新的步长从而稳定训练。这一点正是它与 GRPO、RLOO 等算法的根本区别之一PPO 需要同时维护 actor策略与 critic价值两个模型而 GRPO、RLOO 不需要 critic。在 verl 中PPO 的完整实现由三部分构成层次位置职责入口verl/trainer/main_ppo.pyHydra 配置解析、Ray 集群初始化、训练循环调度核心算法verl/trainer/ppo/core_algos.pyGAE、KL 控制器、策略/价值损失、优势估计器注册表规范脚本examples/ppo_trainer/面向 Qwen3-8B 等模型的端到端可运行示例关键组件verl 中 PPO 训练器由三个关键组件构成理解它们是读懂一切配置的前提Actor-Critic 架构PPO 同时要求 actor 模型策略与 critic 模型价值函数。actor 负责生成响应并更新策略critic 负责估计状态价值、为优势计算提供基线。critic 通常与 actor 共享同一基础模型但通过critic.model.path可以独立指定例如复用同一 checkpoint 或使用不同的模型。广义优势估计GAEPPO 使用 GAE 计算优势值advantage在降低策略梯度估计方差的同时保持低偏差。GAE 通过algorithm.gamma折扣因子与algorithm.lam偏差-方差权衡参数两个超参控制。裁剪替代目标PPO 的核心在于对策略更新幅度的约束——将新旧策略的概率比裁剪到[1 - clip_ratio, 1 clip_ratio]区间内防止单次更新过于激进。核心配置详解PPO 训练配置全部通过 Hydra 覆盖override传入main_ppo.py。下面按分组逐一说明。需要注意所有包含micro_batch_size的配置仅用于控制每次前向/反向传播的最大样本数或 token 数以避免 GPU OOM不会改变算法或收敛行为。critic 的大部分配置与 actor 类似以下说明中 critic 模型不再单独图示。数据与批次维度配置项说明data.train_batch_size用于生成一组采样轨迹rollout的全局 prompt 批量大小。生成的响应/轨迹总数为data.train_batch_size * actor_rollout_ref.rollout.nn为每个 prompt 的采样数。actor_rollout_ref.actor.ppo_mini_batch_size将采样得到的一组轨迹切分为多个 mini-batch 用于 actor 的 PPO 更新。该值是跨所有 worker 的全局大小。critic.ppo_mini_batch_size将采样轨迹切分为多个 mini-batch 用于 critic 的 PPO 更新同样为全局大小。裁剪与更新轮数配置项说明默认值actor_rollout_ref.actor.clip_ratioPPO 裁剪范围 ε0.2actor_rollout_ref.actor.ppo_epochs对同一组采样轨迹执行 PPO 更新的轮数actor—critic.ppo_epochs对同一组采样轨迹执行 PPO 更新的轮数critic继承actor_rollout_ref.actor.ppo_epochs算法超参配置项说明algorithm.gamma折扣因子algorithm.lamGAE 估计器中偏差与方差权衡的 λ 参数algorithm.adv_estimator优势估计器支持gae、grpo、reinforce_plus_plus、reinforce_plus_plus_baseline、rloo、rloo_vectorized从源码看这些优势估计器在 core_algos.py 中以AdvantageEstimator枚举集中注册并提供了可扩展的注册机制用户既可以直接使用内置估计器也可以通过register_adv_est注册自定义优势估计函数通过get_adv_estimator_fn按名获取。例如 GAE 的实现入口为compute_gae_advantage_return它按时间步反向递推计算nextvalues与lastgaelam最终产出 shape 为(batch_size, response_length)的优势与回报张量。高级扩展KL 发散控制为了防止策略偏离参考策略reference policy过远verl 提供两种 KL 控制机制KL reward penalty把 KL 作为奖励罚项与KL loss把 KL 作为 actor 损失的一部分。这两种方式一般二选一——使用 KL loss 时不再在奖励函数中施加 KL。方式一使用 KL Loss作用于 actor 损失配置项说明默认值actor_rollout_ref.actor.use_kl_loss是否在 actor 中使用 KL loss。启用时不再在奖励函数中施加 KLFalseactor_rollout_ref.actor.kl_loss_coefKL loss 的系数0.001actor_rollout_ref.actor.kl_loss_type支持kl(k1)、abs、mse(k2)、low_var_kl(k3)与full在末尾追加如k1、k3将启用 straight-through 技巧用 k2 做无偏梯度估计而保留原始 KL 值估计—方式二使用 KL Penalty作用于奖励函数配置项说明默认值algorithm.use_kl_in_reward是否在奖励中启用 KL 罚项Falsealgorithm.kl_penalty计算 actor 与参考策略之间 KL 的方式支持kl(k1)、abs、mse(k2)、low_var_kl(k3)、full具体取值见 core_algos.py 中的kl_penalty—algorithm.kl_ctrl.kl_coefin-reward KL 罚项的初始系数0.001algorithm.kl_ctrl.typefixed对应FixedKLControlleradaptive对应AdaptiveKLController—algorithm.kl_ctrl.horizon详见AdaptiveKLController源码—algorithm.kl_ctrl.target_kl详见AdaptiveKLController源码—源码级原理KL 罚项到底怎么算在 core_algos.py 中带 KL 罚项的 token 级奖励计算为kl old_log_prob - ref_log_prob return token_level_scores - kl * kl_ratio即每个 token 的奖励 环境奖励 − KL 估计 × KL 系数。而 KL 估计的具体形式由kl_penalty_forward决定core_algos.pyk1logprob - ref_logprob一阶近似方差大但有偏abs|logprob - ref_logprob|k20.5 * (logprob - ref_logprob)^2二阶近似无偏梯度k3先对ref_logprob - logprob做[-20, 20]裁剪再计算exp(ratio) - ratio - 1并裁剪到[-10, 10]full需要完整词表 logits当前实现抛NotImplementedError。对于以结尾的写法如k3kl_penalty会先剥离得到基础估计方式k3然后使用 straight-through 技巧前向使用原始估计值反向则替换为 k2 的梯度backward_score - backward_score.detach() forward_score.detach()从而在保持估计形式的同时获得无偏梯度。这正是 README 中提到的“无论 KL 值如何估计都用 k2 做无偏梯度估计”的机制来源。KL 控制器FixedKLController与AdaptiveKLController在 core_algos.py 中实现get_kl_controller作为工厂函数按kl_ctrl.type创建实例FixedKL 系数恒定update为空操作Adaptive根据当前 KL 与target_kl的相对误差裁剪到 ±0.2按horizon步数线性调整系数mult 1 proportional_error * n_steps / horizon。当实际 KL 超过目标时增大罚项系数反之减小实现自适应收紧/放松约束。高级扩展Dual-clip PPODual-clip PPO 在标准裁剪目标的基础上对优势为负时的策略比率施加一个下界当优势小于零时即使策略比率被放得很大其贡献也不会超过指定的下界。这可以防止灾难性的大幅更新尤其是当策略比率因数值原因被异常放大时。配置项说明默认值actor_rollout_ref.actor.clip_ratio_cDual-clip PPO 的比率下界3.0在源码层面compute_policy_losscore_algos.py的 docstring 明确要求clip_ratio_c 1.0否则会抛出断言错误。该实现同时支持标准裁剪cliprange与 Dual-clipcliprange_low/cliprange_highclip_ratio_c对应论文 Dual-Clip PPO2019的思想。规范脚本端到端运行 PPO脚本命名与通用约定examples/ppo_trainer/下的所有脚本遵循run_model_infer-backend_train-backend[_platform].sh命名规范并具备以下约定使用MODEL_PATH环境变量指定模型可覆盖如MODEL_PATHQwen/Qwen3-14B bash run_qwen3_8b_fsdp.sh默认启用动态批大小use_dynamic_bszTrue与批次平衡trainer.balance_batchTrue仅使用当前 API 的 Hydra 覆盖写法其余环境变量TRAIN_BATCH_SIZE、PPO_MINI_BATCH_SIZE、ACTOR_LR、CRITIC_LR、ROLLOUT_TP、NNODES、NGPUS_PER_NODE等在各脚本顶部集中定义并给出默认值可直接覆盖。脚本一览结合仓库实际文件README 中的表格与仓库文件略有出入此处以真实文件为准脚本推理后端训练后端平台examples/ppo_trainer/run_qwen3_8b_fsdp.shvLLMINFER_BACKENDvllm可切换 sglangFSDPNVIDIA GPU / NPU 自适应examples/ppo_trainer/run_qwen3_8b_megatron.shvLLMMegatronNVIDIA GPUexamples/ascend_extras/ppo_trainer/run_qwen3_8b_fsdp.shvLLMFSDPAscend NPUFSDP 版本脚本通过探测torch_npu自动识别设备DEVICE变量因此同一份run_qwen3_8b_fsdp.sh在 GPU 与 NPU 上均可运行在 GPU 且推理后端为 vLLM/SGLang 时脚本通过uv run --frozen --all-packages --extra vllm --extra fsdp启动设置VERL_USE_UV0可回退到系统 Python。默认配置速查FSDP 版环境变量默认值对应 Hydra 覆盖MODEL_PATHQwen/Qwen3-8Bactor_rollout_ref.model.pathTRAIN_BATCH_SIZE1024data.train_batch_sizePPO_MINI_BATCH_SIZE256actor_rollout_ref.actor.ppo_mini_batch_sizeMAX_PROMPT_LENGTH1024data.max_prompt_lengthMAX_RESPONSE_LENGTH2048data.max_response_lengthPPO_MAX_TOKEN_LEN_PER_GPU24576actor/critic/rollout/ref 的*_max_token_len_per_gpuACTOR_LR/CRITIC_LR1e-6 / 1e-5actor_rollout_ref.actor.optim.lr/critic.optim.lrROLLOUT_TP2actor_rollout_ref.rollout.tensor_model_parallel_sizeROLLOUT_N1actor_rollout_ref.rollout.nTOTAL_EPOCHS/SAVE_FREQ/TEST_FREQ15 / 20 / 5trainer.*Megatron 版本额外暴露ACTOR_TP/ACTOR_PP/CRITIC_TP/CRITIC_PP默认 2/2/2/2并通过model_enginemegatron与EXTRA数组切换训练引擎同时该脚本以export CUDA_DEVICE_MAX_CONNECTIONS1规避 Megatron 训练中的连接数限制问题。数据准备两个脚本默认使用GSM8K MATH数据集训练/验证共 4 个 parquet 文件路径由GSM8K_TRAIN_FILE、GSM8K_TEST_FILE、MATH_TRAIN_FILE、MATH_TEST_FILE指定。对应的预处理脚本位于 examples/data_preprocess/gsm8k.py 与 examples/data_preprocess/math_dataset.py可先运行预处理生成 parquet再执行训练脚本。数据侧还默认开启data.filter_overlong_promptsTrue与data.truncationerror对超长 prompt 进行过滤而非截断。运行方式在仓库根目录执行以 FSDP 版为例bash examples/ppo_trainer/run_qwen3_8b_fsdp.sh # 覆盖模型与环境变量 MODEL_PATHQwen/Qwen3-14B TRAIN_BATCH_SIZE512 PPO_MINI_BATCH_SIZE128 bash examples/ppo_trainer/run_qwen3_8b_fsdp.shNPUAscend上则使用bash examples/ascend_extras/ppo_trainer/run_qwen3_8b_fsdp.shNPU 版本示例会显式设置actor_rollout_ref.actor.ppo_micro_batch_size_per_gpu1、ulysses_sequence_parallel_size2、actor_rollout_ref.rollout.enable_chunked_prefillTrue以及 vLLM 的cudagraph_modeFULL_DECODE_ONLY等 NPU 适配参数并在trainer.total_training_steps15的短步数下快速验证链路。从配置到训练循环verl PPO 的数据流结合脚本与源码一次 PPO 训练迭代的完整数据流为Rollout 采样以data.train_batch_size为全局批次输入 promptvLLM/SGLang 推理引擎按ROLLOUT_N生成响应轨迹参考策略与 log-prob 计算actor当前策略与 ref参考策略分别对轨迹计算 log-probability动态批大小由log_prob_use_dynamic_bsz与log_prob_max_token_len_per_gpu控制奖励与优势环境奖励函数打分后若启用use_kl_in_reward则按kl_penalty形式扣除 KL 罚项compute_rewards再调用 GAE或所选优势估计器计算优势PPO 更新actor 与 critic 分别按各自的ppo_mini_batch_size切分 mini-batch迭代ppo_epochs轮计算裁剪后的策略损失与价值损失若启用use_kl_lossactor 损失中额外叠加kl_loss_coef加权的 KL loss批次平衡trainer.balance_batchTrue时按全局批大小在各 DP rank 间平衡数据保证并行配置不影响收敛行为。参考性能以下为 README 中给出的 verl v0.2 时代、Qwen2.5-0.5B-Instruct 在 GSM8K 上的 PPO 参考成绩仅作对照基线模型方法分数Qwen/Qwen2.5-0.5B-Instruct预训练模型直接评估36.4Qwen/Qwen2.5-0.5B-InstructPPO56.7注意该数据来自 README 中标注的参考实验性能会随模型、数据、超参与 verl 版本变化请以自己复现的结果为准。小结与延伸verl 的 PPO 训练器是理解其 RL 后训练体系的绝佳入口它完整覆盖了 on-policy 训练所需的 rollout、参考策略、GAE、裁剪目标与 KL 控制全链路且算法组件优势估计器、KL 控制器、损失函数均采用注册表模式实现便于扩展。进一步探索建议对比阅读 examples/grpo_trainer/ 与 examples/rloo_trainer/ 的脚本观察无 critic 算法在配置上的差异深入阅读 verl/trainer/ppo/ray_trainer.py 与 verl/trainer/ppo/v1/trainer_base.py理解kl_penalty、use_kl_in_reward等配置在训练循环中的调度位置如需切换推理后端将INFER_BACKENDsglang传入 FSDP 脚本即可复用同一套训练配置。【免费下载链接】verlverl/HybridFlow: A Flexible and Efficient RL Post-Training Framework项目地址: https://gitcode.com/GitHub_Trending/ve/verl创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 verl 中 PPO 训练器的完整实战指南：从核心配置到源码级原理
verl 中 PPO 训练器的完整实战指南从核心配置到源码级原理【免费下载链接】verlverl/HybridFlow: A Flexible and Efficient RL Post-Training Framework项目地址: https://gitcode.com/GitHub_Trending/ve/verl导读PPOProximal Policy Optimization近端策略优化是 verl 中首个、也是目前最完整的 on-policy RL 后训练算法家族之一。本文以examples/ppo_trainer/README.md为核心结合仓库中可运行的规范脚本与verl/trainer/ppo/core_algos.py等源码实现系统讲解 PPO 在 verl 中的关键组件、全部核心配置项、KL 发散控制与 Dual-clip 扩展并给出基于 Qwen3-8B GSM8K/MATH 的可复现训练方案。读完本文你将掌握 verl 中 PPOactor critic 双模型的配置语义、脚本运行方式以及 GAE、KL 罚项与裁剪目标在源码中的真实计算过程。PPO 算法背景与 verl 中的定位PPO 是 OpenAI 在 2017 年提出的策略梯度算法家族在简洁性、稳定性与性能之间取得了良好平衡是现代 RL 应用包括大规模语言模型微调中使用最广泛的算法之一。传统策略梯度方法如 REINFORCE、Vanilla Policy Gradient存在两个痛点方差高、样本效率低策略更新过大导致训练不稳定。PPO 通过一个**裁剪的替代目标clipped surrogate objective**解决上述问题——在无需二阶导数的情况下限制单次更新的步长从而稳定训练。这一点正是它与 GRPO、RLOO 等算法的根本区别之一PPO 需要同时维护 actor策略与 critic价值两个模型而 GRPO、RLOO 不需要 critic。在 verl 中PPO 的完整实现由三部分构成层次位置职责入口verl/trainer/main_ppo.pyHydra 配置解析、Ray 集群初始化、训练循环调度核心算法verl/trainer/ppo/core_algos.pyGAE、KL 控制器、策略/价值损失、优势估计器注册表规范脚本examples/ppo_trainer/面向 Qwen3-8B 等模型的端到端可运行示例关键组件verl 中 PPO 训练器由三个关键组件构成理解它们是读懂一切配置的前提Actor-Critic 架构PPO 同时要求 actor 模型策略与 critic 模型价值函数。actor 负责生成响应并更新策略critic 负责估计状态价值、为优势计算提供基线。critic 通常与 actor 共享同一基础模型但通过critic.model.path可以独立指定例如复用同一 checkpoint 或使用不同的模型。广义优势估计GAEPPO 使用 GAE 计算优势值advantage在降低策略梯度估计方差的同时保持低偏差。GAE 通过algorithm.gamma折扣因子与algorithm.lam偏差-方差权衡参数两个超参控制。裁剪替代目标PPO 的核心在于对策略更新幅度的约束——将新旧策略的概率比裁剪到[1 - clip_ratio, 1 clip_ratio]区间内防止单次更新过于激进。核心配置详解PPO 训练配置全部通过 Hydra 覆盖override传入main_ppo.py。下面按分组逐一说明。需要注意所有包含micro_batch_size的配置仅用于控制每次前向/反向传播的最大样本数或 token 数以避免 GPU OOM不会改变算法或收敛行为。critic 的大部分配置与 actor 类似以下说明中 critic 模型不再单独图示。数据与批次维度配置项说明data.train_batch_size用于生成一组采样轨迹rollout的全局 prompt 批量大小。生成的响应/轨迹总数为data.train_batch_size * actor_rollout_ref.rollout.nn为每个 prompt 的采样数。actor_rollout_ref.actor.ppo_mini_batch_size将采样得到的一组轨迹切分为多个 mini-batch 用于 actor 的 PPO 更新。该值是跨所有 worker 的全局大小。critic.ppo_mini_batch_size将采样轨迹切分为多个 mini-batch 用于 critic 的 PPO 更新同样为全局大小。裁剪与更新轮数配置项说明默认值actor_rollout_ref.actor.clip_ratioPPO 裁剪范围 ε0.2actor_rollout_ref.actor.ppo_epochs对同一组采样轨迹执行 PPO 更新的轮数actor—critic.ppo_epochs对同一组采样轨迹执行 PPO 更新的轮数critic继承actor_rollout_ref.actor.ppo_epochs算法超参配置项说明algorithm.gamma折扣因子algorithm.lamGAE 估计器中偏差与方差权衡的 λ 参数algorithm.adv_estimator优势估计器支持gae、grpo、reinforce_plus_plus、reinforce_plus_plus_baseline、rloo、rloo_vectorized从源码看这些优势估计器在 core_algos.py 中以AdvantageEstimator枚举集中注册并提供了可扩展的注册机制用户既可以直接使用内置估计器也可以通过register_adv_est注册自定义优势估计函数通过get_adv_estimator_fn按名获取。例如 GAE 的实现入口为compute_gae_advantage_return它按时间步反向递推计算nextvalues与lastgaelam最终产出 shape 为(batch_size, response_length)的优势与回报张量。高级扩展KL 发散控制为了防止策略偏离参考策略reference policy过远verl 提供两种 KL 控制机制KL reward penalty把 KL 作为奖励罚项与KL loss把 KL 作为 actor 损失的一部分。这两种方式一般二选一——使用 KL loss 时不再在奖励函数中施加 KL。方式一使用 KL Loss作用于 actor 损失配置项说明默认值actor_rollout_ref.actor.use_kl_loss是否在 actor 中使用 KL loss。启用时不再在奖励函数中施加 KLFalseactor_rollout_ref.actor.kl_loss_coefKL loss 的系数0.001actor_rollout_ref.actor.kl_loss_type支持kl(k1)、abs、mse(k2)、low_var_kl(k3)与full在末尾追加如k1、k3将启用 straight-through 技巧用 k2 做无偏梯度估计而保留原始 KL 值估计—方式二使用 KL Penalty作用于奖励函数配置项说明默认值algorithm.use_kl_in_reward是否在奖励中启用 KL 罚项Falsealgorithm.kl_penalty计算 actor 与参考策略之间 KL 的方式支持kl(k1)、abs、mse(k2)、low_var_kl(k3)、full具体取值见 core_algos.py 中的kl_penalty—algorithm.kl_ctrl.kl_coefin-reward KL 罚项的初始系数0.001algorithm.kl_ctrl.typefixed对应FixedKLControlleradaptive对应AdaptiveKLController—algorithm.kl_ctrl.horizon详见AdaptiveKLController源码—algorithm.kl_ctrl.target_kl详见AdaptiveKLController源码—源码级原理KL 罚项到底怎么算在 core_algos.py 中带 KL 罚项的 token 级奖励计算为kl old_log_prob - ref_log_prob return token_level_scores - kl * kl_ratio即每个 token 的奖励 环境奖励 − KL 估计 × KL 系数。而 KL 估计的具体形式由kl_penalty_forward决定core_algos.pyk1logprob - ref_logprob一阶近似方差大但有偏abs|logprob - ref_logprob|k20.5 * (logprob - ref_logprob)^2二阶近似无偏梯度k3先对ref_logprob - logprob做[-20, 20]裁剪再计算exp(ratio) - ratio - 1并裁剪到[-10, 10]full需要完整词表 logits当前实现抛NotImplementedError。对于以结尾的写法如k3kl_penalty会先剥离得到基础估计方式k3然后使用 straight-through 技巧前向使用原始估计值反向则替换为 k2 的梯度backward_score - backward_score.detach() forward_score.detach()从而在保持估计形式的同时获得无偏梯度。这正是 README 中提到的“无论 KL 值如何估计都用 k2 做无偏梯度估计”的机制来源。KL 控制器FixedKLController与AdaptiveKLController在 core_algos.py 中实现get_kl_controller作为工厂函数按kl_ctrl.type创建实例FixedKL 系数恒定update为空操作Adaptive根据当前 KL 与target_kl的相对误差裁剪到 ±0.2按horizon步数线性调整系数mult 1 proportional_error * n_steps / horizon。当实际 KL 超过目标时增大罚项系数反之减小实现自适应收紧/放松约束。高级扩展Dual-clip PPODual-clip PPO 在标准裁剪目标的基础上对优势为负时的策略比率施加一个下界当优势小于零时即使策略比率被放得很大其贡献也不会超过指定的下界。这可以防止灾难性的大幅更新尤其是当策略比率因数值原因被异常放大时。配置项说明默认值actor_rollout_ref.actor.clip_ratio_cDual-clip PPO 的比率下界3.0在源码层面compute_policy_losscore_algos.py的 docstring 明确要求clip_ratio_c 1.0否则会抛出断言错误。该实现同时支持标准裁剪cliprange与 Dual-clipcliprange_low/cliprange_highclip_ratio_c对应论文 Dual-Clip PPO2019的思想。规范脚本端到端运行 PPO脚本命名与通用约定examples/ppo_trainer/下的所有脚本遵循run_model_infer-backend_train-backend[_platform].sh命名规范并具备以下约定使用MODEL_PATH环境变量指定模型可覆盖如MODEL_PATHQwen/Qwen3-14B bash run_qwen3_8b_fsdp.sh默认启用动态批大小use_dynamic_bszTrue与批次平衡trainer.balance_batchTrue仅使用当前 API 的 Hydra 覆盖写法其余环境变量TRAIN_BATCH_SIZE、PPO_MINI_BATCH_SIZE、ACTOR_LR、CRITIC_LR、ROLLOUT_TP、NNODES、NGPUS_PER_NODE等在各脚本顶部集中定义并给出默认值可直接覆盖。脚本一览结合仓库实际文件README 中的表格与仓库文件略有出入此处以真实文件为准脚本推理后端训练后端平台examples/ppo_trainer/run_qwen3_8b_fsdp.shvLLMINFER_BACKENDvllm可切换 sglangFSDPNVIDIA GPU / NPU 自适应examples/ppo_trainer/run_qwen3_8b_megatron.shvLLMMegatronNVIDIA GPUexamples/ascend_extras/ppo_trainer/run_qwen3_8b_fsdp.shvLLMFSDPAscend NPUFSDP 版本脚本通过探测torch_npu自动识别设备DEVICE变量因此同一份run_qwen3_8b_fsdp.sh在 GPU 与 NPU 上均可运行在 GPU 且推理后端为 vLLM/SGLang 时脚本通过uv run --frozen --all-packages --extra vllm --extra fsdp启动设置VERL_USE_UV0可回退到系统 Python。默认配置速查FSDP 版环境变量默认值对应 Hydra 覆盖MODEL_PATHQwen/Qwen3-8Bactor_rollout_ref.model.pathTRAIN_BATCH_SIZE1024data.train_batch_sizePPO_MINI_BATCH_SIZE256actor_rollout_ref.actor.ppo_mini_batch_sizeMAX_PROMPT_LENGTH1024data.max_prompt_lengthMAX_RESPONSE_LENGTH2048data.max_response_lengthPPO_MAX_TOKEN_LEN_PER_GPU24576actor/critic/rollout/ref 的*_max_token_len_per_gpuACTOR_LR/CRITIC_LR1e-6 / 1e-5actor_rollout_ref.actor.optim.lr/critic.optim.lrROLLOUT_TP2actor_rollout_ref.rollout.tensor_model_parallel_sizeROLLOUT_N1actor_rollout_ref.rollout.nTOTAL_EPOCHS/SAVE_FREQ/TEST_FREQ15 / 20 / 5trainer.*Megatron 版本额外暴露ACTOR_TP/ACTOR_PP/CRITIC_TP/CRITIC_PP默认 2/2/2/2并通过model_enginemegatron与EXTRA数组切换训练引擎同时该脚本以export CUDA_DEVICE_MAX_CONNECTIONS1规避 Megatron 训练中的连接数限制问题。数据准备两个脚本默认使用GSM8K MATH数据集训练/验证共 4 个 parquet 文件路径由GSM8K_TRAIN_FILE、GSM8K_TEST_FILE、MATH_TRAIN_FILE、MATH_TEST_FILE指定。对应的预处理脚本位于 examples/data_preprocess/gsm8k.py 与 examples/data_preprocess/math_dataset.py可先运行预处理生成 parquet再执行训练脚本。数据侧还默认开启data.filter_overlong_promptsTrue与data.truncationerror对超长 prompt 进行过滤而非截断。运行方式在仓库根目录执行以 FSDP 版为例bash examples/ppo_trainer/run_qwen3_8b_fsdp.sh # 覆盖模型与环境变量 MODEL_PATHQwen/Qwen3-14B TRAIN_BATCH_SIZE512 PPO_MINI_BATCH_SIZE128 bash examples/ppo_trainer/run_qwen3_8b_fsdp.shNPUAscend上则使用bash examples/ascend_extras/ppo_trainer/run_qwen3_8b_fsdp.shNPU 版本示例会显式设置actor_rollout_ref.actor.ppo_micro_batch_size_per_gpu1、ulysses_sequence_parallel_size2、actor_rollout_ref.rollout.enable_chunked_prefillTrue以及 vLLM 的cudagraph_modeFULL_DECODE_ONLY等 NPU 适配参数并在trainer.total_training_steps15的短步数下快速验证链路。从配置到训练循环verl PPO 的数据流结合脚本与源码一次 PPO 训练迭代的完整数据流为Rollout 采样以data.train_batch_size为全局批次输入 promptvLLM/SGLang 推理引擎按ROLLOUT_N生成响应轨迹参考策略与 log-prob 计算actor当前策略与 ref参考策略分别对轨迹计算 log-probability动态批大小由log_prob_use_dynamic_bsz与log_prob_max_token_len_per_gpu控制奖励与优势环境奖励函数打分后若启用use_kl_in_reward则按kl_penalty形式扣除 KL 罚项compute_rewards再调用 GAE或所选优势估计器计算优势PPO 更新actor 与 critic 分别按各自的ppo_mini_batch_size切分 mini-batch迭代ppo_epochs轮计算裁剪后的策略损失与价值损失若启用use_kl_lossactor 损失中额外叠加kl_loss_coef加权的 KL loss批次平衡trainer.balance_batchTrue时按全局批大小在各 DP rank 间平衡数据保证并行配置不影响收敛行为。参考性能以下为 README 中给出的 verl v0.2 时代、Qwen2.5-0.5B-Instruct 在 GSM8K 上的 PPO 参考成绩仅作对照基线模型方法分数Qwen/Qwen2.5-0.5B-Instruct预训练模型直接评估36.4Qwen/Qwen2.5-0.5B-InstructPPO56.7注意该数据来自 README 中标注的参考实验性能会随模型、数据、超参与 verl 版本变化请以自己复现的结果为准。小结与延伸verl 的 PPO 训练器是理解其 RL 后训练体系的绝佳入口它完整覆盖了 on-policy 训练所需的 rollout、参考策略、GAE、裁剪目标与 KL 控制全链路且算法组件优势估计器、KL 控制器、损失函数均采用注册表模式实现便于扩展。进一步探索建议对比阅读 examples/grpo_trainer/ 与 examples/rloo_trainer/ 的脚本观察无 critic 算法在配置上的差异深入阅读 verl/trainer/ppo/ray_trainer.py 与 verl/trainer/ppo/v1/trainer_base.py理解kl_penalty、use_kl_in_reward等配置在训练循环中的调度位置如需切换推理后端将INFER_BACKENDsglang传入 FSDP 脚本即可复用同一套训练配置。【免费下载链接】verlverl/HybridFlow: A Flexible and Efficient RL Post-Training Framework项目地址: https://gitcode.com/GitHub_Trending/ve/verl创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考