1. 从REINFORCE到PPO、GRPO的演进逻辑1.1 为什么策略梯度方法绕不开方差问题做强化学习的人都有一个共同的体感策略梯度方法理论优雅但实际训练时曲线抖得让人怀疑人生。REINFORCE作为最基础的策略梯度算法它的更新公式简单到可以写在一张便利贴上∇J(θ) ≈ (1/N) Σ ∇log π_θ(a_t|s_t) * G_t其中G_t是从t时刻开始的累计回报。这个公式的直觉是如果某个动作带来的回报高就增大它的概率回报低就减小。但问题在于G_t是一个随机变量它融合了策略本身的随机性、环境的随机性、以及后续所有时间步的随机性。当你用单条轨迹的回报去估计梯度时方差会大到什么程度我实测过一个经典CartPole任务用纯REINFORCE训练同一组超参数跑五次四次收敛一次发散而且收敛的步数相差三倍以上。方差大的根源在于回报的蒙特卡洛估计。G_t r_t γr_{t1} γ²r_{t2} ...每一项都是随机的而且它们之间还有相关性。更致命的是回报的尺度会随着回合长度线性增长梯度更新的幅度也跟着膨胀。这就导致了一个恶性循环方差大→需要更多样本→训练慢→调参困难→怀疑算法有问题。1.2 从REINFORCE到Actor-Critic的第一次破局解决方差问题的第一个自然思路是引入基线Baseline。数学上可以证明从回报中减去一个只依赖于状态s的基线函数b(s)梯度的期望不变但方差会降低。最常用的基线是状态价值函数V(s)于是REINFORCE with Baseline的更新变成∇J(θ) ≈ (1/N) Σ ∇log π_θ(a_t|s_t) * (G_t - V(s_t))这里的(G_t - V(s_t))就是优势函数A_t的蒙特卡洛估计。减去V(s_t)之后回报的波动被大幅抵消因为V(s_t)已经捕捉了状态的平均回报水平。我自己的经验是在同样的任务上加基线能让收敛所需的回合数减少40%到60%而且曲线平滑度明显提升。但蒙特卡洛估计的方差依然存在因为G_t本身还是用完整轨迹算出来的。于是Actor-Critic方法进一步用时序差分TD误差来估计优势函数A_t ≈ r_t γV(s_{t1}) - V(s_t)这就是TD误差它只用一步奖励和下一个状态的价值估计方差比蒙特卡洛小得多但引入了偏差——因为V(s_{t1})本身是估计出来的。偏差和方差的权衡是强化学习里永恒的主题而PPO和GRPO本质上都是在寻找更好的平衡点。1.3 PPO的截断机制稳定性的关键一步PPOProximal Policy Optimization的核心创新是截断的重要性采样比率。在策略梯度中如果我们用旧策略π_old采集的数据来更新新策略π_θ重要性采样比率是r_t(θ) π_θ(a_t|s_t) / π_old(a_t|s_t)如果这个比率偏离1太远梯度估计的方差会爆炸。TRPO用KL散度约束来解决但计算复杂。PPO的做法更直接把比率截断在[1-ε, 1ε]范围内目标函数变成L^CLIP(θ) E[min(r_t(θ)A_t, clip(r_t(θ), 1-ε, 1ε)A_t)]这个min操作的意思是如果比率超出范围梯度就不再鼓励继续偏离。ε通常取0.1或0.2。我试过ε0.3的情况训练初期确实更快但后期容易震荡ε0.05则过于保守样本效率下降明显。0.2是一个经过大量实验验证的甜点值。PPO还有一个关键细节是GAEGeneralized Advantage Estimation它通过参数λ在偏差和方差之间做连续调节A_t^GAE(γ,λ) Σ (γλ)^l δ_{tl}其中δ_t是TD误差。λ0时退化为单步TD方差最小但偏差最大λ1时退化为蒙特卡洛无偏但方差最大。实际使用中λ0.95是常见选择它在大多数任务上表现稳健。1.4 GRPO的组相对策略优化去掉Critic的尝试GRPOGroup Relative Policy Optimization是近期在LLM对齐领域受到关注的方法它的核心思路是用组内相对奖励替代价值函数。传统PPO需要训练一个Critic网络来估计V(s)但Critic本身可能引入偏差而且增加了计算开销。GRPO的做法是对同一个问题采样一组回答比如8个然后用组内的平均奖励作为基线A_i r_i - mean(r_1, r_2, ..., r_G)这样就不需要Critic网络了优势估计完全来自组内比较。这个思路在数学上类似于REINFORCE with Baseline但基线不是学习出来的而是从当前组内样本直接计算的。它的优势在于实现简单、不需要额外的价值网络、避免了Critic估计不准带来的偏差。但代价是每个问题需要采样多个回答样本效率可能不如PPO。我在一个文本生成任务上对比过PPO和GRPOPPO收敛更快但需要调Critic的学习率和网络结构GRPO开箱即用但训练时间大约是PPO的1.5倍因为要采样多个回答。如果你的任务奖励信号明确、采样成本低GRPO是更省心的选择如果采样成本高、需要精细控制PPO仍然更成熟。2. 方差困境的数学根源与实操诊断2.1 方差从哪里来三个随机源的叠加要真正理解方差问题必须拆解它的来源。在策略梯度估计中方差至少来自三个层面第一层是动作采样的随机性。策略π_θ本身是随机的同一个状态下可能采样到不同动作。如果策略熵高探索性强动作的回报差异会很大梯度估计的方差自然高。第二层是环境转移的随机性。即使动作相同环境的下一个状态和奖励也可能不同。比如Atari游戏里的某些关卡有随机初始位置或者机器人控制任务里有噪声。第三层是回报估计的随机性。无论是蒙特卡洛还是TD回报都是对真实价值函数的采样估计。蒙特卡洛的方差随回合长度线性增长TD的方差小但有偏差。这三层随机性叠加在一起导致单次梯度估计的信噪比极低。我做过一个实验在同一个状态下重复采样100次动作计算梯度的标准差发现它比梯度的均值大一个数量级。这意味着你需要大量样本才能得到可靠的梯度方向。2.2 方差诊断的实操方法在实际项目中怎么判断方差是不是主要问题我通常用以下几个信号训练曲线剧烈震荡回报的移动平均线上下波动超过20%而且没有收敛趋势。梯度范数不稳定打印每次更新的梯度范数如果它在不同batch之间变化超过5倍说明方差主导。不同随机种子的结果差异大用3到5个不同种子跑同一组超参数如果最终性能相差30%以上方差问题严重。价值函数拟合困难Critic的损失下降缓慢或震荡说明TD目标本身噪声太大。诊断之后可以采取针对性措施。如果是动作采样方差大可以降低策略熵增大熵正则的系数或者使用确定性策略如DDPG。如果是环境随机性大可以增加并行环境数量用多个环境的平均梯度来降方差。如果是回报估计方差大可以调整GAE的λ参数或者使用n步回报。2.3 方差与偏差的权衡没有免费午餐强化学习里有一个残酷的现实降方差通常意味着增偏差。蒙特卡洛是无偏的但方差大TD是有偏的但方差小。GAE的λ参数就是在这个光谱上滑动。PPO的截断也是用偏差换方差——截断后的梯度不再是无偏的但方差可控。我在实际调参中的经验是训练初期偏向降方差用较小的λ、较大的截断范围让策略快速找到大致方向训练后期偏向降偏差增大λ、收紧截断让策略精细收敛。这种动态调整策略在多个任务上都比固定参数效果好。但要注意偏差和方差的权衡不是线性的。有时候降方差带来的收益远大于增偏差的损失有时候反过来。关键是要监控验证集上的真实性能而不是只看训练回报。我见过太多案例训练回报很漂亮但验证性能很差就是因为过拟合了训练环境的偏差。3. PPO与GRPO的核心实现细节3.1 PPO的完整实现流程与关键参数PPO的实现看起来简单但魔鬼在细节里。下面是我常用的PPO实现框架以PyTorch为例class PPO: def __init__(self, policy, value_fn, clip_eps0.2, gamma0.99, lam0.95, lr3e-4, epochs10, batch_size64): self.policy policy self.value_fn value_fn self.clip_eps clip_eps self.gamma gamma self.lam lam self.optimizer torch.optim.Adam( list(policy.parameters()) list(value_fn.parameters()), lrlr) self.epochs epochs self.batch_size batch_size def compute_gae(self, rewards, values, dones): advantages [] gae 0 for t in reversed(range(len(rewards))): if t len(rewards) - 1: next_value 0 else: next_value values[t1] delta rewards[t] self.gamma * next_value * (1-dones[t]) - values[t] gae delta self.gamma * self.lam * (1-dones[t]) * gae advantages.insert(0, gae) returns [adv val for adv, val in zip(advantages, values)] return advantages, returns def update(self, trajectories): # 计算GAE advantages, returns self.compute_gae( trajectories[rewards], trajectories[values], trajectories[dones]) advantages (advantages - advantages.mean()) / (advantages.std() 1e-8) # 多轮更新 for _ in range(self.epochs): for batch in self.make_batches(trajectories, advantages, returns): states, actions, old_log_probs, adv, ret batch # 计算新策略的概率 log_probs, entropy self.policy.evaluate(states, actions) ratio torch.exp(log_probs - old_log_probs) # 截断目标 surr1 ratio * adv surr2 torch.clamp(ratio, 1-self.clip_eps, 1self.clip_eps) * adv policy_loss -torch.min(surr1, surr2).mean() # 价值损失 values self.value_fn(states) value_loss F.mse_loss(values, ret) # 总损失 loss policy_loss 0.5 * value_loss - 0.01 * entropy.mean() self.optimizer.zero_grad() loss.backward() torch.nn.utils.clip_grad_norm_( list(self.policy.parameters()) list(self.value_fn.parameters()), 0.5) self.optimizer.step()几个关键参数的经验值参数常用范围作用调参建议clip_eps0.1~0.3控制策略更新幅度任务越复杂取值越小gamma0.99~0.999折扣因子回合越长取值越接近1lam0.9~0.97GAE偏差方差权衡方差大时减小偏差大时增大lr1e-4~1e-3学习率配合clip_eps调整epochs5~20每批数据更新次数数据少时增大数据多时减小batch_size32~256批大小显存允许下越大越好注意事项梯度裁剪的阈值不要设太大0.5是一个安全值。我试过1.0结果在某个任务上出现了梯度爆炸。另外优势归一化很重要不做归一化的话不同任务的回报尺度差异会导致训练不稳定。3.2 GRPO的实现差异与适用场景GRPO的实现和PPO最大的区别在于优势计算。它不需要Critic网络而是对每个问题采样G个回答然后计算组内相对优势def compute_grpo_advantages(rewards, group_size): rewards: 形状为 (batch_size * group_size,) 的奖励张量 group_size: 每个问题的采样数量 rewards rewards.view(-1, group_size) mean_rewards rewards.mean(dim1, keepdimTrue) std_rewards rewards.std(dim1, keepdimTrue) 1e-8 advantages (rewards - mean_rewards) / std_rewards return advantages.view(-1)然后策略损失和PPO类似但不需要价值损失def grpo_loss(log_probs, old_log_probs, advantages, clip_eps0.2): ratio torch.exp(log_probs - old_log_probs) surr1 ratio * advantages surr2 torch.clamp(ratio, 1-clip_eps, 1clip_eps) * advantages return -torch.min(surr1, surr2).mean()GRPO的适用场景很明确奖励信号可以快速评估、采样成本低、不需要精细的价值估计。比如在数学推理任务中验证答案对错很快采样多个回答的成本可以接受。但在机器人控制任务中每次采样都需要真实环境交互成本高GRPO就不太合适。我实测下来GRPO在文本生成任务上的表现和PPO相当但训练时间多出30%到50%。它的优势是超参数更少——不需要调Critic的学习率、网络结构、更新频率。对于快速原型验证GRPO是更好的起点。3.3 从PPO到GRPO的迁移经验如果你已经有一套PPO的代码想迁移到GRPO需要改的地方不多但有几个坑要注意第一采样策略要改。PPO通常用并行环境采集一条轨迹GRPO需要对每个问题采样多个回答。这意味着你的数据加载器要支持组采样。第二优势归一化的范围不同。PPO是在整个batch上归一化GRPO是在组内归一化。组内归一化对组大小的选择敏感G4时方差估计不准G16时计算开销大。G8是一个平衡点。第三学习率需要重新调。因为没有Critic的梯度信号策略网络的更新幅度会不同。我通常把学习率调小到PPO的1/2到1/3。第四KL散度约束可能还需要。虽然GRPO没有显式的KL约束但在LLM对齐任务中通常还会加一个KL惩罚项防止策略偏离太远。这个系数需要根据任务调整。4. 常见问题与排查技巧实录4.1 训练不收敛的排查清单强化学习训练不收敛是家常便饭我整理了一个排查顺序从最常见到最罕见问题现象可能原因排查方法解决方案回报持续下降学习率过大打印梯度范数减小学习率10倍回报震荡不收敛方差过大检查优势的std增大batch_size减小λ策略熵快速降到0熵正则太弱监控熵值增大熵系数价值损失不下降Critic学习率不当单独调Critic调整Critic学习率训练后期性能崩溃过拟合旧数据检查KL散度减少epochs增大clip_eps不同种子差异大初始化敏感多跑几个种子使用正交初始化我踩过最深的坑是优势归一化。有一次忘了做归一化结果在某个任务上训练完全不动查了两天才发现是回报尺度太大导致梯度爆炸。记住优势归一化不是可选项是必选项。4.2 方差过大的应急处理当你发现训练曲线抖得厉害可以按以下顺序尝试增大batch_size这是最直接的方法batch翻倍方差减半。但受限于显存。减小GAE的λ从0.95降到0.9或0.85牺牲一点偏差换方差。使用并行环境同时跑8个或16个环境用平均梯度更新。降低学习率方差大时小学习率更稳定。增加采样步数每个更新周期采集更多数据。我通常的组合是batch_size256λ0.928个并行环境学习率1e-4。这套配置在大多数任务上都能稳定训练。4.3 GRPO特有的问题GRPO因为没有Critic有些问题是它独有的组内奖励全相同怎么办如果G个回答的奖励完全一样优势全为0梯度消失。解决方案是增大采样温度让回答更多样化。或者检查奖励函数是否有区分度。组大小怎么选G太小基线估计不准G太大计算开销大。我的经验是G8起步如果奖励方差大可以降到4如果奖励方差小可以增到16。没有Critic怎么监控训练可以监控组内奖励的均值和标准差如果均值上升但标准差下降说明策略在收敛如果均值不动说明策略没学到东西。4.4 从REINFORCE到PPO的迁移检查点如果你有一个REINFORCE的实现想升级到PPO需要检查以下改动[ ] 是否加了Critic网络输入输出维度是否正确[ ] 是否实现了GAEλ参数是否合理[ ] 是否用了旧策略的概率重要性采样比率是否正确[ ] 是否加了截断clip_eps是否在合理范围[ ] 是否做了优势归一化[ ] 是否用了梯度裁剪[ ] 是否多轮更新同一批数据epochs是否合适我见过最常见的错误是忘记detach旧策略的概率导致梯度回传到旧策略网络训练完全乱套。记住old_log_probs必须用torch.no_grad()计算。5. 不同场景下的算法选型建议5.1 离散动作空间 vs 连续动作空间离散动作空间如Atari游戏和连续动作空间如机器人控制对算法的要求不同。离散空间下策略网络输出softmax概率PPO和GRPO都适用。连续空间下策略网络输出高斯分布的均值和方差PPO更成熟GRPO需要额外处理连续动作的组采样问题。我的建议是离散空间优先GRPO连续空间优先PPO。离散空间的组采样更自然连续空间的组采样需要设计噪声策略增加了复杂度。5.2 在线学习 vs 离线学习PPO和GRPO都是在线算法需要与环境交互采集数据。如果你只有离线数据集需要考虑IQL、CQL等离线强化学习算法。但离线算法也有方差问题而且更严重因为不能探索。一个折中方案是离线预训练在线微调先用离线数据训练一个初始策略再用PPO或GRPO在线优化。这样既能利用离线数据又能通过在线交互降方差。5.3 单智能体 vs 多智能体多智能体场景下方差问题会更复杂因为其他智能体的策略也在变化环境变得非平稳。这时候PPO的截断机制更有优势因为它能限制策略更新的幅度避免因为其他智能体变化导致的剧烈波动。GRPO的组相对优势在多智能体下需要重新设计因为组内的其他智能体可能不同。我做过一个多AGV路径规划的项目用PPO比GRPO稳定得多。GRPO的组内比较假设其他条件相同但多智能体环境下这个假设不成立。5.4 奖励稀疏 vs 奖励稠密奖励稀疏时如只有成功或失败方差问题最严重因为大多数步骤的回报都是0。这时候需要奖励塑形或好奇心驱动探索。PPO配合GAE在稀疏奖励下表现一般需要加辅助损失。GRPO在稀疏奖励下更困难因为组内可能全是0奖励优势全为0。我的经验是稀疏奖励优先考虑基于模型的方法或分层强化学习PPO和GRPO都需要额外的探索机制。6. 实操中的经验与避坑指南6.1 超参数调优的顺序强化学习的超参数很多但调优有优先级。我通常按以下顺序学习率最重要先粗调再细调。batch_size影响方差显存允许下尽量大。GAE的λ影响偏差方差权衡0.9到0.95之间。clip_eps影响稳定性0.1到0.3之间。epochs影响样本效率5到15之间。熵系数影响探索0.001到0.01之间。不要同时调多个参数否则你分不清是哪个参数起了作用。我通常用网格搜索先找大致范围再用随机搜索精细调优。6.2 监控指标的选择训练时不要只看回报要监控多个指标策略熵太低说明探索不足太高说明策略太随机。KL散度新旧策略的差异太大说明更新太激进。价值损失Critic的拟合质量不下降说明Critic有问题。梯度范数更新幅度太大说明方差大或学习率高。解释方差Critic对回报的预测质量低于0.5说明Critic太差。我习惯用TensorBoard记录这些指标训练时开着看一旦发现异常立即停止调整。6.3 代码实现的常见bug强化学习的bug很难发现因为训练不收敛可能是算法问题也可能是代码bug。以下是我遇到过的典型bugbug 1忘记重置环境。在并行环境中每个episode结束后要重置对应的环境否则数据会错乱。bug 2done的处理错误。当doneTrue时下一个状态的价值应该是0但很多人忘了乘(1-done)。bug 3优势计算顺序错误。GAE是从后往前计算的如果从前往后算结果完全错误。bug 4旧策略概率没有detach。这会导致梯度回传训练崩溃。bug 5归一化用了全局统计量。优势归一化应该用当前batch的统计量不能用历史累积的。bug 6随机种子没有固定。这会导致结果不可复现调试困难。6.4 从实验到生产的注意事项如果你的强化学习模型要上线有几个额外考虑第一推理速度。训练时可以用大网络推理时可能需要蒸馏到小网络。第二安全性。强化学习策略可能会做出危险动作需要加安全约束。第三稳定性。生产环境的状态分布可能与训练不同需要在线监控和快速回滚。第四可解释性。某些领域如医疗、金融需要解释策略的决策依据。我在一个推荐系统项目里用过PPO上线后发现策略对某些用户群体有偏见原因是训练数据分布不均衡。后来加了重要性采样修正和公平性约束才解决。强化学习不是调好参就完事部署后的监控和迭代同样重要。6.5 一个完整的调参案例最后分享一个我最近做的案例在MuJoCo的HalfCheetah任务上从REINFORCE升级到PPO再到GRPO的对比。REINFORCE的配置学习率1e-3batch_size64无基线。结果训练5000回合后回报约1000方差极大。PPO的配置学习率3e-4batch_size256λ0.95clip_eps0.2epochs10。结果训练2000回合后回报约3000曲线平滑。GRPO的配置学习率1e-4组大小G8clip_eps0.2epochs5。结果训练3000回合后回报约2800曲线比PPO稍抖但可接受。这个案例说明PPO在连续控制任务上仍然是首选GRPO在采样成本低的任务上更有优势。但GRPO的实现更简单如果你不想调CriticGRPO是一个不错的起点。踩过几次坑之后我的体会是方差问题不是靠一个算法就能解决的它需要从采样、估计、更新三个层面综合处理。REINFORCE是起点PPO是当前最成熟的方案GRPO是值得关注的新方向。但无论用什么算法理解方差从哪里来、怎么诊断、怎么处理才是真正的基本功。