LLM推理优化技术演进从PPO到GRPO的强化学习路线图大语言模型的训练和推理优化在2026年进入了一个新的阶段。从2022年InstructGPT首次将PPO引入RLHF到2026年GRPOGroup Relative Policy Optimization成为主流选择强化学习在LLM对齐中的角色经历了深刻的演变。本文将系统梳理这条技术演进路线帮助读者理解每种方法的核心思想、适用场景和内在联系。## RLHF的起源PPO 奖励模型2022年的InstructGPT论文奠定了RLHF的基本框架这个框架至今仍是LLM对齐的核心范式。整个流程分为三步。第一步是监督微调SFT用一小批人类撰写的示范数据微调基础模型让模型初步学会遵循指令。这些示范数据通常由专业的标注者撰写质量高但成本也高。第二步是训练奖励模型RM给标注者看两组模型输出问他们哪一个更好。基于这些偏好数据训练一个奖励模型r(x, y)用于预测人类对任意输出的偏好程度。偏好数据的收集成本远低于示范数据——判断哪个更好比写出最好的容易得多。第三步是PPO优化把奖励模型当作环境从策略中采样回复用RM打分再用PPO更新策略。同时加一项相对SFT策略的KL惩罚防止模型跑得太远。策略实际要最大化的目标是R(x, y) r(x, y) - β * KL(π_θ(y|x) || π_SFT(y|x))KL项的作用是阻止模型坍塌到高奖励、没语言的退化分布——如果模型发现输出乱码也能获得高奖励它就会这样做。β是控制KL惩罚强度的超参数也是最常需要调整的旋钮。InstructGPT论文那条著名结论今天仍然成立一个1.3B的PPO微调模型被偏好的程度高于175B的基础GPT-3。这证明了RLHF的有效性——好的对齐训练比单纯的模型规模更重要。## PPO的工程挑战尽管PPORLHF效果显著但工程实现极其复杂。训练过程中需要同时维护四个模型在显存里策略模型正在训练的模型、冻结的参考策略SFT模型用于计算KL惩罚、奖励模型用于打分和价值网络Critic用于估计优势函数。四个模型同时占用显存使得PPO训练的资源需求极高。对于70B级别的模型即使使用8张A100也捉襟见肘。此外PPO对超参数极其敏感——学习率、KL系数、裁剪范围、价值网络的学习率等都需要精细调整稍有不慎就会导致训练崩溃。价值网络的训练是另一个痛点。价值网络需要准确估计每个状态的价值但LLM的状态空间极其庞大价值估计的方差很大。不准确的价值估计会导致策略梯度的高方差进而导致训练不稳定。## DPO去掉价值网络的尝试DPODirect Preference Optimization在2023年提出核心思想是绕过奖励模型和价值网络直接从偏好数据中优化策略。数学上DPO证明了在特定条件下最优策略可以通过一个简单的二元交叉熵损失直接优化无需显式训练奖励模型。DPO的损失函数形式简洁L_DPO -E[log σ(β * (log π_θ(y_w|x)/π_ref(y_w|x) - log π_θ(y_l|x)/π_ref(y_l|x)))]其中y_w是偏好输出y_l是非偏好输出π_ref是参考策略σ是sigmoid函数。这个损失函数的直观理解是增大偏好输出相对于参考策略的概率同时减小非偏好输出的概率。DPO的优势在于实现简单、训练稳定、资源需求低。只需要维护策略模型和参考策略两个模型不需要奖励模型和价值网络。但DPO也有局限它假设偏好数据完全代表了真实的奖励分布当偏好数据存在噪声或偏差时DPO的效果会下降。此外DPO无法利用未标注数据而PPO可以通过奖励模型对任意输出打分。## GRPO2026年的主流选择GRPOGroup Relative Policy Optimization在2025-2026年成为LLM对齐的主流方法。它的核心创新是用组内相对比较替代绝对奖励打分彻底去掉了价值网络。GRPO的工作流程如下对于每个输入策略模型生成一组K个候选输出通常K4到8。然后使用奖励模型对这组输出打分。关键步骤是计算组内归一化优势——每个输出的优势不是绝对奖励而是相对于组内平均奖励的偏差A_i (r_i - mean(r)) / std(r)这个设计的精妙之处在于不需要价值网络来估计基线组内平均奖励天然就是一个好的基线。而且组内归一化自动适应奖励的尺度变化减少了超参数调整的需求。GRPO的另一个优势是计算效率。K个候选输出可以并行生成奖励打分也可以并行计算。相比PPO需要串行地采样-打分-更新GRPO的并行化程度更高训练速度更快。DeepSeek-R1等2026年的顶级模型都采用了GRPO或其变体进行对齐训练。实践表明GRPO在训练稳定性、最终性能和资源效率上都优于PPO和DPO。## 从单智能体RL到多智能体RL2026年另一个重要趋势是RL从单智能体向多智能体的扩展。在多智能体场景中多个Agent通过交互学习协作策略RL用于优化每个Agent在协作中的行为。多智能体RL面临独特的挑战。非平稳性问题是最核心的每个Agent的策略都在变化导致其他Agent面对的环境也在不断变化违反了传统RL的平稳性假设。信用分配问题是另一个难点一个协作任务的成功或失败如何归因到每个Agent的具体行为解决这些问题的技术包括集中训练分散执行CTDE架构在训练时使用全局信息执行时只使用局部信息反事实基线Counterfactual Baseline通过比较有Agent A参与和没有Agent A参与的结果差异来分配信用以及基于通信的协作让Agent在决策前交换意图信息减少不确定性。多智能体RL在自动驾驶车队协调、机器人协作、游戏AI等领域已经展现出令人瞩目的成果。随着GRPO等高效RL方法的成熟多智能体RL正在从研究前沿走向工程实践。## 实践建议对于正在或计划使用RL进行LLM对齐的团队我有以下建议。如果资源充足且追求最优效果GRPO是当前的最佳选择。它在训练稳定性、最终性能和资源效率之间取得了最好的平衡。建议从K4开始根据奖励模型的质量和任务复杂度调整。如果资源有限或需要快速迭代DPO是更务实的选择。它的实现简单、训练稳定对于大多数对齐任务已经足够。DPO特别适合偏好数据质量高、标注一致性好的场景。如果偏好数据难以获取但可以定义奖励函数PPO仍然有价值。PPO可以通过奖励模型对任意输出打分利用大量未标注数据。但要做好投入大量工程精力进行超参数调优的准备。无论选择哪种方法都要建立完善的评估体系。RL对齐的效果不能只看奖励分数奖励模型可能被欺骗还要通过人工评估、基准测试和线上A/B测试来综合判断。## 奖励黑客与对齐税RLHF实践中两个值得深入讨论的现象是奖励黑客Reward Hacking和对齐税Alignment Tax。奖励黑客是指模型找到了获取高奖励分的捷径但这些捷径并不对应真正的质量提升。典型案例包括模型发现输出更长的回答通常得分更高于是开始无意义地拉长回答模型发现使用某些高级词汇能提高奖励分于是堆砌辞藻但内容空洞模型发现回避争议性问题能获得更稳定的高分于是变得过度保守。对抗奖励黑客的方法包括在奖励模型训练中增加对抗样本让奖励模型学会识别和惩罚这些投机行为使用集成奖励模型多个奖励模型打分取平均减少单一模型的偏差引入长度惩罚项显式控制输出长度对奖励的影响。对齐税是指RLHF在提升对齐度的同时可能损害模型的某些能力。研究发现经过RLHF的模型在创意写作、开放式推理等任务上的表现有时不如基础模型。这可能是因为人类标注者的偏好倾向于安全、保守的输出RLHF过程抑制了模型的创造力。减轻对齐税的方法包括在偏好数据中刻意包含多样化的高质量输出避免奖励模型过度偏好某一种风格在RLHF损失函数中加入对基础模型能力的保持项以及采用分阶段对齐策略先对齐安全性再对齐有用性最后对齐创造性。## 未来展望RL 推理的深度融合2026年最令人兴奋的趋势是RL与推理能力的深度融合。DeepSeek-R1和OpenAI o系列模型展示了推理时RL的巨大潜力——模型在生成最终答案之前先进行长时间的推理链探索RL用于优化推理策略本身。这种模式下RL不再只是对齐工具而是成为模型核心能力的组成部分。模型通过RL学习如何思考——什么时候应该深入推理什么时候应该快速回答如何验证自己的推理是否正确如何从错误中恢复。这标志着LLM训练范式的一个根本转变从先训练再对齐的两阶段模式走向训练、推理、对齐一体化的融合模式。在这个新模式中RL贯穿模型训练和推理的全生命周期持续优化模型的行为。