2026年算法工程师最新必问面试题八：大模型对齐新范式（RLHF/DPO/GRPO）

1. 引言：大模型对齐范式的演进2025-2026年，大模型对齐领域经历了从RLHF到DPO/GRPO的范式转变。RLHF（基于人类反馈的强化学习）曾是主流，但DPO（直接偏好优化）凭借其简洁性和稳定性，在2025年基本替代RLHF成为主流对齐方法。GRPO（组相对策略优化）则在DeepSeek-R1等推理模型中大放异彩。本文以算法工程师面试题形式，系统梳理这些核心考点。2. DPO与RLHF的核心区别？为什么DPO在2025基本替代RLHF成为主流对齐方法？核心区别：维度RLHFDPO训练流程需训练Reward Model + PPO强化学习，三阶段流水线直接利用偏好数据优化策略模型，无需Reward Model复杂度高，需维护价值网络、KL散度惩罚等低，仅需一个策略模型和偏好对数据稳定性PPO训练敏感，超参数多，易崩溃训练稳定，收敛快计算成本高（需同时运行4个模型：策略、参考、价值、奖励）低（仅需策略和参考模型）数学形式