RL训练新发现：仅训练Transformer中间层即可超越全参数更新

你花了几十张卡、跑了一整夜的强化学习RL后训练看着准确率从58%艰难爬到66%心里可能默认这8个百分点的提升是模型所有参数共同努力的结果。但一项刚刚出现在arXiv上的研究告诉你真正学会新东西的可能只是Transformer堆叠里某一个中间层其他几十层参数的更新更像是在陪跑。这个发现来自一篇标题低调但结论惊人的论文。研究者在7个模型、3种RL算法、多个任务域上系统性地验证了一个反直觉现象RL post-training的大部分收益高度集中在单个Transformer层。冻结其他所有层只训练这一个中间层效果不仅能匹配全参数训练有时甚至还能超越。比如在Qwen3-8B-Base上全参数GRPO训练在数学推理任务上达到66.5%的准确率。而只训练第16层冻结其余35层准确率反而达到67.1%。这意味着你原本需要更新全部参数的RL训练其实有更轻量、更高效的路径。1. 为什么全参数训练成了默认选项却可能是一种浪费在深入这个发现之前我们先理解一下RL post-training的典型流程。当你完成一个语言模型的预训练后如果想让它更好地遵循指令、执行推理或完成特定任务通常会使用强化学习进行后训练。无论是PPO、GRPO还是其他算法行业惯例都是对模型所有参数进行更新。这个惯例的形成有其历史原因。从BERT、GPT系列开始全参数微调就被证明在多种任务上有效。当模型规模从亿级扩展到千亿级这种“所有参数一起更新”的假设被延续了下来。大家默认更大的模型、更多的参数参与训练理应带来更好的效果。但很少有人去验证一个更基本的问题RL信号到底作用在模型的哪一部分是每一层都在平等地学习新行为还是某些层承担了主要的学习任务论文中设计了一个极简的诊断框架对于一个有L层的Transformer模型每次只训练其中一层冻结其他所有层包括嵌入层和输出头然后用RL算法训练测量这一层独立能贡献多少性能收益。他们定义了一个“层贡献度”指标——单层训练恢复的收益占全参数训练总收益的比例。如果某层的贡献度达到1.00意味着这一层独自训练就能复现全参数训练的全部收益。结果令人震惊在多个模型和任务上中间某几层的贡献度不仅达到1.00有时甚至超过1.00即单层训练效果优于全参数训练。2. 中间层为什么成为RL训练的关键枢纽要理解为什么中间层如此特殊需要先了解Transformer模型中不同层的功能分化。大量前期研究表明预训练语言模型在深度方向上表现出明显的功能分层底层第0-5层左右主要处理词汇、语法和表层语言特征中间层第10-20层左右承担高级语义整合、逻辑推理和复杂模式识别高层接近输出的层更多负责将内部表示映射到输出空间RL post-training的目标不是让模型重新学习语法底层功能也不是优化输出映射高层功能而是让模型学会什么样的推理路径能获得更高奖励。这种学习本质上作用于高层语义和推理能力恰好落在中间层的主场范围内。论文的实验数据完美支持这一解释。在Qwen3-8B-Base36层上高贡献度层集中在第12-20层之间峰值出现在第16层贡献度1.07和第15层1.00。早期层第0-2层贡献度极低第0层甚至为负值晚期层第22-35层的贡献度也明显下降。这种“中间凸起、两头塌陷”的分布模式在数学推理、代码生成和Agent任务中高度一致在GRPO、GiGPO、Dr. GRPO三种算法间也保持稳定。3. 层感知训练一个即插即用的效率优化方案基于这一发现研究者提出了一个简单的层感知训练策略不需要改变模型架构或RL算法只需调整训练时的参数更新策略。核心思路优先训练高贡献层给这些层分配更大的学习率和更多的更新步长同时降低低贡献层的更新强度甚至完全冻结。论文测试了多种策略其中“Only B10”只训练贡献度最高的10个层在几乎所有设定上都优于标准全参数训练。在Qwen3-8B的数学推理任务上这一策略将准确率从全参数训练的66.5%提升到69.1%。对于工程实践这意味着你可以立即尝试以下优化3.1 诊断阶段找出你的模型的关键层在实际部署层感知训练前需要先针对你的具体模型和任务进行层贡献度分析# 伪代码示例层贡献度诊断流程 for layer_idx in range(model.total_layers): # 冻结除当前层外的所有参数 freeze_all_parameters_except(model, layer_idx) # 使用RL算法进行训练 rl_trainer.train(model, training_data) # 评估性能 accuracy evaluate_on_benchmark(model) # 计算该层贡献度 contribution accuracy / full_training_accuracy这个过程虽然需要额外计算但只需运行一次就能为后续所有RL训练提供优化依据。3.2 训练阶段差异化参数更新策略一旦识别出关键层可以实施多种优化策略选择性训练只更新贡献度高于阈值如0.8的层差异化学习率关键层使用正常学习率其他层使用降低的学习率渐进解冻先训练关键层再逐步解冻其他层3.3 实际部署考虑虽然论文结果令人振奋但在生产环境中需要谨慎评估任务依赖性Agent任务上的单层优势不如数学推理任务明显说明不同任务可能需要不同的层选择策略模型架构差异当前结果主要基于Qwen系列在其他架构如LLaMA、Mistral上需要重新验证训练稳定性极端的选择性训练可能影响模型收敛稳定性需要适当的正则化4. 重新审视RL训练的经济学算力浪费与优化空间这个发现背后有一个更深刻的经济学问题。当前的大规模RL训练通常需要数十亿甚至千亿参数的全程更新算力消耗以千卡时计。如果大部分层的更新对最终收益贡献甚微那么现有范式存在巨大的算力浪费。以典型的千亿参数模型RL训练为例全参数训练需要更新所有1000亿参数层感知训练可能只需要重点更新100-200亿参数10-20%的关键层算力节省理论上可减少80-90%的计算量这还不包括内存占用、通信开销和存储空间的优化。对于需要频繁进行RL迭代的应用场景这种优化带来的成本节约是实质性的。5. 为什么这个发现现在才被揭示测量盲区与产业惯性一个自然的问题是如果RL收益如此集中为什么行业这么多年没有发现测量盲区是首要原因。在典型的RL训练中研究者关注的是整体奖励曲线和下游基准分数。当准确率从58%提升到66%大家默认这8个点的提升来自所有层的协同工作。很少有人搭建工具来测量每层的独立贡献。产业惯性也扮演了重要角色。全参数微调范式从BERT时代延续至今已经成为行业标准流程。改变意味着不确定性和额外的验证成本而大规模部署最怕不确定性。但经济压力正在改变这一现状。随着模型规模扩大和算力成本上升任何能够实质性降低训练成本的方法都会获得关注。这项研究的价值在于提供了一个经过系统验证的优化方向。6. 局限性与未来方向这不是终点而是起点这项研究并非没有局限了解这些局限有助于我们更理性地应用这一发现模型泛化性结果主要基于Qwen系列在其他架构上需要验证算法覆盖范围主要测试GRPO系列算法PPO等其他主流算法的表现待研究任务特异性Agent任务上的效果差异提示我们需要任务自适应的层选择策略长期影响选择性训练对模型长期稳定性和泛化能力的影响需要更长时间观察未来可能的发展方向包括自动层选择算法根据任务特性自动识别关键层动态训练策略在训练过程中动态调整各层的更新强度跨架构通用模式寻找不同模型架构中层贡献度分布的共性规律7. 实践建议如何将这一发现应用到你的项目中对于正在或计划进行RL后训练的团队以下是一个可操作的实施路径7.1 验证阶段小规模实验选择代表性任务挑选一个中等复杂度的任务作为测试基准运行层贡献度分析按照论文方法测量各层贡献度分布验证关键层确认在你的设定下是否存在明显的关键层7.2 优化阶段策略设计制定层感知策略根据贡献度分布设计差异化训练方案设置安全边际不要过度激进保留一定的冗余层更新设计监控指标除了最终准确率还要关注训练稳定性和收敛速度7.3 部署阶段生产环境渐进式推广先在非关键任务上验证再逐步推广到核心业务建立回滚机制确保如果新策略出现问题可以快速恢复持续监控长期跟踪选择性训练对模型质量的影响这个发现的意义远不止于提供一个训练加速技巧。它更像一个提醒在AI快速发展的今天许多被视为常识的做法可能只是在特定条件下的局部最优解。当更好的测量工具和更深入的分析出现时我们有机会重新审视这些基础假设找到更高效、更经济的解决方案。你下一次进行RL训练时或许可以先花少量资源找出模型的关键层而不是默认地更新所有参数。这个简单的改变可能为你节省大量算力成本同时获得不逊于甚至优于传统方法的效果。