标题Neural Thickets: Diverse Task Experts Are Dense Around Pretrained Weights作者Yulu Gan, Phillip Isola单位MIT CSAIL论文链接https://arxiv.org/abs/2603.12228代码链接https://github.com/sunrainyg/RandOpt详细解读https://mp.weixin.qq.com/s/9K90nM7WWJHgHav5Ec2WZw摘要直译Pretraining produces a learned parameter vector that is typically treated as a starting point for further iterative adaptation. In this work, we instead view the outcome of pretraining as a distribution over parameter vectors, whose support already contains task-specific experts. We show that in small models such expert solutions occupy a negligible fraction of the volume of this distribution, making their discovery reliant on structured optimization methods such as gradient descent. In contrast, in large, well-pretrained models the density of task-experts increases dramatically, so that diverse, task-improving specialists populate a substantial fraction of the neighborhood around the pretrained weights. Motivated by this perspective, we explore a simple, fully parallel post-training method that samples K parameter perturbations at random, selects the top , and ensembles predictions via majority vote. Despite its simplicity, this approach is competitive with standard post-training methods such as PPO, GRPO, and ES for contemporary large-scale models.预训练Pretraining产生了一个学习到的参数向量该向量通常被视为进一步迭代自适应iterative adaptation的起点。这项工作转而将预训练的结果视为参数向量的分布distribution over parameter vectors该分布的支撑集support中已经包含了特定任务的专家task-specific experts。我们证明在小型模型中此类专家解决方案在分布体积中所占的比例微乎其微因此发现它们需要依赖诸如梯度下降等结构化优化方法。相比之下在经过良好预训练的大型模型中任务专家的密度急剧增加因此多样化、能提升任务性能的专家占据了预训练权重周围邻域的很大一部分。受此视角的启发我们探索了一种简单、完全并行的后训练方法该方法随机采样N NN个参数微扰选择前K KK个并通过多数投票majority vote对预测进行集成。尽管这种方法非常简单但对于当代大规模模型它在竞争力上与 PPO、GRPO 和 ES 等标准后训练方法相当。研究背景在机器学习的早期阶段如 2001 年 Schmidhuber 等人的研究Evaluating benchmark problems by random guessing随机猜测Random guessing在解决当时的基准测试时偶尔有效但对于拥有数十亿参数的现代大语言模型LLMs从头开始随机猜测出一个 ChatGPT 级别的模型概率微乎其微因此这种方法长期以来被认为是毫无希望的。然而现有的共识主要集中在从头训练或依赖梯度优化的微调上。很少有研究去系统性地探讨在经历了庞大计算量的大规模预训练之后模型权重周围的局部损失地形loss landscape到底发生了怎样的根本性拓扑偏移。研究动机既然预训练极大程度地改变了参数空间那么是否能在不使用任何结构化多步搜索如梯度下降的情况下仅通过简单的“猜测与检验guess and check”来提升模型能力作者希望通过测量预训练权重周围高斯邻域内“任务提升解的密度Solution Density”和“解的多样性Solution Diversity”来验证大型模型是否从小型模型的“大海捞针needle in a haystack”状态跨越到了一个充满专家的“灌木丛thicket”状态。如果存在这种高密度的 Thicket 区域那么一种完全并行、无需梯度的后训练算法就有可能以O ( 1 ) \mathcal{O}(1)O(1)的时间复杂度媲美目前主流的顺序更新 RL 方法。研究内容本研究提出了一种名为 RandOptRandom Guessing Ensembling的完全并行后训练算法框架。该方法摒弃了顺序优化步骤和梯度计算转而在权重空间中直接采样多个微扰并利用集成策略来融合多位“专家”的能力。具体技术细节包括参数微扰生成Perturbation Generation令基础模型为f θ : X → Y f_{\theta}:\mathcal{X}\rightarrow\mathcal{Y}fθ:X→Y其权重为θ ∈ R d \theta\in\mathbb{R}^{d}θ∈Rd。RandOpt 通过标准高斯分布ϵ ∼ N ( 0 , I d ) \epsilon\sim\mathcal{N}(0,I_{d})ϵ∼N(0,Id)引入噪声向量并通过噪声尺度σ ∈ Σ { σ 1 , … , σ M } \sigma\in\Sigma\{\sigma_{1},…,\sigma_{M}\}σ∈Σ{σ1,…,σM}控制微扰幅度。针对每一个随机种子s ss生成微扰后的模型实例θ ′ θ σ ⋅ ϵ ( s ) \theta^{\prime}\theta\sigma\cdot\epsilon(s)θ′θσ⋅ϵ(s)。随机猜测与检验Training: Random Guessing and Checking在训练阶段算法采样N NN个随机种子{ s 1 , … , s N } \{s_{1},…,s_{N}\}{s1,…,sN}并分配相应的噪声尺度{ σ 1 , … , σ N } \{\sigma_{1},…,\sigma_{N}\}{σ1,…,σN}。由此产生N NN个参数向量θ i θ σ i ϵ ( s i ) \theta_{i}\theta\sigma_{i}\epsilon(s_{i})θiθσiϵ(si)。这N NN个模型在小的训练集或验证集D t r a i n \mathcal{D}_{train}Dtrain上进行评估获得性能得分v i v_{i}vi。随后挑选出得分最高的K KK个模型构成顶级集合I t o p argtopK i ∈ [ N ] ( v i ) \mathcal{I}_{top}\text{argtopK}_{i\in[N]}(v_{i})ItopargtopKi∈[N](vi)。推理与预测集成Inference: Ensembling of Predictions在测试阶段针对输入x xx仅使用所选的集合I t o p \mathcal{I}_{top}Itop生成预测。最终输出y ^ \hat{y}y^通过多数投票majority voting进行聚合y ^ mode ( { arg max y f θ i ( y ∣ x ) ∣ i ∈ I t o p } ) \hat{y}\text{mode}(\{\arg\max_{y}f_{\theta_{i}}(y|x)|i\in\mathcal{I}_{top}\})y^mode({argmaxyfθi(y∣x)∣i∈Itop})。模型知识蒸馏Distillation - 可选机制为了缓解推理阶段K KK次前向传播带来的计算开销作者提出通过有监督微调SFT将 Top-K 集成的能力蒸馏到单一模型中。该过程针对困难样本进行训练优化目标为最小化推理轨迹reasoning trace和最终答案的负对数似然L D i s t i l l ( θ ) − ∑ t T x 1 T log p θ ( s t ∣ x , s t ) \mathcal{L}_{Distill}(\theta)-\sum_{tT_{x}1}^{T}\log~p_{\theta}(s_{t}|x,s_{t})LDistill(θ)−∑tTx1Tlogpθ(st∣x,st)。研究价值这项工作挑战了“预训练模型是一个固定起点”的传统观念转而提出将其视为“涵盖多样化专家的参数分布”的全新范式。它证明了在具备足够好的预训练表示后后训练可以极其简单且高效不需要复杂的 RLHF 框架也能取得 SOTA 级别的性能。由于 RandOpt 工作节点完全并行且互不通信仅在推理时聚合它为受限带宽环境或重视挂钟时间wall-clock time的场景如分布式联邦学习提供了一种极具潜力的去中心化替代方案。重要论点小型模型处于“大海捞针needle in a haystack regime”的状态中下游任务的良好解决方案仅占周围权重的极小部分发现它们需要依赖梯度下降等迭代优化算法。大型且经过充分预训练的模型被大量特定任务的解决方案所包围thicket regime其局部高斯邻域内的任务提升解密度Solution Density随模型规模增加而单调上升。在大型模型周围采样到的良好微扰向量并非全能型模型generalists而是具有明显分化的专家specialists它们在提升某个任务性能的同时往往会损害其他任务的性能。衡量解多样性的谱不一致性Spectral DiscordanceD \mathcal{D}D指标随着模型规模的增加而单调递增表明大模型周围的解在能力上变得越来越不重叠。在完全并行、无需梯度的设置下采用随机猜测与集成的 RandOpt 算法在相同后训练 FLOPs 下能够取得与 PPO、GRPO 和 ES 等标准且复杂的强化学习微调方法相媲美的竞争性准确率。RandOpt 算法在训练步骤上需要O ( 1 ) \mathcal{O}(1)O(1)的时间显著优于需要T TT步顺序更新的传统基准方法O ( T ) \mathcal{O}(T)O(T)。集成机制Ensembling不仅对 RandOpt 至关重要K 50 K50K50显著优于K 1 K1K1它同样也能一致地提升传统后训练基准方法如 PPO, GRPO, ES的准确率。RandOpt 所带来的性能提升无法被单纯的“模型沙袋效应Sandbagging即模型故意隐瞒能力”所解释因为该算法在透明且无沙袋效应的 OLMo3-7B Base 模型上同样表现出了显著提升。RandOpt 找到的灌木丛Thickets并非仅由深层逻辑推理能力构成有相当一部分性能收益来自于表面格式的修正Format Thicket同时也有确实修复了原模型错误推理的推理灌木丛Reasoning Thicket甚至在视觉生成模型中还存在颜色灌木丛Color Thickets”。重要结果大模型的预训练彻底改变了损失空间的局部拓扑从稀疏分布转变为特定任务专家的密集分布Solution Density 随规模缩放。实验表明对 Qwen2.5 家族0.5B 至 32B进行 1000 次随机权重微扰后小模型位于准确率景观的局部最高点而大模型位于一个“山谷”中周围有许多更高准确率的“山峰”。测量不同裕度m mm的解密度δ ( m ) \delta(m)δ(m)发现能带来 5% 性能提升的微扰密度随着模型参数规模的扩大呈现单调递增趋势文中图 2 和图 3。2. 在预训练权重周围的高质量微扰呈现出高度的专业化和能力互斥性Solution Diversity 与专家倾向。在涉及数学、代码、写作和化学等七个任务的评估中作者计算了谱不一致性Spectral DiscordanceD \mathcal{D}D。结果显示D \mathcal{D}D值随模型规模变大而上升且通过对 100 个随机种子的性能向量进行 PCA 降维明显观察到具有相似行为的种子聚类成不同组如图 4 所示表明它们具备互补而非重叠的专业领域。3. 完全并行的 RandOpt 算法在挂钟时间极具优势的前提下推理性能足以匹敌 SOTA 的后训练方法。在相同计算量FLOPs下RandOptK 50 K50K50在 0.5B 到 8B 的多个模型和任务上匹配或超越了 PPO、GRPO 和 ES 的表现。特别是在一台部署了 200 张 GH200 的集群上使用N 2000 N2000N2000训练 OLMo-3-7B 的 Countdown 任务仅需 3.2 分钟便达到了 70% 的准确率展现出了免梯度算法在极端并行下的潜力。4. 模型能力的提升是推理能力增强与输出格式修正共同作用的结果多种类型 Thickets 混合。在 GSM8K 测试集的 1319 个样本上对性能增益进行分解分析发现RandOpt 提升至 86.7% 的准确率中有 19.0% 来自于格式修复即基础模型算对了但格式不合规而有 12.3% 是基础模型算错但被新模型正确解答的真正推理提升这证明“Thicket”概念包涵了从表面风格到深层技能的多个维度。局限与扩展局限性对强预训练的高度依赖RandOpt 绝对不适用于从头开始训练庞大的神经网络架构如 GPT-2 0.1B 表现极差它在小型预训练模型上也十分挣扎。它只在已经具备极高表征能力的模型上生效。获取全新技能的瓶颈随着搜索预算N NN的扩大性能扩展曲线呈现饱和趋势。这表明仅靠局部“灌木丛”采样可能无法赋予模型远超其基础水平的全新技能寻找突破仍可能需要回到结构化搜索方法。推理时的计算成本高昂由于必须前向传播K KK次通常K 1 K1K1才能取得好成绩其推理代价极大。虽然通过知识蒸馏能缓解此问题但这会带来额外训练开销且打破完全并行性。对复杂结构化预测任务的不适配基于多数投票Majority-Vote的集成在解决离散类别或整数预测如数学选择题时很直接但很难直接平移到长篇故事生成或分子设计等结构化预测任务中。现象成因尚未完全清晰目前研究测量了预训练景观的特征但并未完全从机理上解释预训练目标或学习动态是如何具体形成这些“Thickets”的。未来扩展作者希望未来的研究能够深入探究预训练进入“Thicket Regime”的具体时机和机理条件以及针对图像或结构化生成任务开发更优的集成机制。相关工作本文在探讨参数损失景观和随机搜索时与以下几项前沿工作有着深刻的传承和对比关系平缓极小值与局部崎岖景观 (Flat Minima vs. Spiky Local Landscapes)相关论文On large-batch training for deep learning: Generalization gap and sharp minima, ICLR 2017联系与差异深度学习界的传统共识认为神经网络在训练中倾向于收敛在平滑、宽广的极小值区域Flat Minima这通常代表着良好的泛化能力。本文指出这种表面的“平缓”实际上是一种多任务聚合后的宏观错觉。如果把视角拉近单独审视某一个特定下游任务的局部损失景观它其实是高度崎岖Spiky的。预训练权重往往正处于一个精度“山谷”之中被周围众多代表特定任务专家的“崎岖山峰”更高的精度峰值所包围。演化策略与随机搜索Evolution Strategies at Scale相关论文Evolution strategies as a scalable alternative to reinforcement learningEvolution strategies at scale: Llm fine-tuning beyond reinforcement learning联系与差异这些工作证明了顺序随机搜索方法如 ES可以作为强化学习的有力替代品进行 LLM 微调。本文与它们的本质区别在于RandOpt 实现的是在参数空间的完全并行parallel“Best-of-N”猜测而彻底去除了顺序迭代的包袱。权重空间微调内在大维数Intrinsic Dimension LoRA相关论文Intrinsic dimensionality explains the effectiveness of language model fine-tuningLoRA: Low-rank adaptation of large language models联系与差异这些研究提出参数的高效微调之所以可行是因为大模型的适应过程本质上是低维的。本文与之不谋而合且将“Thickets”现象解释为一个由于过度参数化引起的宽广盆地与一个低秩但存在于完整参数空间中的任务相关方向集合的交集。虚假奖励奏效的底层解释 (Spurious Rewards)相关论文Spurious rewards: Rethinking training signals in rlvr (Shao et al., 2025) [cite: 573, 735]联系与差异近期 RL 领域发现了一个反常现象在后训练中即使给予模型随机的、错误的或虚假的奖励信号Spurious Rewards有时也能出人意料地提升模型表现。本文从“解密度Solution Density”的全新视角为这一现象提供了解释。对于某些特定任务大型预训练模型周围的专家解密度极其高以至于绝大多数的高斯微扰无论如何都能提高任务准确率。在如此高密度的“灌木丛”中即便虚假奖励提供了一个方向错误的梯度但在“闭着眼睛走都能撞上好解”的区域这个错误方向碰巧也能带来足够的性能增益。重要概念清单模型沙袋效应 (Sandbagging)相关论文Noise injection reveals hidden capabilities of sandbagging language models相关背景沙袋效应指大模型可能因为安全对齐或指令微调的副作用故意隐藏或未充分发挥其实际能力。如果模型存在这种效应随机微扰可能只是打破了封印限制而非真正发掘了更好的表征潜力。本文作者通过实验强有力地反驳了这一假设。他们在完全开源、透明且未经过意图隐藏或复杂安全对齐的 OLMo3-7B Base 模型上应用 RandOpt依然取得了显著的性能提升。此外RandOpt 的表现一致优于单纯旨在提取已有答案的测试时多数投票TT-MV机制证明随机微扰是真的在参数空间中找到了更优的任务专家。神经灌木丛的多样性 (Neural Thickets Mixed Types)相关论文本文相关背景预训练大模型的参数周围密集分布着能提升任务性能的“专家网络”这些高密度解的聚集区被称为“灌木丛Thickets” 。研究拆解发现“专家”能力的提升是多维度因素的混合体。在文本推理任务如 GSM8K中既有真正修复基础模型错误推理的“推理灌木丛Reasoning Thicket”也有占据相当比例、仅修正表面输出格式的“格式灌木丛Format Thicket”。在视觉生成模型如 SDXL中甚至存在固执偏好特定色调或风格的“颜色灌木丛Color Thickets” 。彩票假设 (Lottery Ticket Hypothesis)相关论文The lottery ticket hypothesis: Finding sparse, trainable neural networks, ICLR 2019相关背景彩票假设提出在随机初始化的网络中从头开始寻找好的初始化权重中奖彩票就像中彩票一样罕见和困难。本文为彩票假设补充了关键的时间维度视角在经过庞大计算量的预训练之后即迁移阶段参数空间的拓扑性质发生了质变。预训练将权重拉入了一个充满高质量解决方案的密集盆地此时在初始权重预训练权重周围原本极其罕见的“中奖彩票”变得无比密集丰富随机微扰即可轻易命中。 ArXiv:2603 | Neural Thickets: Diverse Task Experts Are Dense Around Pretrained Weights
标题Neural Thickets: Diverse Task Experts Are Dense Around Pretrained Weights作者Yulu Gan, Phillip Isola单位MIT CSAIL论文链接https://arxiv.org/abs/2603.12228代码链接https://github.com/sunrainyg/RandOpt详细解读https://mp.weixin.qq.com/s/9K90nM7WWJHgHav5Ec2WZw摘要直译Pretraining produces a learned parameter vector that is typically treated as a starting point for further iterative adaptation. In this work, we instead view the outcome of pretraining as a distribution over parameter vectors, whose support already contains task-specific experts. We show that in small models such expert solutions occupy a negligible fraction of the volume of this distribution, making their discovery reliant on structured optimization methods such as gradient descent. In contrast, in large, well-pretrained models the density of task-experts increases dramatically, so that diverse, task-improving specialists populate a substantial fraction of the neighborhood around the pretrained weights. Motivated by this perspective, we explore a simple, fully parallel post-training method that samples K parameter perturbations at random, selects the top , and ensembles predictions via majority vote. Despite its simplicity, this approach is competitive with standard post-training methods such as PPO, GRPO, and ES for contemporary large-scale models.预训练Pretraining产生了一个学习到的参数向量该向量通常被视为进一步迭代自适应iterative adaptation的起点。这项工作转而将预训练的结果视为参数向量的分布distribution over parameter vectors该分布的支撑集support中已经包含了特定任务的专家task-specific experts。我们证明在小型模型中此类专家解决方案在分布体积中所占的比例微乎其微因此发现它们需要依赖诸如梯度下降等结构化优化方法。相比之下在经过良好预训练的大型模型中任务专家的密度急剧增加因此多样化、能提升任务性能的专家占据了预训练权重周围邻域的很大一部分。受此视角的启发我们探索了一种简单、完全并行的后训练方法该方法随机采样N NN个参数微扰选择前K KK个并通过多数投票majority vote对预测进行集成。尽管这种方法非常简单但对于当代大规模模型它在竞争力上与 PPO、GRPO 和 ES 等标准后训练方法相当。研究背景在机器学习的早期阶段如 2001 年 Schmidhuber 等人的研究Evaluating benchmark problems by random guessing随机猜测Random guessing在解决当时的基准测试时偶尔有效但对于拥有数十亿参数的现代大语言模型LLMs从头开始随机猜测出一个 ChatGPT 级别的模型概率微乎其微因此这种方法长期以来被认为是毫无希望的。然而现有的共识主要集中在从头训练或依赖梯度优化的微调上。很少有研究去系统性地探讨在经历了庞大计算量的大规模预训练之后模型权重周围的局部损失地形loss landscape到底发生了怎样的根本性拓扑偏移。研究动机既然预训练极大程度地改变了参数空间那么是否能在不使用任何结构化多步搜索如梯度下降的情况下仅通过简单的“猜测与检验guess and check”来提升模型能力作者希望通过测量预训练权重周围高斯邻域内“任务提升解的密度Solution Density”和“解的多样性Solution Diversity”来验证大型模型是否从小型模型的“大海捞针needle in a haystack”状态跨越到了一个充满专家的“灌木丛thicket”状态。如果存在这种高密度的 Thicket 区域那么一种完全并行、无需梯度的后训练算法就有可能以O ( 1 ) \mathcal{O}(1)O(1)的时间复杂度媲美目前主流的顺序更新 RL 方法。研究内容本研究提出了一种名为 RandOptRandom Guessing Ensembling的完全并行后训练算法框架。该方法摒弃了顺序优化步骤和梯度计算转而在权重空间中直接采样多个微扰并利用集成策略来融合多位“专家”的能力。具体技术细节包括参数微扰生成Perturbation Generation令基础模型为f θ : X → Y f_{\theta}:\mathcal{X}\rightarrow\mathcal{Y}fθ:X→Y其权重为θ ∈ R d \theta\in\mathbb{R}^{d}θ∈Rd。RandOpt 通过标准高斯分布ϵ ∼ N ( 0 , I d ) \epsilon\sim\mathcal{N}(0,I_{d})ϵ∼N(0,Id)引入噪声向量并通过噪声尺度σ ∈ Σ { σ 1 , … , σ M } \sigma\in\Sigma\{\sigma_{1},…,\sigma_{M}\}σ∈Σ{σ1,…,σM}控制微扰幅度。针对每一个随机种子s ss生成微扰后的模型实例θ ′ θ σ ⋅ ϵ ( s ) \theta^{\prime}\theta\sigma\cdot\epsilon(s)θ′θσ⋅ϵ(s)。随机猜测与检验Training: Random Guessing and Checking在训练阶段算法采样N NN个随机种子{ s 1 , … , s N } \{s_{1},…,s_{N}\}{s1,…,sN}并分配相应的噪声尺度{ σ 1 , … , σ N } \{\sigma_{1},…,\sigma_{N}\}{σ1,…,σN}。由此产生N NN个参数向量θ i θ σ i ϵ ( s i ) \theta_{i}\theta\sigma_{i}\epsilon(s_{i})θiθσiϵ(si)。这N NN个模型在小的训练集或验证集D t r a i n \mathcal{D}_{train}Dtrain上进行评估获得性能得分v i v_{i}vi。随后挑选出得分最高的K KK个模型构成顶级集合I t o p argtopK i ∈ [ N ] ( v i ) \mathcal{I}_{top}\text{argtopK}_{i\in[N]}(v_{i})ItopargtopKi∈[N](vi)。推理与预测集成Inference: Ensembling of Predictions在测试阶段针对输入x xx仅使用所选的集合I t o p \mathcal{I}_{top}Itop生成预测。最终输出y ^ \hat{y}y^通过多数投票majority voting进行聚合y ^ mode ( { arg max y f θ i ( y ∣ x ) ∣ i ∈ I t o p } ) \hat{y}\text{mode}(\{\arg\max_{y}f_{\theta_{i}}(y|x)|i\in\mathcal{I}_{top}\})y^mode({argmaxyfθi(y∣x)∣i∈Itop})。模型知识蒸馏Distillation - 可选机制为了缓解推理阶段K KK次前向传播带来的计算开销作者提出通过有监督微调SFT将 Top-K 集成的能力蒸馏到单一模型中。该过程针对困难样本进行训练优化目标为最小化推理轨迹reasoning trace和最终答案的负对数似然L D i s t i l l ( θ ) − ∑ t T x 1 T log p θ ( s t ∣ x , s t ) \mathcal{L}_{Distill}(\theta)-\sum_{tT_{x}1}^{T}\log~p_{\theta}(s_{t}|x,s_{t})LDistill(θ)−∑tTx1Tlogpθ(st∣x,st)。研究价值这项工作挑战了“预训练模型是一个固定起点”的传统观念转而提出将其视为“涵盖多样化专家的参数分布”的全新范式。它证明了在具备足够好的预训练表示后后训练可以极其简单且高效不需要复杂的 RLHF 框架也能取得 SOTA 级别的性能。由于 RandOpt 工作节点完全并行且互不通信仅在推理时聚合它为受限带宽环境或重视挂钟时间wall-clock time的场景如分布式联邦学习提供了一种极具潜力的去中心化替代方案。重要论点小型模型处于“大海捞针needle in a haystack regime”的状态中下游任务的良好解决方案仅占周围权重的极小部分发现它们需要依赖梯度下降等迭代优化算法。大型且经过充分预训练的模型被大量特定任务的解决方案所包围thicket regime其局部高斯邻域内的任务提升解密度Solution Density随模型规模增加而单调上升。在大型模型周围采样到的良好微扰向量并非全能型模型generalists而是具有明显分化的专家specialists它们在提升某个任务性能的同时往往会损害其他任务的性能。衡量解多样性的谱不一致性Spectral DiscordanceD \mathcal{D}D指标随着模型规模的增加而单调递增表明大模型周围的解在能力上变得越来越不重叠。在完全并行、无需梯度的设置下采用随机猜测与集成的 RandOpt 算法在相同后训练 FLOPs 下能够取得与 PPO、GRPO 和 ES 等标准且复杂的强化学习微调方法相媲美的竞争性准确率。RandOpt 算法在训练步骤上需要O ( 1 ) \mathcal{O}(1)O(1)的时间显著优于需要T TT步顺序更新的传统基准方法O ( T ) \mathcal{O}(T)O(T)。集成机制Ensembling不仅对 RandOpt 至关重要K 50 K50K50显著优于K 1 K1K1它同样也能一致地提升传统后训练基准方法如 PPO, GRPO, ES的准确率。RandOpt 所带来的性能提升无法被单纯的“模型沙袋效应Sandbagging即模型故意隐瞒能力”所解释因为该算法在透明且无沙袋效应的 OLMo3-7B Base 模型上同样表现出了显著提升。RandOpt 找到的灌木丛Thickets并非仅由深层逻辑推理能力构成有相当一部分性能收益来自于表面格式的修正Format Thicket同时也有确实修复了原模型错误推理的推理灌木丛Reasoning Thicket甚至在视觉生成模型中还存在颜色灌木丛Color Thickets”。重要结果大模型的预训练彻底改变了损失空间的局部拓扑从稀疏分布转变为特定任务专家的密集分布Solution Density 随规模缩放。实验表明对 Qwen2.5 家族0.5B 至 32B进行 1000 次随机权重微扰后小模型位于准确率景观的局部最高点而大模型位于一个“山谷”中周围有许多更高准确率的“山峰”。测量不同裕度m mm的解密度δ ( m ) \delta(m)δ(m)发现能带来 5% 性能提升的微扰密度随着模型参数规模的扩大呈现单调递增趋势文中图 2 和图 3。2. 在预训练权重周围的高质量微扰呈现出高度的专业化和能力互斥性Solution Diversity 与专家倾向。在涉及数学、代码、写作和化学等七个任务的评估中作者计算了谱不一致性Spectral DiscordanceD \mathcal{D}D。结果显示D \mathcal{D}D值随模型规模变大而上升且通过对 100 个随机种子的性能向量进行 PCA 降维明显观察到具有相似行为的种子聚类成不同组如图 4 所示表明它们具备互补而非重叠的专业领域。3. 完全并行的 RandOpt 算法在挂钟时间极具优势的前提下推理性能足以匹敌 SOTA 的后训练方法。在相同计算量FLOPs下RandOptK 50 K50K50在 0.5B 到 8B 的多个模型和任务上匹配或超越了 PPO、GRPO 和 ES 的表现。特别是在一台部署了 200 张 GH200 的集群上使用N 2000 N2000N2000训练 OLMo-3-7B 的 Countdown 任务仅需 3.2 分钟便达到了 70% 的准确率展现出了免梯度算法在极端并行下的潜力。4. 模型能力的提升是推理能力增强与输出格式修正共同作用的结果多种类型 Thickets 混合。在 GSM8K 测试集的 1319 个样本上对性能增益进行分解分析发现RandOpt 提升至 86.7% 的准确率中有 19.0% 来自于格式修复即基础模型算对了但格式不合规而有 12.3% 是基础模型算错但被新模型正确解答的真正推理提升这证明“Thicket”概念包涵了从表面风格到深层技能的多个维度。局限与扩展局限性对强预训练的高度依赖RandOpt 绝对不适用于从头开始训练庞大的神经网络架构如 GPT-2 0.1B 表现极差它在小型预训练模型上也十分挣扎。它只在已经具备极高表征能力的模型上生效。获取全新技能的瓶颈随着搜索预算N NN的扩大性能扩展曲线呈现饱和趋势。这表明仅靠局部“灌木丛”采样可能无法赋予模型远超其基础水平的全新技能寻找突破仍可能需要回到结构化搜索方法。推理时的计算成本高昂由于必须前向传播K KK次通常K 1 K1K1才能取得好成绩其推理代价极大。虽然通过知识蒸馏能缓解此问题但这会带来额外训练开销且打破完全并行性。对复杂结构化预测任务的不适配基于多数投票Majority-Vote的集成在解决离散类别或整数预测如数学选择题时很直接但很难直接平移到长篇故事生成或分子设计等结构化预测任务中。现象成因尚未完全清晰目前研究测量了预训练景观的特征但并未完全从机理上解释预训练目标或学习动态是如何具体形成这些“Thickets”的。未来扩展作者希望未来的研究能够深入探究预训练进入“Thicket Regime”的具体时机和机理条件以及针对图像或结构化生成任务开发更优的集成机制。相关工作本文在探讨参数损失景观和随机搜索时与以下几项前沿工作有着深刻的传承和对比关系平缓极小值与局部崎岖景观 (Flat Minima vs. Spiky Local Landscapes)相关论文On large-batch training for deep learning: Generalization gap and sharp minima, ICLR 2017联系与差异深度学习界的传统共识认为神经网络在训练中倾向于收敛在平滑、宽广的极小值区域Flat Minima这通常代表着良好的泛化能力。本文指出这种表面的“平缓”实际上是一种多任务聚合后的宏观错觉。如果把视角拉近单独审视某一个特定下游任务的局部损失景观它其实是高度崎岖Spiky的。预训练权重往往正处于一个精度“山谷”之中被周围众多代表特定任务专家的“崎岖山峰”更高的精度峰值所包围。演化策略与随机搜索Evolution Strategies at Scale相关论文Evolution strategies as a scalable alternative to reinforcement learningEvolution strategies at scale: Llm fine-tuning beyond reinforcement learning联系与差异这些工作证明了顺序随机搜索方法如 ES可以作为强化学习的有力替代品进行 LLM 微调。本文与它们的本质区别在于RandOpt 实现的是在参数空间的完全并行parallel“Best-of-N”猜测而彻底去除了顺序迭代的包袱。权重空间微调内在大维数Intrinsic Dimension LoRA相关论文Intrinsic dimensionality explains the effectiveness of language model fine-tuningLoRA: Low-rank adaptation of large language models联系与差异这些研究提出参数的高效微调之所以可行是因为大模型的适应过程本质上是低维的。本文与之不谋而合且将“Thickets”现象解释为一个由于过度参数化引起的宽广盆地与一个低秩但存在于完整参数空间中的任务相关方向集合的交集。虚假奖励奏效的底层解释 (Spurious Rewards)相关论文Spurious rewards: Rethinking training signals in rlvr (Shao et al., 2025) [cite: 573, 735]联系与差异近期 RL 领域发现了一个反常现象在后训练中即使给予模型随机的、错误的或虚假的奖励信号Spurious Rewards有时也能出人意料地提升模型表现。本文从“解密度Solution Density”的全新视角为这一现象提供了解释。对于某些特定任务大型预训练模型周围的专家解密度极其高以至于绝大多数的高斯微扰无论如何都能提高任务准确率。在如此高密度的“灌木丛”中即便虚假奖励提供了一个方向错误的梯度但在“闭着眼睛走都能撞上好解”的区域这个错误方向碰巧也能带来足够的性能增益。重要概念清单模型沙袋效应 (Sandbagging)相关论文Noise injection reveals hidden capabilities of sandbagging language models相关背景沙袋效应指大模型可能因为安全对齐或指令微调的副作用故意隐藏或未充分发挥其实际能力。如果模型存在这种效应随机微扰可能只是打破了封印限制而非真正发掘了更好的表征潜力。本文作者通过实验强有力地反驳了这一假设。他们在完全开源、透明且未经过意图隐藏或复杂安全对齐的 OLMo3-7B Base 模型上应用 RandOpt依然取得了显著的性能提升。此外RandOpt 的表现一致优于单纯旨在提取已有答案的测试时多数投票TT-MV机制证明随机微扰是真的在参数空间中找到了更优的任务专家。神经灌木丛的多样性 (Neural Thickets Mixed Types)相关论文本文相关背景预训练大模型的参数周围密集分布着能提升任务性能的“专家网络”这些高密度解的聚集区被称为“灌木丛Thickets” 。研究拆解发现“专家”能力的提升是多维度因素的混合体。在文本推理任务如 GSM8K中既有真正修复基础模型错误推理的“推理灌木丛Reasoning Thicket”也有占据相当比例、仅修正表面输出格式的“格式灌木丛Format Thicket”。在视觉生成模型如 SDXL中甚至存在固执偏好特定色调或风格的“颜色灌木丛Color Thickets” 。彩票假设 (Lottery Ticket Hypothesis)相关论文The lottery ticket hypothesis: Finding sparse, trainable neural networks, ICLR 2019相关背景彩票假设提出在随机初始化的网络中从头开始寻找好的初始化权重中奖彩票就像中彩票一样罕见和困难。本文为彩票假设补充了关键的时间维度视角在经过庞大计算量的预训练之后即迁移阶段参数空间的拓扑性质发生了质变。预训练将权重拉入了一个充满高质量解决方案的密集盆地此时在初始权重预训练权重周围原本极其罕见的“中奖彩票”变得无比密集丰富随机微扰即可轻易命中。