 - 第十一讲：缩放定律的工业界实践与底层机制 (Scaling Laws 2))
斯坦福 CS336 从零构建大模型 (2025 春) - 第十一讲缩放定律的工业界实践与底层机制 (Scaling Laws 2)文章目录斯坦福 CS336 从零构建大模型 (2025 春) - 第十一讲缩放定律的工业界实践与底层机制 (Scaling Laws 2)一、 工业界 Scaling Laws 实践案例 (Case Studies)1. Cerebras-GPTMUP 的首次大规模公开验证2. MiniCPMWSD 学习率调度与激进的数据配比3. DeepSeek LLM (v1)直接经验拟合4. 近期模型的新趋势 (Llama 3, Hunyuan, MiniMax)二、 深度数学剖析最大更新参数化 (MUP)三、 学习率调度策略余弦退火 (Cosine) 与 WSD (Learning Rate Strategies)1. 余弦退火 (Cosine Annealing)数学原理与优劣2. WSD 策略核心逻辑与灵活性3. 对 Scaling Laws 的重大意义四、 核心概念问答 (QA)Q1MUP 最主要的改变是不是仅仅在于初始化权重参数Q2为什么在 WSD 学习率图中Stable 阶段的曲线看起来非常接近 Cosine余弦衰减的前期Q3既然 DeepSeek 只用了一个全局学习率这是否意味着他们没有实现O ( 1 ) O(1)O(1)的恒定更新幅度Q4MUP 的推导是不是假设了特定的模型架构Q5MUP 方程中的 N 具体是怎么确定的它好像是按层索引的Q6现在的前沿模型在发布新版本时比如 DeepSeek v2、v3还会重新做一遍这种 Scaling Laws 的基准测试吗五、 第十一讲复习题 (Lecture 11: Scaling Laws 2)一、 工业界缩放定律的实际案例 (Case Studies in the Wild)二、 MUP (最大更新参数化) 的底层数学与工程实践六、 参考答案与知识点解析斯坦福 CS336 第十一讲Scaling Laws 2的主题是**“缩放定律的工业界实践与底层机制”。在上一讲介绍了 Chinchilla 等理论基础后本讲通过深度拆解近年来开源大厂的实际操作Case Studies展示了在训练真实大模型时如何利用 Scaling Laws并硬核剖析了最大更新参数化MUP, Maximal Update Parameterization**的数学原理。以下是本讲不遗漏任何知识点的全景深度解析文末附有课堂原汁原味的 QA 实录一、 工业界 Scaling Laws 实践案例 (Case Studies)自 ChatGPT 之后顶级闭源实验室如 OpenAI、Google对数据和缩放策略守口如瓶。因此讲师通过分析近期优秀的开源模型主要来自 Cerebras 和中国厂商的详细技术报告揭示了现代大模型的缩放秘籍。1. Cerebras-GPTMUP 的首次大规模公开验证背景训练了 0.1B 到 13B 的系列模型严格遵循 Chinchilla 数据配比。核心发现采用标准参数化SP训练时由于需要不断调整学习率损失曲线在缩放定律预测线周围剧烈震荡而采用MUP最大更新参数化后损失曲线与 Scaling Law 的预测完美贴合展现了极高的稳定性。MUP 的具体实施非嵌入层参数使用 1/width 缩放进行初始化同时每一层的学习率也按 1/width 的比例进行缩放。他们先在极小的 40M 参数规模上做海量超参搜索然后用 MUP 零成本迁移到大模型上。2. MiniCPMWSD 学习率调度与激进的数据配比背景目标是用极大的算力训练出极其优秀的小模型1.2B-2.4B规模性能甚至匹敌当时的 7B 模型。同样使用了 MUP 来保持学习率的稳定。临界批次大小 (Critical Batch Size, CBS)通过 Scaling Law 发现随着目标损失Target Loss的降低最优批次大小呈多项式级增长。模型越大、损失越低能吃下的 Batch Size 就越大。⭐ 核心创新WSD 学习率 (Warmup-Stable-Decay)痛点传统的余弦学习率Cosine Decay必须走完完整的冷却周期才能收敛。如果想用一次训练过程提取不同阶段的 Checkpoint来模拟不同数据量下的模型性能余弦学习率是做不到的中途截断效果极差这导致进行 Chinchilla 实验极其昂贵需要跑N 2 N^2N2次独立训练。WSD 解决方案将学习率分为三个阶段预热 (Warmup) - 极长的稳定平坦期 (Stable) - 快速衰减/冷却 (Decay)。这样只需在 Stable 阶段的不同节点截断分别进行快速冷却就能用极低的成本完成对不同数据规模的 Scaling 分析。超高的数据参数比MiniCPM 重新拟合了 Chinchilla 曲线得出的最优Token-参数比高达 192:1远超经典的 20:1。这说明在追求极致推理成本的今天模型被严重“过度训练Over-trained”。3. DeepSeek LLM (v1)直接经验拟合背景早期的 7B 和 67B 模型未采用 MUP。直接拟合超参DeepSeek 的做法更“暴力”。他们坚信 Scaling Laws 的力量直接在不同算力规模的小模型上对**最佳 Batch Size 和最佳全局学习率Learning Rate**进行网格搜索然后强行拟合出一条直线直接外推预测 67B 模型的最优学习率和批次大小。验证 Chinchilla他们也使用了 WSD 学习率带有两个阶段的 Decay来低成本复现等算力IsoFLOP分析证明了该方法可以精准预测 67B 模型在庞大算力下的最终性能。4. 近期模型的新趋势 (Llama 3, Hunyuan, MiniMax)Llama 3同样做了 IsoFLOP 分析得出大约 39:1 的参数数据比。此外他们还拟合了交叉熵损失 (NLL) 与下游具体任务准确率Accuracy之间的 Sigmoid 映射曲线用底层的 Loss 直接预测 MMLU 等榜单的分数。Hunyuan 1复现出 96:1 的最优比例。MiniMax-01利用 Scaling Laws 来验证模型架构。他们证明了线性注意力Lightning Attention和混合架构在算力放大的趋势下其误差衰减曲线与传统的 Softmax 二次注意力完美重合从而为采用长上下文线性模型提供了理论背书。二、 深度数学剖析最大更新参数化 (MUP)在大模型时代如果模型变宽Width增加最优学习率会下降。如果每次放大模型都要重新调参成本将是毁灭性的。MUP 旨在实现超参数的尺度不变性Scale-invariant。MUP 的底层基于两个非常符合直觉的物理/光谱条件 (Spectral Conditions)初始化稳定性 (Condition 1)随着模型变宽任何一层神经元激活值Activations在初始化时的量级必须保持为常数Θ ( 1 ) \Theta(1)Θ(1)不能爆炸也不能消失。推导结果为了满足此条件权重矩阵的初始化方差必须按1 / f a n _ i n 1/fan\_in1/fan_in输入维度进行缩放。更新稳定性 (Condition 2)在进行单次梯度下降后网络激活值的**变化量Update size**也必须保持为常数Θ ( 1 ) \Theta(1)Θ(1)。推导结果经过复杂的链式法则和数量级代换要让更新量恒定对于 SGD 优化器学习率应缩放为f a n _ o u t / f a n _ i n fan\_out/fan\_infan_out/fan_in而对于目前大模型标配的 Adam 优化器每一层的独立学习率必须按1 / f a n _ i n 1/fan\_in1/fan_in的比例进行缩放。⭐ MUP 实施结论 vs. 标准参数化 (SP)初始化MUP 和优秀的 SP 一样都采用∝ 1 / f a n _ i n \propto 1/\sqrt{fan\_in}∝1/fan_in。学习率核心差异SP 使用全局统一的常数学习率而 MUP 要求不同宽度的层拥有不同的学习率且学习率需乘以1 / w i d t h 1/width1/width。MUP 的工程鲁棒性测试 独立研究者对 MUP 进行了大规模消融实验MUP 极度鲁棒的地方无缝兼容不同的激活函数如 SwiGLU、Squared ReLU、不同的 Batch Size、不同的注意力初始化方式等。MUP 会失效的地方如果模型中加入可学习的偏置/增益项Learnable gains/biases、使用极其奇葩的优化器如取梯度符号的 Lion 优化器或者使用过强的权重衰减Weight DecayMUP 的学习率转移就会崩溃。三、 学习率调度策略余弦退火 (Cosine) 与 WSD (Learning Rate Strategies)在 WSD 策略流行之前Cosine Annealing余弦退火 是深度学习领域的“绝对霸主”。从经典的 ResNet 到开启大模型时代的 GPT-3、Llama 1 2几乎全是它的忠实信徒。对于北邮学生来说可以把它理解为一种“优雅的软着陆”。1. 余弦退火 (Cosine Annealing)数学原理与优劣其标准公式如下η t η m i n 1 2 ( η m a x − η m i n ) ( 1 cos ( T c u r T m a x π ) ) \eta_t \eta_{min} \frac{1}{2}(\eta_{max} - \eta_{min})\left(1 \cos\left(\frac{T_{cur}}{T_{max}}\pi\right)\right)ηtηmin21(ηmax−ηmin)(1cos(TmaxTcurπ))η m a x \eta_{max}ηmax最大学习率Warmup 结束后的峰值。η m i n \eta_{min}ηmin最小学习率通常设为 0 或η m a x \eta_{max}ηmax的 10%。T c u r T_{cur}Tcur当前训练的步数或 Token 数。T m a x T_{max}Tmax预定的总训练步数。为什么大家都爱 Cosine平滑过渡不像传统的 StepLR每隔几十个 Epoch 突然掉一次速Cosine 的变化非常丝滑。这有助于模型在训练中后期平稳地探索损失函数的局部槽位减少震荡。“自动”退火在训练初期学习率下降慢允许模型大步跨过非最优区在后期学习率快速下降后又缓慢收敛起到“提纯”作用。收敛质量高经验证明在固定预算Fixed Budget下Cosine 策略往往能比线性下降得到更低的 Final Loss。Cosine 的致命弱点必须要“未卜先知”对T m a x T_{max}Tmax的强依赖为了让余弦曲线在结束时刚好降到最低点你必须在第一天就确定模型一共要喂多少数据。无法提前终止如果你练到一半发现 Loss 不降了想提前收工此时学习率可能还很高模型还没进入“精修阶段”拿到的权重是不合格的。无法后期加练如果你练完了发现效果太好想再加 1T Token 的数据你不能直接接着练。因为余弦曲线已经到底了你得强行拉起来或者重新规划这会破坏模型的训练动力。2. WSD 策略核心逻辑与灵活性WSD (Warmup-Stable-Decay) 的出现彻底改变了我们验证 Scaling Laws 的方式。核心逻辑时间解耦 vs. 阶段独立Cosine 策略全剧终的“剧本制”。它的自变量是T c u r / T m a x T_{cur}/T_{max}Tcur/Tmax全局耦合。如果你中途把T m a x T_{max}Tmax修改余弦曲线会立刻发生“断层”破坏梯度动量。WSD 策略分段式的“里程制”。Stable 阶段平台期学习率是一个常数没有T m a x T_{max}Tmax。模型只是以最高效率在损失函数的地形上“狂奔”。动态调整你可以根据显卡余额、数据量或者 Loss 的下降曲线随时决定什么时候停止 Stable 阶段。外部触发机制主动“降落”在 WSD 框架下Decay衰减阶段是由实验员手动触发的。场景模拟原本打算练 1T Token但在 0.8T 时手里多出了 0.5T 高质量数据。如果是 Cosine你只能眼睁睁看着已经降到底的学习率叹气但在 WSD 下只需继续喂数据等你觉得差不多了再手动开启 Decay模型会在最后的 50G 或 100G Token 内迅速完成“退火”。3. 对 Scaling Laws 的重大意义观察中决策你可以一边练一边看。如果模型在 Stable 阶段的 Loss 还在稳步下降说明潜力还没挖尽可以继续加数据。避免浪费WSD 保证了你可以在模型性能边际效应最明显的时候精准选择“收针”。总结WSD 的动态性来源于它在最漫长的训练中期Stable 阶段解耦了学习率与总步数的关系。这就是为什么 DeepSeek-V3 能够如此高效地利用 14.8T Token 的原因。四、 核心概念问答 (QA)Q1MUP 最主要的改变是不是仅仅在于初始化权重参数回答不完全是。MUP 包含两项核心改变第一是初始化如果你平时已经用了类似 Kaiming 的1 / f a n _ i n 1/\sqrt{fan\_in}1/fan_in初始化这部分变化不大第二也是最大的改变是每一层拥有不同的学习率且按宽度缩放。在标准的训练中我们通常只给一个全局恒定的学习率这是 MUP 和标准训练在实践中最反直觉的差别。Q2为什么在 WSD 学习率图中Stable 阶段的曲线看起来非常接近 Cosine余弦衰减的前期回答这触及了深度学习优化器的核心痛点。模型需要极高的学习率来“逃离”糟糕的初始化状态这是 Stable 阶段做的但绝大部分损失的下降Gains是靠冷却Cooldown / Decay阶段拿到的。如果不冷却损失绝对降不下来。优化器的艺术就在于平衡“走得足够远高学习率”和“精细收敛冷却衰减”。Q3既然 DeepSeek 只用了一个全局学习率这是否意味着他们没有实现O ( 1 ) O(1)O(1)的恒定更新幅度回答对的。DeepSeek 是用渐进式的眼光看待问题——既然模型变大后激活更新会变大他们就通过拟合 Scaling Law在模型放大时主动缩小全局学习率来补偿这一点。MUP 并非训练好模型的硬性前提如果能像 DeepSeek 那样极其精准地靠经验预测出不同规模下的学习率你也可以不用 MUP。Q4MUP 的推导是不是假设了特定的模型架构回答是的这也是 MUP 的微妙之处。简单的数学推导只假设了最基础的“深层线性网络Deep Linear Network”。要将它严格证明并套用到带有非线性函数、自注意力机制、Gated 结构如 GLU的 Transformer 上每一部分都需要一套极度复杂的专项分析。Q5MUP 方程中的 N 具体是怎么确定的它好像是按层索引的回答这里的 N 指的是矩阵乘法中的输入和输出维度即f a n _ i n fan\_infan_in和f a n _ o u t fan\_outfan_out。比如在 MLP 层维度从D m o d e l D_{model}Dmodel放大到4 ⋅ D m o d e l 4 \cdot D_{model}4⋅Dmodel那么输出和输入的比值就是 4。所有这些对象的形状和宽度决定了 N 的取值。Q6现在的前沿模型在发布新版本时比如 DeepSeek v2、v3还会重新做一遍这种 Scaling Laws 的基准测试吗回答老实说我不太确定但我越来越倾向于他们可能不再重新做了。如果你看最新的论文如 DeepSeek V2、V3里面大量强调了系统优化低精度训练和架构创新MLA 注意力但没有任何新的 Scaling Laws 研究报告。我猜测他们可能只是内部跑跑确认一下旧的结论依然成立因为这个领域的黄金法则其实已经基本沉淀下来了。五、 第十一讲复习题 (Lecture 11: Scaling Laws 2)一、 工业界缩放定律的实际案例 (Case Studies in the Wild)Cerebras-GPT 的 MUP 验证在训练 Cerebras-GPT 时研究人员发现使用传统的标准参数化SP会导致损失曲线在缩放定律预测线周围剧烈震荡。他们采用最大更新参数化 (MUP) 的核心目的是什么WSD 学习率的优势MiniCPM 普及了 WSDWarmup-Stable-Decay预热-平稳-衰减 学习率调度。在进行 Chinchilla 风格的数据缩放实验时为什么 WSD 比传统的余弦衰减Cosine Decay能大幅节省算力成本MiniCPM 的激进数据配比在重新拟合 Chinchilla 曲线后MiniCPM 团队得出的最优“Token数与参数量”的比例是多少这一远超经典 20:1 的比例说明了当前小模型训练的什么趋势DeepSeek v1 的暴力拟合DeepSeek LLM v1 并没有使用 MUP他们是如何在模型放大如预测 67B 模型时确定最优的全局学习率和批次大小Batch Size的Llama 3 的下游任务预测缩放定律通常对交叉熵损失Log Loss/NLL预测得很准但 Llama 3 是如何利用底层的 Loss 来精准预测模型在下游具体任务如 MMLU上的准确率的Minimax 01 的架构背书Minimax 01 作为一个长上下文的线性注意力模型他们是如何利用缩放定律类似于 Chinchilla 的 Method 1来为其放弃标准 Softmax 注意力提供理论支持的二、 MUP (最大更新参数化) 的底层数学与工程实践MUP 的初始化条件MUP 推导的第一个物理条件是当模型变宽时初始化时的激活值Activations量级必须保持为常数Θ ( 1 ) \Theta(1)Θ(1)既不能爆炸也不能消失。为了满足这一条件权重矩阵在初始化时的方差应该如何缩放Adam 优化器下的 MUP 学习率为了满足单次梯度更新后“激活值变化量保持恒定Θ ( 1 ) \Theta(1)Θ(1)”的第二个条件在使用现代语言模型标配的 Adam 优化器时每一层的学习率必须如何随网络的宽度缩放这与传统标准参数化SP有什么根本区别衰减期 (Decay) 的重要性无论是观察 WSD 还是 Cosine 学习率的损失曲线绝大多数的 Loss 显著下降都发生在哪一个训练阶段如果不进行这个阶段会导致什么后果MUP 的工程鲁棒性盲区独立研究者对 MUP 进行了大规模消融实验证明其在不同激活函数和批次大小下都很稳定。请列举出至少两种会导致 MUP 学习率跨规模转移**失效Break down**的情况。六、 参考答案与知识点解析Cerebras-GPT 的 MUP 验证答案核心目的是实现超参数的尺度不变性Scale-invariant。通过 MUP他们可以在极小的模型如 40M 参数上进行廉价且广泛的超参数搜索如寻找最佳学习率然后将这个最优学习率**直接且稳定地转移Transfer**到百亿级别的大模型上从而避免了在大模型上试错调参的毁灭性计算成本。WSD 学习率的优势答案传统的余弦衰减Cosine Decay必须走完完整的冷却周期才能让模型收敛中途截断会得到极差的次优模型。因此要测试不同数据量的模型必须从头跑无数个独立的完整训练 (O ( N 2 ) O(N^2)O(N2)成本)。而 WSD 拥有一个极长的平坦期Stable phase。你只需要进行一次训练在平坦期的不同节点上进行截断Rewind并分别执行快速衰减Decay就能以极低的成本获得等效于不同数据量训练出的收敛模型完美支持 Chinchilla 曲线的拟合。MiniCPM 的激进数据配比答案他们得出比例高达 192 个 Tokens / 1 个参数。这远超经典的 20:1表明现代厂商为了追求极致的推理成本效率Inference efficiency愿意在训练阶段投入极大的算力进行“过度训练Over-training”从而获得一个参数体量极小但极其聪明、方便廉价部署的模型。DeepSeek v1 的暴力拟合答案他们对缩放定律有着强烈的信念。他们直接在不同算力规模的小模型上对批次大小和学习率进行广泛的网格搜索Grid search找出最优解。随后他们将这些不同规模下的最优值在对数坐标系上直接拟合出一条直线并沿着这条直线外推Extrapolate从而预测出 67B 模型应该使用的学习率和批次大小。Llama 3 的下游任务预测答案Llama 3 团队通过实验试图将底层的交叉熵损失NLL/Log loss与下游基准测试的准确率Accuracy相关联。他们通过拟合 Sigmoid 函数映射曲线成功利用小模型和 Llama 2 模型的 Loss 数据极其准确地预测了 Llama 3 (405B) 在下游具体任务上的最终得分。Minimax 01 的架构背书答案他们复现了类似于 Chinchilla 的第一种方法提取损失曲线的下包络线分别绘制了标准 Softmax 注意力、纯线性注意力Lightning以及混合架构的误差衰减曲线。结果显示这几种架构在算力放大的趋势时其损失曲线基本完美重合从而证明了这种线性时间复杂度的架构在放大规模时并不会产生性能惩罚证实了其有效性。MUP 的初始化条件答案无论是优秀的标准参数化还是 MUP为了保证初始化激活值不爆炸也不消失权重矩阵在初始化时的高斯噪声方差都必须按1 / f a n _ i n 1/\sqrt{fan\_in}1/fan_in进行缩放。Adam 优化器下的 MUP 学习率答案在使用 Adam 优化器时MUP 要求每一层拥有各自不同的独立学习率并且该学习率必须按1 / f a n _ i n 1/fan\_in1/fan_in即 1/宽度的比例进行缩放。这与标准参数化SP有着根本的区别——SP 在整个网络的所有层以及不同规模的模型中通常只使用一个统一的全局常数学习率。衰减期 (Decay) 的重要性答案绝大多数的 Loss 显著下降即性能的获得都发生在学习率迅速下降的衰减期Cooldown / Decay phase。如果在 Stable 阶段就停止而不进行冷却模型的 Loss 将永远降不下来无法达到其真正的收敛极限。MUP 的工程鲁棒性盲区答案虽然 MUP 极其鲁棒但以下几种情况会导致学习率跨规模转移失败网络中加入了可学习的偏置或增益项Learnable gains/biases。使用了极其奇葩的非标准优化器如提取梯度符号的 Lion 优化器。使用了过强的权重衰减Weight Decay。
斯坦福 CS336 从零构建大模型 (2025 春) - 第十一讲：缩放定律的工业界实践与底层机制 (Scaling Laws 2)
发布时间：2026/7/18 7:09:35
斯坦福 CS336 从零构建大模型 (2025 春) - 第十一讲缩放定律的工业界实践与底层机制 (Scaling Laws 2)文章目录斯坦福 CS336 从零构建大模型 (2025 春) - 第十一讲缩放定律的工业界实践与底层机制 (Scaling Laws 2)一、 工业界 Scaling Laws 实践案例 (Case Studies)1. Cerebras-GPTMUP 的首次大规模公开验证2. MiniCPMWSD 学习率调度与激进的数据配比3. DeepSeek LLM (v1)直接经验拟合4. 近期模型的新趋势 (Llama 3, Hunyuan, MiniMax)二、 深度数学剖析最大更新参数化 (MUP)三、 学习率调度策略余弦退火 (Cosine) 与 WSD (Learning Rate Strategies)1. 余弦退火 (Cosine Annealing)数学原理与优劣2. WSD 策略核心逻辑与灵活性3. 对 Scaling Laws 的重大意义四、 核心概念问答 (QA)Q1MUP 最主要的改变是不是仅仅在于初始化权重参数Q2为什么在 WSD 学习率图中Stable 阶段的曲线看起来非常接近 Cosine余弦衰减的前期Q3既然 DeepSeek 只用了一个全局学习率这是否意味着他们没有实现O ( 1 ) O(1)O(1)的恒定更新幅度Q4MUP 的推导是不是假设了特定的模型架构Q5MUP 方程中的 N 具体是怎么确定的它好像是按层索引的Q6现在的前沿模型在发布新版本时比如 DeepSeek v2、v3还会重新做一遍这种 Scaling Laws 的基准测试吗五、 第十一讲复习题 (Lecture 11: Scaling Laws 2)一、 工业界缩放定律的实际案例 (Case Studies in the Wild)二、 MUP (最大更新参数化) 的底层数学与工程实践六、 参考答案与知识点解析斯坦福 CS336 第十一讲Scaling Laws 2的主题是**“缩放定律的工业界实践与底层机制”。在上一讲介绍了 Chinchilla 等理论基础后本讲通过深度拆解近年来开源大厂的实际操作Case Studies展示了在训练真实大模型时如何利用 Scaling Laws并硬核剖析了最大更新参数化MUP, Maximal Update Parameterization**的数学原理。以下是本讲不遗漏任何知识点的全景深度解析文末附有课堂原汁原味的 QA 实录一、 工业界 Scaling Laws 实践案例 (Case Studies)自 ChatGPT 之后顶级闭源实验室如 OpenAI、Google对数据和缩放策略守口如瓶。因此讲师通过分析近期优秀的开源模型主要来自 Cerebras 和中国厂商的详细技术报告揭示了现代大模型的缩放秘籍。1. Cerebras-GPTMUP 的首次大规模公开验证背景训练了 0.1B 到 13B 的系列模型严格遵循 Chinchilla 数据配比。核心发现采用标准参数化SP训练时由于需要不断调整学习率损失曲线在缩放定律预测线周围剧烈震荡而采用MUP最大更新参数化后损失曲线与 Scaling Law 的预测完美贴合展现了极高的稳定性。MUP 的具体实施非嵌入层参数使用 1/width 缩放进行初始化同时每一层的学习率也按 1/width 的比例进行缩放。他们先在极小的 40M 参数规模上做海量超参搜索然后用 MUP 零成本迁移到大模型上。2. MiniCPMWSD 学习率调度与激进的数据配比背景目标是用极大的算力训练出极其优秀的小模型1.2B-2.4B规模性能甚至匹敌当时的 7B 模型。同样使用了 MUP 来保持学习率的稳定。临界批次大小 (Critical Batch Size, CBS)通过 Scaling Law 发现随着目标损失Target Loss的降低最优批次大小呈多项式级增长。模型越大、损失越低能吃下的 Batch Size 就越大。⭐ 核心创新WSD 学习率 (Warmup-Stable-Decay)痛点传统的余弦学习率Cosine Decay必须走完完整的冷却周期才能收敛。如果想用一次训练过程提取不同阶段的 Checkpoint来模拟不同数据量下的模型性能余弦学习率是做不到的中途截断效果极差这导致进行 Chinchilla 实验极其昂贵需要跑N 2 N^2N2次独立训练。WSD 解决方案将学习率分为三个阶段预热 (Warmup) - 极长的稳定平坦期 (Stable) - 快速衰减/冷却 (Decay)。这样只需在 Stable 阶段的不同节点截断分别进行快速冷却就能用极低的成本完成对不同数据规模的 Scaling 分析。超高的数据参数比MiniCPM 重新拟合了 Chinchilla 曲线得出的最优Token-参数比高达 192:1远超经典的 20:1。这说明在追求极致推理成本的今天模型被严重“过度训练Over-trained”。3. DeepSeek LLM (v1)直接经验拟合背景早期的 7B 和 67B 模型未采用 MUP。直接拟合超参DeepSeek 的做法更“暴力”。他们坚信 Scaling Laws 的力量直接在不同算力规模的小模型上对**最佳 Batch Size 和最佳全局学习率Learning Rate**进行网格搜索然后强行拟合出一条直线直接外推预测 67B 模型的最优学习率和批次大小。验证 Chinchilla他们也使用了 WSD 学习率带有两个阶段的 Decay来低成本复现等算力IsoFLOP分析证明了该方法可以精准预测 67B 模型在庞大算力下的最终性能。4. 近期模型的新趋势 (Llama 3, Hunyuan, MiniMax)Llama 3同样做了 IsoFLOP 分析得出大约 39:1 的参数数据比。此外他们还拟合了交叉熵损失 (NLL) 与下游具体任务准确率Accuracy之间的 Sigmoid 映射曲线用底层的 Loss 直接预测 MMLU 等榜单的分数。Hunyuan 1复现出 96:1 的最优比例。MiniMax-01利用 Scaling Laws 来验证模型架构。他们证明了线性注意力Lightning Attention和混合架构在算力放大的趋势下其误差衰减曲线与传统的 Softmax 二次注意力完美重合从而为采用长上下文线性模型提供了理论背书。二、 深度数学剖析最大更新参数化 (MUP)在大模型时代如果模型变宽Width增加最优学习率会下降。如果每次放大模型都要重新调参成本将是毁灭性的。MUP 旨在实现超参数的尺度不变性Scale-invariant。MUP 的底层基于两个非常符合直觉的物理/光谱条件 (Spectral Conditions)初始化稳定性 (Condition 1)随着模型变宽任何一层神经元激活值Activations在初始化时的量级必须保持为常数Θ ( 1 ) \Theta(1)Θ(1)不能爆炸也不能消失。推导结果为了满足此条件权重矩阵的初始化方差必须按1 / f a n _ i n 1/fan\_in1/fan_in输入维度进行缩放。更新稳定性 (Condition 2)在进行单次梯度下降后网络激活值的**变化量Update size**也必须保持为常数Θ ( 1 ) \Theta(1)Θ(1)。推导结果经过复杂的链式法则和数量级代换要让更新量恒定对于 SGD 优化器学习率应缩放为f a n _ o u t / f a n _ i n fan\_out/fan\_infan_out/fan_in而对于目前大模型标配的 Adam 优化器每一层的独立学习率必须按1 / f a n _ i n 1/fan\_in1/fan_in的比例进行缩放。⭐ MUP 实施结论 vs. 标准参数化 (SP)初始化MUP 和优秀的 SP 一样都采用∝ 1 / f a n _ i n \propto 1/\sqrt{fan\_in}∝1/fan_in。学习率核心差异SP 使用全局统一的常数学习率而 MUP 要求不同宽度的层拥有不同的学习率且学习率需乘以1 / w i d t h 1/width1/width。MUP 的工程鲁棒性测试 独立研究者对 MUP 进行了大规模消融实验MUP 极度鲁棒的地方无缝兼容不同的激活函数如 SwiGLU、Squared ReLU、不同的 Batch Size、不同的注意力初始化方式等。MUP 会失效的地方如果模型中加入可学习的偏置/增益项Learnable gains/biases、使用极其奇葩的优化器如取梯度符号的 Lion 优化器或者使用过强的权重衰减Weight DecayMUP 的学习率转移就会崩溃。三、 学习率调度策略余弦退火 (Cosine) 与 WSD (Learning Rate Strategies)在 WSD 策略流行之前Cosine Annealing余弦退火 是深度学习领域的“绝对霸主”。从经典的 ResNet 到开启大模型时代的 GPT-3、Llama 1 2几乎全是它的忠实信徒。对于北邮学生来说可以把它理解为一种“优雅的软着陆”。1. 余弦退火 (Cosine Annealing)数学原理与优劣其标准公式如下η t η m i n 1 2 ( η m a x − η m i n ) ( 1 cos ( T c u r T m a x π ) ) \eta_t \eta_{min} \frac{1}{2}(\eta_{max} - \eta_{min})\left(1 \cos\left(\frac{T_{cur}}{T_{max}}\pi\right)\right)ηtηmin21(ηmax−ηmin)(1cos(TmaxTcurπ))η m a x \eta_{max}ηmax最大学习率Warmup 结束后的峰值。η m i n \eta_{min}ηmin最小学习率通常设为 0 或η m a x \eta_{max}ηmax的 10%。T c u r T_{cur}Tcur当前训练的步数或 Token 数。T m a x T_{max}Tmax预定的总训练步数。为什么大家都爱 Cosine平滑过渡不像传统的 StepLR每隔几十个 Epoch 突然掉一次速Cosine 的变化非常丝滑。这有助于模型在训练中后期平稳地探索损失函数的局部槽位减少震荡。“自动”退火在训练初期学习率下降慢允许模型大步跨过非最优区在后期学习率快速下降后又缓慢收敛起到“提纯”作用。收敛质量高经验证明在固定预算Fixed Budget下Cosine 策略往往能比线性下降得到更低的 Final Loss。Cosine 的致命弱点必须要“未卜先知”对T m a x T_{max}Tmax的强依赖为了让余弦曲线在结束时刚好降到最低点你必须在第一天就确定模型一共要喂多少数据。无法提前终止如果你练到一半发现 Loss 不降了想提前收工此时学习率可能还很高模型还没进入“精修阶段”拿到的权重是不合格的。无法后期加练如果你练完了发现效果太好想再加 1T Token 的数据你不能直接接着练。因为余弦曲线已经到底了你得强行拉起来或者重新规划这会破坏模型的训练动力。2. WSD 策略核心逻辑与灵活性WSD (Warmup-Stable-Decay) 的出现彻底改变了我们验证 Scaling Laws 的方式。核心逻辑时间解耦 vs. 阶段独立Cosine 策略全剧终的“剧本制”。它的自变量是T c u r / T m a x T_{cur}/T_{max}Tcur/Tmax全局耦合。如果你中途把T m a x T_{max}Tmax修改余弦曲线会立刻发生“断层”破坏梯度动量。WSD 策略分段式的“里程制”。Stable 阶段平台期学习率是一个常数没有T m a x T_{max}Tmax。模型只是以最高效率在损失函数的地形上“狂奔”。动态调整你可以根据显卡余额、数据量或者 Loss 的下降曲线随时决定什么时候停止 Stable 阶段。外部触发机制主动“降落”在 WSD 框架下Decay衰减阶段是由实验员手动触发的。场景模拟原本打算练 1T Token但在 0.8T 时手里多出了 0.5T 高质量数据。如果是 Cosine你只能眼睁睁看着已经降到底的学习率叹气但在 WSD 下只需继续喂数据等你觉得差不多了再手动开启 Decay模型会在最后的 50G 或 100G Token 内迅速完成“退火”。3. 对 Scaling Laws 的重大意义观察中决策你可以一边练一边看。如果模型在 Stable 阶段的 Loss 还在稳步下降说明潜力还没挖尽可以继续加数据。避免浪费WSD 保证了你可以在模型性能边际效应最明显的时候精准选择“收针”。总结WSD 的动态性来源于它在最漫长的训练中期Stable 阶段解耦了学习率与总步数的关系。这就是为什么 DeepSeek-V3 能够如此高效地利用 14.8T Token 的原因。四、 核心概念问答 (QA)Q1MUP 最主要的改变是不是仅仅在于初始化权重参数回答不完全是。MUP 包含两项核心改变第一是初始化如果你平时已经用了类似 Kaiming 的1 / f a n _ i n 1/\sqrt{fan\_in}1/fan_in初始化这部分变化不大第二也是最大的改变是每一层拥有不同的学习率且按宽度缩放。在标准的训练中我们通常只给一个全局恒定的学习率这是 MUP 和标准训练在实践中最反直觉的差别。Q2为什么在 WSD 学习率图中Stable 阶段的曲线看起来非常接近 Cosine余弦衰减的前期回答这触及了深度学习优化器的核心痛点。模型需要极高的学习率来“逃离”糟糕的初始化状态这是 Stable 阶段做的但绝大部分损失的下降Gains是靠冷却Cooldown / Decay阶段拿到的。如果不冷却损失绝对降不下来。优化器的艺术就在于平衡“走得足够远高学习率”和“精细收敛冷却衰减”。Q3既然 DeepSeek 只用了一个全局学习率这是否意味着他们没有实现O ( 1 ) O(1)O(1)的恒定更新幅度回答对的。DeepSeek 是用渐进式的眼光看待问题——既然模型变大后激活更新会变大他们就通过拟合 Scaling Law在模型放大时主动缩小全局学习率来补偿这一点。MUP 并非训练好模型的硬性前提如果能像 DeepSeek 那样极其精准地靠经验预测出不同规模下的学习率你也可以不用 MUP。Q4MUP 的推导是不是假设了特定的模型架构回答是的这也是 MUP 的微妙之处。简单的数学推导只假设了最基础的“深层线性网络Deep Linear Network”。要将它严格证明并套用到带有非线性函数、自注意力机制、Gated 结构如 GLU的 Transformer 上每一部分都需要一套极度复杂的专项分析。Q5MUP 方程中的 N 具体是怎么确定的它好像是按层索引的回答这里的 N 指的是矩阵乘法中的输入和输出维度即f a n _ i n fan\_infan_in和f a n _ o u t fan\_outfan_out。比如在 MLP 层维度从D m o d e l D_{model}Dmodel放大到4 ⋅ D m o d e l 4 \cdot D_{model}4⋅Dmodel那么输出和输入的比值就是 4。所有这些对象的形状和宽度决定了 N 的取值。Q6现在的前沿模型在发布新版本时比如 DeepSeek v2、v3还会重新做一遍这种 Scaling Laws 的基准测试吗回答老实说我不太确定但我越来越倾向于他们可能不再重新做了。如果你看最新的论文如 DeepSeek V2、V3里面大量强调了系统优化低精度训练和架构创新MLA 注意力但没有任何新的 Scaling Laws 研究报告。我猜测他们可能只是内部跑跑确认一下旧的结论依然成立因为这个领域的黄金法则其实已经基本沉淀下来了。五、 第十一讲复习题 (Lecture 11: Scaling Laws 2)一、 工业界缩放定律的实际案例 (Case Studies in the Wild)Cerebras-GPT 的 MUP 验证在训练 Cerebras-GPT 时研究人员发现使用传统的标准参数化SP会导致损失曲线在缩放定律预测线周围剧烈震荡。他们采用最大更新参数化 (MUP) 的核心目的是什么WSD 学习率的优势MiniCPM 普及了 WSDWarmup-Stable-Decay预热-平稳-衰减 学习率调度。在进行 Chinchilla 风格的数据缩放实验时为什么 WSD 比传统的余弦衰减Cosine Decay能大幅节省算力成本MiniCPM 的激进数据配比在重新拟合 Chinchilla 曲线后MiniCPM 团队得出的最优“Token数与参数量”的比例是多少这一远超经典 20:1 的比例说明了当前小模型训练的什么趋势DeepSeek v1 的暴力拟合DeepSeek LLM v1 并没有使用 MUP他们是如何在模型放大如预测 67B 模型时确定最优的全局学习率和批次大小Batch Size的Llama 3 的下游任务预测缩放定律通常对交叉熵损失Log Loss/NLL预测得很准但 Llama 3 是如何利用底层的 Loss 来精准预测模型在下游具体任务如 MMLU上的准确率的Minimax 01 的架构背书Minimax 01 作为一个长上下文的线性注意力模型他们是如何利用缩放定律类似于 Chinchilla 的 Method 1来为其放弃标准 Softmax 注意力提供理论支持的二、 MUP (最大更新参数化) 的底层数学与工程实践MUP 的初始化条件MUP 推导的第一个物理条件是当模型变宽时初始化时的激活值Activations量级必须保持为常数Θ ( 1 ) \Theta(1)Θ(1)既不能爆炸也不能消失。为了满足这一条件权重矩阵在初始化时的方差应该如何缩放Adam 优化器下的 MUP 学习率为了满足单次梯度更新后“激活值变化量保持恒定Θ ( 1 ) \Theta(1)Θ(1)”的第二个条件在使用现代语言模型标配的 Adam 优化器时每一层的学习率必须如何随网络的宽度缩放这与传统标准参数化SP有什么根本区别衰减期 (Decay) 的重要性无论是观察 WSD 还是 Cosine 学习率的损失曲线绝大多数的 Loss 显著下降都发生在哪一个训练阶段如果不进行这个阶段会导致什么后果MUP 的工程鲁棒性盲区独立研究者对 MUP 进行了大规模消融实验证明其在不同激活函数和批次大小下都很稳定。请列举出至少两种会导致 MUP 学习率跨规模转移**失效Break down**的情况。六、 参考答案与知识点解析Cerebras-GPT 的 MUP 验证答案核心目的是实现超参数的尺度不变性Scale-invariant。通过 MUP他们可以在极小的模型如 40M 参数上进行廉价且广泛的超参数搜索如寻找最佳学习率然后将这个最优学习率**直接且稳定地转移Transfer**到百亿级别的大模型上从而避免了在大模型上试错调参的毁灭性计算成本。WSD 学习率的优势答案传统的余弦衰减Cosine Decay必须走完完整的冷却周期才能让模型收敛中途截断会得到极差的次优模型。因此要测试不同数据量的模型必须从头跑无数个独立的完整训练 (O ( N 2 ) O(N^2)O(N2)成本)。而 WSD 拥有一个极长的平坦期Stable phase。你只需要进行一次训练在平坦期的不同节点上进行截断Rewind并分别执行快速衰减Decay就能以极低的成本获得等效于不同数据量训练出的收敛模型完美支持 Chinchilla 曲线的拟合。MiniCPM 的激进数据配比答案他们得出比例高达 192 个 Tokens / 1 个参数。这远超经典的 20:1表明现代厂商为了追求极致的推理成本效率Inference efficiency愿意在训练阶段投入极大的算力进行“过度训练Over-training”从而获得一个参数体量极小但极其聪明、方便廉价部署的模型。DeepSeek v1 的暴力拟合答案他们对缩放定律有着强烈的信念。他们直接在不同算力规模的小模型上对批次大小和学习率进行广泛的网格搜索Grid search找出最优解。随后他们将这些不同规模下的最优值在对数坐标系上直接拟合出一条直线并沿着这条直线外推Extrapolate从而预测出 67B 模型应该使用的学习率和批次大小。Llama 3 的下游任务预测答案Llama 3 团队通过实验试图将底层的交叉熵损失NLL/Log loss与下游基准测试的准确率Accuracy相关联。他们通过拟合 Sigmoid 函数映射曲线成功利用小模型和 Llama 2 模型的 Loss 数据极其准确地预测了 Llama 3 (405B) 在下游具体任务上的最终得分。Minimax 01 的架构背书答案他们复现了类似于 Chinchilla 的第一种方法提取损失曲线的下包络线分别绘制了标准 Softmax 注意力、纯线性注意力Lightning以及混合架构的误差衰减曲线。结果显示这几种架构在算力放大的趋势时其损失曲线基本完美重合从而证明了这种线性时间复杂度的架构在放大规模时并不会产生性能惩罚证实了其有效性。MUP 的初始化条件答案无论是优秀的标准参数化还是 MUP为了保证初始化激活值不爆炸也不消失权重矩阵在初始化时的高斯噪声方差都必须按1 / f a n _ i n 1/\sqrt{fan\_in}1/fan_in进行缩放。Adam 优化器下的 MUP 学习率答案在使用 Adam 优化器时MUP 要求每一层拥有各自不同的独立学习率并且该学习率必须按1 / f a n _ i n 1/fan\_in1/fan_in即 1/宽度的比例进行缩放。这与标准参数化SP有着根本的区别——SP 在整个网络的所有层以及不同规模的模型中通常只使用一个统一的全局常数学习率。衰减期 (Decay) 的重要性答案绝大多数的 Loss 显著下降即性能的获得都发生在学习率迅速下降的衰减期Cooldown / Decay phase。如果在 Stable 阶段就停止而不进行冷却模型的 Loss 将永远降不下来无法达到其真正的收敛极限。MUP 的工程鲁棒性盲区答案虽然 MUP 极其鲁棒但以下几种情况会导致学习率跨规模转移失败网络中加入了可学习的偏置或增益项Learnable gains/biases。使用了极其奇葩的非标准优化器如提取梯度符号的 Lion 优化器。使用了过强的权重衰减Weight Decay。
