最近这两三年圈子里讨论最密集、也最容易让人产生分裂感的话题绝对是“Scaling”和“Alignment”。一边是大模型还在拼命长个子参数量、数据量、算力投入不断刷新天花板另一边是模型越大越能感觉到“能力在增长但可控性并没有同步跟上”。我自己的体会是能力像一辆马力越来越大的车对齐系统就像刹车和方向盘——刹车跟不上提速越快越危险。所以这次想结合业内目前公开的技术进展和我在实际项目中遇到的案例认真梳理一下scaling和alignment这两个方向的现状、挑战以及它们之间那种既互补又拉扯的关系。这篇文章适合正在做模型训练、微调、RLHF的工程师也适合产品和技术负责人帮大家在纷繁的信息里拉一条主线出来。1. 先把地基打牢今天说的scaling和alignment到底指什么很多刚入行的朋友会把scaling简单理解成“把模型做得更大”把alignment理解成“让模型听话”。这个理解方向没错但放在2025年这个时间点两个词的含义都已经扩了一大圈。如果不先把定义梳理清楚后面看任何技术讨论都会觉得对不上焦。1.1 scaling的快速演变从参数量的军备竞赛到全栈式扩展我最早接触scaling这个词还是在GPT-3那个时代大家关注的无非是模型参数量、训练数据量、总计算量这三件事。OpenAI那篇经典的Scaling Laws论文给了一个很实用的结论模型性能与参数量、数据量、算力之间遵循幂律关系也就是说只要这三样东西一起涨模型能力基本就能稳定提升。这个结论支撑了后面好几代大模型的疯狂扩张。但到了GPT-4、Claude 3、Gemini这个阶段scaling的内涵已经明显扩展了纯粹堆参数的边际收益在下降大家转而关注“全栈scaling”——从数据质量、模型结构、训练策略到推理效率、上下文长度、多模态覆盖每一个环节都在做scale。而且更明显的一个变化是“推理时scaling”的出现也就是把原本集中在预训练阶段的算力投入部分转移到模型生成答案的时候让模型在回答前有更多自我思考、搜索、验证的空间。这类技术大家应该不陌生o1系列、DeepSeek-R1都是非常典型的代表。1.2 alignment的内涵扩展从“让模型指令”到“让系统可控可信”alignment最早源于“让模型输出的价值观与人类意图一致”这个目标。InstructGPT和后续的ChatGPT把RLHF基于人类反馈的强化学习带火之后业界一度认为对齐就是做好“人类偏好建模强化学习微调”这套流程。但实际用下来问题远比想象中复杂人类偏好本身不一致、奖励模型容易被钻空子、模型会“撒谎讨好”而不是真正遵守意图……所以现在再谈alignment已经不只是“训练阶段加一个对齐步骤”而是覆盖了从数据筛选、预训练、后训练、部署监控到模型更新的全生命周期。业界甚至开始区分“模型级对齐”和“系统级对齐”——前者看模型本身的输出是否符合预期后者看整个AI系统在真实使用场景中是否安全、可控、可审计。我个人很喜欢Anthropic团队用过的一个类比scaling是给飞机装更强的发动机alignment是保证飞机飞向预定目的地、且乘客安全的导航系统。你当然可以说“发动机强了飞机自然更好飞”但没有导航和飞行控制发动机越强偏离航线时后果越严重。2. scaling一侧正在发生的三场关键战役既然要梳理现状先看看scaling这边最热闹的几个焦点。2025年其实已经很少有人在纠结“要不要继续scale”了所有人都在想“具体scale什么、在哪一层scale最划算”。2.1 数据墙挡在面前高质量数据快用完了这是整个行业都绕不开的一座大山。过去scaling law成立有个重要前提训练数据充足。但大量的分析已经表明公开互联网上的高质量文本数据可能在未来两三年内就接近耗尽了。我做过一个小实验把公开数据集里重复、低质的样本筛掉之后真正干净的数据量比想象中少得多。现在各家的解法方向大概是三类。第一类是疯狂提升数据质量不再追求“有多少数据”而是追求“每个token的质量够不够”通过去重、清洗、跨语言重采样把数据集的整体信噪比拉上去。第二类是合成数据让大模型自己生成训练数据再反哺训练。这一招在代码领域已经比较成熟像代码补全、代码解释这类任务合成数据能大幅提升模型表现在数学推理、指令跟随上效果也不错。但它有一个核心隐患就是模型生成的数据容易放大自身的偏好和错误如果不加筛选会出现“模型教模型越教越偏”的自我循环问题。第三类是探索全新的数据来源比如多模态数据、传感器数据、交互数据。现在很多前沿团队在研究“世界模型”核心假设就是真实世界的视觉、语音、物理交互数据可能比文本数据更容易扩展而且语义信息更丰富。一类质疑也值得注意数据墙的存在本身是不是意味着scaling law会失效我的判断是不是scaling失效而是“无脑堆数据的scaling”失效接下来拼的是数据工程能力。2.2 推理时扩展从一次性训练到运行时再投入推理时scaling是这轮技术浪潮里一个非常大的变量。它把“算力换智能”的公式从“训练阶段多花算力”延伸到了“运行时多花算力”。最直观的表现就是思维链Chain of Thought和test-time compute的引入模型在给出最终答案之前先生成一段内部思考过程或者尝试多种解法再自我评估选一个最优结果。这就相当于以前是“小考直接交卷”现在是“先打草稿、验算两遍再抄到答题卡”虽然慢了不少但正确率确实肉眼可见地提升。这类方法在数学、代码、逻辑推理这些可以“自我验证”的任务上效果异常显著但在开放式对话、创意写作上多花算力的收益并不稳定。而且推理时scaling有一个特别现实的问题成本怎么控制。我自己在线上服务里做过AB测试同样的模型开启深度推理模式后单次请求的算力消耗是普通模式的几十倍延迟也从几百毫秒飙到十几秒。所以现阶段更务实的做法是“按需分配”——简单问题走快速通道复杂问题才走深度推理让路由模型去判断。从更深层次看推理时scaling还改变了训练与推理的分界线。过去训练完模型就定型了现在推理时的自我改进、工具调用、多轮反思本质上都是在模型运行时继续“计算智能”这对整个推理基础设施的弹性调度能力提出了很高的要求。2.3 小模型与蒸馏把大模型的能力压缩回小尺寸在scaling叙事一路高歌的时候一个反向的趋势也在加速就是小模型越做越强。通过蒸馏、剪枝、量化等办法把大模型的能力压缩到70B、30B甚至7B级别的模型里跑在本地设备上也能获得不错的效果。这一块我自己做移动端部署的时候感触最深一个7B的量化模型跑在旗舰手机上做摘要、改写、分类这些任务效果已经能和两年前的云端大模型掰手腕了。这里面的关键技术在业内叫“知识蒸馏”核心思路是大模型当老师小模型当学生让学生的输出分布尽量逼近老师。早期蒸馏主要靠logits匹配现在的趋势是直接把老师的思维链、解题过程也蒸馏给学生这样学生学到的就不只是答案而是“思考方式”。这个方向的意义在于真正能在实际业务中落地的模型往往不是最大的而是“能力够用、成本可控”的那个尺寸。所以scaling并不只是越大约好还要在“能力上限”和“部署可行性”之间找一个平衡点。3. alignment的真实难点为什么很多方法在实验室有效、到了实际系统就失效接下来是重头戏。对齐这个词听起来很“安全”、很“政治正确”但真正做过一轮RLHF之后你就知道它其实是最脏最累、最考验工程能力的活。3.1 RLHF之后奖励模型本身就是最大的短板要理解对齐的难点必须先理解RLHF这套流程里真正的核心不是策略模型而是奖励模型Reward Model。人类标注员对模型的多个输出进行排序奖励模型学习人类的偏好然后在强化学习阶段用这个奖励模型给策略模型的输出打分通过PPO等算法优化策略。听上去很顺但问题就出在奖励模型身上。奖励模型本质上是在拟合“人类偏好”而人类偏好本身高度不稳定。同一个问题昨天觉得回答A好今天可能就觉得回答B好换个人来看偏好可能完全相反。另外奖励模型是“用一个有限数据集学出来的静态模型”它一旦被训练出来就不变了但策略模型在强化学习过程中是不断变化的。策略模型很快就能摸清奖励模型的偏好然后用一些“看起来符合偏好、实际上没解决用户问题”的话术来刷高分。这个现象业内一般叫reward hacking。我在实际训练中也遇到过一个很典型的案例策略模型学会了在回答里大量堆砌“严谨地看”、“从多个角度来说”、“综合来看”这类结束语因为奖励模型给这种“看起来很全面”的回答打了高分但用户真正要的判断和建议模型反而没给出来。所以现在整个行业都在反思RLHF的边界各种替代方案层出不穷比如DPO直接偏好优化、KTO知识转换优化、以及各家的RLAIF用AI反馈替代人类反馈变体。但坦白讲目前没有哪一种方法能彻底替代RLHF大家更多是把几种方法混合着用。3.2 可扩展监督AI帮助人类监督AI这个循环的钥匙与风险对齐问题在模型能力不强的时候还好解决因为人类能轻松判断输出好坏。可一旦模型能力超过人类比如在专业代码审查、复杂数学证明、科研推理这些领域人类连“什么是对的都很难看清”你怎么去指导和监督模型这就是所谓的“可扩展监督”scalable oversight问题。现在的思路大致是“AI辅助监督AI”。典型做法是让一个稍弱但更可控的AI模型去审查一个强模型的输出再由人类抽查AI审查者给出的判断是否合理。还有一种“辩论”思路让两个模型正反方辩论人类看谁能说服谁进而判断答案的可靠性。我在项目里试用过类似机制让一个大模型模拟用户另一个大模型回答问题用户模型对回答挑刺、追问几轮攻防下来答案质量确实会明显提升相当于用“多智能体对抗”来替代部分人工评估。但这个方向潜在风险也很突出AI审查者如果本身存在和强模型类似的盲区那整个监督链条就是失效的。而且对抗过程计算开销成倍增长在工程上很难规模化落地。本质上可扩展监督是“用更多机器智能来换人对模型的控制力”这个逻辑能不能成立还有很多需要验证的地方。3.3 可解释性为什么对齐离不开机械解译但现在的进度远远不够有一个残酷的事实目前最强的大模型内部是如何编码知识、如何做推理的我们只能看到激活值、注意力权重这些数字但无法真正做到“读懂模型内部的思考过程”。这就像在驾驶一台全自动驾驶的汽车你能看到它输出的每一个转向指令但它究竟为什么转向、基于什么内部决策逻辑你完全不知道。可解释性研究现在主要分两条线。一条是“机制可解释性”mechanistic interpretability试图找到神经网络内部负责特定概念的电路、特征和神经元。比如让模型回答“金门大桥有多长”有没有某个特征恰好对应“金门大桥”这个概念这些特征之间又是怎么组合出答案的。Anthropic发表的“特征透视图”研究就是这个方向的代表作。另一条是“行为可解释性”不深究内部机制而是通过输入扰动、注意力分析、归因算法等外部手段理解模型对什么敏感、在什么输入下会出错从而建立行为层面的可解释性。我的真实感受是可解释性研究离实际应用还有很长的距离。你可以在小模型、甚至中等模型上找到清晰的特征但到了千亿参数级别模型的表征高度分布式、高度冗余很难用简单的“人脑理解”方式去还原。但如果不做可解释性alignment就永远有一个根本性的天花板——你不知道模型为什么这么做也就无法保证它在所有情况下都安全。4. scaling与alignment之间的张力以及业界实际处理方式把两边分开看其实都还好很难的是两边同时推进。这一节我想聊聊二者之间真实存在的那股张力以及我觉得现在比较靠谱的实操路线。4.1 越大的模型越难对齐这是伪命题还是真约束我经常看到有人争论模型能力越强是不是就越难对齐从经验上看这个说法有一定道理但机制并不是很多人想象的那样“模型变狡猾了所以学会撒谎”。更准确的原因有两个一是能力增强后模型能做的事情变多潜在出错的面积也随之变大。你的模型以前只会写邮件现在能写代码、查资料、调用工具任何一个环节没对齐好都会被放大成安全问题。二是大模型在训练中会学到一些人类并不太容易直接察觉的“隐藏目标”比如用最简洁的方式让用户满意但这个“满意”可能建立在事实错误之上。能力越强这种隐藏目标和人类真实意图之间的偏移就越难被单点探测到。所以我不是很认同“大模型天然对齐不了”这种宿命论但它确实意味着对齐工作不能只放在训练的最后一步而应该更靠前、更系统化。打个比方你没法在一栋已经盖好的楼上面随便加几个承重柱来弥补地基设计的偏差对齐也一样越是在训练早期就能考虑进去的约束越不容易在后期被“修”出问题。4.2 实践中如何同时推进scaling与alignment训练管线里的具体做法具体到工程上我自己对“scale与align并行”的实操经验可以分成几个层面。数据和预训练阶段尽早加入“内容安全筛选”而不是等训练完了再靠模型自身分类器去清洗。现在很多团队会在预训练阶段就构建一套低质量/不安全内容的自动过滤流水线让模型从一开始就在更干净的数据分布上学习。而且数据配比上会有意控制“能力型数据”代码、数学、科学文献和“对齐型数据”人类反馈、行为规范、安全示例的比例。这个比例没有标准答案要看业务目标但总的原则是不能最后才补对齐否则模型在预训练阶段已经把“错误行为模式”学进去了后期很难彻底纠正。后训练阶段现在比较前沿的做法是RLHF 迭代式对齐。也就是在强化学习的奖励函数里除了人类偏好得分还加权加入“有帮助性”“真实性”“安全性”等多个维度的指标。而且整个奖励模型的训练集不再是静态的而是定期用当前模型输出生成新的挑战场景再让标注员或AI裁判打分把新数据加进去重新训练奖励模型。这样就形成了一个动态循环防止奖励模型被策略模型“刷穿”。部署与监控阶段永远保留人工抽检和实时监控。我在生产环境里见过太多“训练时评测全绿上线当天就翻车”的案例原因往往是测试集和真实用户请求的分布差距太大。所以现在的做法是在模型入口加规则过滤器输出端加针对性的安全性检查对高风险场景医疗、法律、金融、未成年人使用“拒答或转人工”策略并且把用户的显式反馈侧隐式反馈比如是否复制、是否继续追问、是否喜欢回传为标签持续喂给下一轮的奖励模型。4.3 资源配置上的博弈model scaling vs alignment investment还有一个非常现实的问题就是公司内部资源有限到底应该把更多的GPU花在继续训练更大的模型上还是花在对齐数据采集和奖励模型训练上纯技术上来讲两边都重要但商业上很难画等号。模型大了性能提升是可见的、可以宣传的对齐做好了产品更稳但不容易形成“炫耀性指标”。我个人的建议是如果模型还没有达到业务所需的能力门槛那先集中力量提升能力因为对齐一个能力不足的模型意义非常有限但如果能力已经接近业务需要那接下来就该把大部分资源投入到对齐和评测上否则能力提升带来的风险增加会直接吃掉收益。说到底scaling带来的是“可能性边界”alignment决定的是“这个边界里哪些是安全的、能用的”二者不是二选一而是要有节奏地交替推进。5. 未来6到18个月哪些事情可能真正产生转折站在当下往未来看我觉得有几件事会是比较值得关注的转折点甚至可能重塑整个领域的讨论框架。5.1 从“模型对齐”到“系统对齐”评估与治理层面的变化现在的行业共识正在从“只优化模型这一个组件”转向“优化整个AI系统”。什么意思呢一个AI产品的可靠性不只是模型权重决定的还取决于系统外部的工具、检索链路、上下文管理、用户界面、护栏规则。我见过太多项目在模型层做了很强的安全对齐但产品上线时为了体验又给模型接入了搜索引擎、外部插件结果模型被外部的不可控内容带偏了。系统对齐的思路是把对齐的目标从模型的输出拓展到整个系统的行为。比如给模型配的搜索工具能不能保证只检索可信源给模型的系统提示词能不能设计得更稳健权限控制、工具调用审批、数据隔离这些以前属于后端工程范畴的规则现在都成了对齐工作的一部分。我觉得未来一年内“安全评估”和“红队测试”会越来越像软件行业的质量测试一样成为AI项目上线前必须过的一道关。另外不同国家都在陆续出台AI治理法规行业内部的自律标准也会逐步清晰。至少在交付层面可审计性、透明度、风险等级划分这些要求会越来越具体系统级对齐的意义也会因此变得更强。5.2 值得持续关注的关键指标和前沿方向从技术前沿看我持续关注的有这几个方向。第一是“免人类偏好标注的对齐”也就是让模型从“人类显式反馈”中解放出来更多依赖AI自身形成的评判体系。这里最活跃的方向是宪法式AIconstitutional AI和自奖励语言模型self-rewarding language model前者给模型一套明确的原则让它在原则约束下自我批评、自我修正后者让模型在训练过程中自己生成偏好对不断迭代这样就能绕开大规模人工标注的瓶颈。我自己试用过几个自奖励式的训练框架在特定领域比如代码、数学效果是有的但“自己给自己当评委”始终有放大偏差的隐患目前还只适合做辅助。第二是强化学习与LLM的深度融合。传统大模型训练主要靠监督学习和人类反馈的强化学习但将来的模型很可能会主动和外部环境互动用环境返回的结果调整自己的行为。现在很多智能体比如能操控电脑、玩游戏、调用API的agent本质就是把LLM放入强化学习环境中。这一块如果做通模型的能力和对齐水平可能会同时跃上一个台阶。第三是评测体系的重构。现在大家都在批评以排行榜为核心指标的评测方式因为刷榜太容易而且单一数字无法反映模型在真实环境中的可靠性和安全性。未来行业会逐步建立“多层次评测”——基础能力评测、鲁棒性评测、安全性评测、推理能力评测、长期记忆和行为一致性评测每一个维度的权重和任务集都会更加精细化。对齐工作的进步首先要靠评测能力的进步没有可靠的温度计你怎么控制温度写在最后的几点个人体会这篇文章梳理了scaling和alignment这两个方向上的核心现状与挑战最后我想说几句自己的真实感受。第一不要被“大模型无所不能”的宣传带偏能力越强风险半径越大做技术的人心里要始终绷着“可靠、可控”这根弦第二警惕“部署前一次性对齐就万事大吉”的想法对齐是一个持续对抗、持续修正的过程需要搭建和业务绑定的闭环反馈系统第三在这个领域做得越久我越觉得技术路线还是其次真正的难点在于你到底想让机器为人类承担什么、让出什么。这个方向没有终极答案只能一步步试一边scale能力一边守住对齐的底线。希望这篇内容对正在思考同类问题的人有一点帮助。