【LLM进阶-后训练部署】2. 常见的全参数微调SFT方法

以下是目前业界在全参微调SFT方法论上的几个深度前沿分支前置概念Distilling System 2 into System 1 (用CoT、思考模型的推理过程去掉只保留最终答案来构造QA进行蒸馏训练)System 1 是指对给定的输入直接给出答案而不产生中间tokens。System 2 是指通过产生中间tokens来增强模型表现的方式包括进行搜索、多次prompt等。比如Chain-of-Thoughts、Rephrase and Respond、Branch-Solve-Merge等。一、 Fast-Slow Thinking SFT快慢思考 / System 2 微调受诺贝尔奖得主丹尼尔·卡尼曼的《思考快与慢》以及 OpenAI o1 模型的启发业界开始对模型进行System 2慢思考的全参微调。这种 SFT 不再只关注“最终答案”而是强迫模型学习“思考的过程”。Long CoT长思维链微调数据形态训练数据被重构为包含隐式或显式思考区间的格式。模型在输出最终答案前必须先输出think ... /think标签在标签内进行长篇的逻辑拆解、多假设探索Multi-Solution Exploration甚至自我否定和修正。训练目的让模型学会“三思而后行”彻底改变此前生成下一个 Token 时“拍脑袋直答”的习惯大幅提升数学、代码等逻辑密集型任务的准确率。Rejection Sampling Fine-Tuning (RFT / 拒绝采样微调)数据获取难题极其复杂的慢思考数据很难由人工标注。SFT 新解法给定一个复杂问题让待训练模型自己生成几十上百条不同的“思考-回答”路径。利用编译器针对代码或规则验证器针对数学自动测试或教师模型针对主观性问题只保留全对且步骤最清晰的那条路径。然后将这些高质量的内部产出作为全新的 SFT 数据再次对模型进行全参微调。这种“用模型自身最优秀的产出训练自己”的方法可以尽可能规避小尺寸模型强行学习大尺寸模型思路与答案的困境——难以学会或者需要更大批量数据才能学会。自适应快慢思考切换 (Adaptive Fast/Slow Thinking)痛点如果模型对所有问题比如“你好”都进行长篇大论的慢思考会极大浪费算力且延迟极高。前沿 SFT 方案业界如华为的 openPangu、OThink-R1 等研究通过特殊的 SFT 数据配比教导模型学会“难度感知”。在微调数据中对简单问题直接输出答案System 1对复杂问题才调用think标签System 2。通过这种双模混合 SFT模型可以在推理时自动无缝切换快慢挡。建议学习 Qwen3混合思考(人为控制是否思考)-字节AdaCoT(自主决定是否思考)-清华AdaThinking(自主决定是否思考)。二、 Agentic SFT智能体与工具调用微调为了让大模型从“聊天机器人”升级为能操作外部世界的“数字员工”Agentic SFT 致力于赋予模型 API 调用、环境感知和多步规划能力。ReAct 格式微调 (Reasoning Acting)数据范式在 SFT 数据中Prompt 会包含一大串外部工具的 JSON Schema 定义。模型的输出必须被严格规约为[Thought (思考)] - [Action (调用什么工具以及参数)] -[Observation (等待外部系统返回结果)] - [Final Answer (总结答案)]的多轮交织格式。注意Observation部分内容必须mask掉为环境真实反馈填充内容绝不能是模型自己幻觉生成不mask的话训出来的模型会产生很多幻觉。核心挑战这种微调极度考验模型的格式遵从能力不能编造不存在的工具和参数提取能力能准确从用户自然语言中提取 API 需要的参数。状态维持与深度研究范式 (Iterative Deep-Research)传统的 Agentic SFT 只是把工具调用的历史不断追加到上下文里很容易导致上下文爆炸和模型分心。前沿方案目前的顶级 SFT 训练如通义 DeepResearch 等开始引入“工作区Workspace”和“阶段性报告Report”的概念。SFT 数据中会训练模型每调用几次工具后就主动生成一份“阶段性总结摘要”并清空前面冗余的网页爬取乱码。这教会了模型在长线任务中管理自己的内存。推理与工具使用的解耦微调 (Disentangled Tuning)业界发现模型在疯狂学习“特定 JSON 工具格式”时其原本的通用自然语言推理能力可能会下降即“格式污染”。目前的进阶玩法是在 SFT 时将工具调用的 Token 和纯逻辑推理的 Token 在底层路由到不同的网络模块中去更新保证 Agent 能力与通用能力互不干扰。三、 System 2 Attention / Context Refinement SFT (抗干扰微调)在实际业务场景如 RAG 知识库问答中模型常常被检索出来的冗余文档或用户的误导性提示“带偏”。SFT 方案Meta 提出的 System 2 Attention (S2A) 理念。在全参微调的数据集中刻意设计一种“分步处理”的范式首先强迫模型输出一段净化后的上下文“这段长文本中只有 A 和 B 两个事实与用户的问题有关其余都是噪声。”然后再让模型基于自己净化的文本给出最终回答。效果这种微调极大地提升了模型的抗幻觉能力和面对恶意 PromptJailbreak时的鲁棒性。四、 SFT 与 RL强化学习的融合边界传统观点认为预训练 - SFT - RL 是一条单向的流水线。但现在的 SFT 已经和 RL 深度绑定Cold-Start SFT冷启动微调在进行类似 DeepSeek-R1 的大规模强化学习PPO/GRPO之前必须先用大概 1万~5万条极其高质量的 Long CoT 或 Agentic 数据对模型进行全参 SFT。如果不做这一步模型在强化学习阶段根本不知道什么是“反思”会在庞大的动作空间中迷失。蒸馏微调 (Distillation SFT)用超大模型如 671B 的 R1在强化学习后生成的带有庞大思维链的数据去对小模型如 7B/8B进行全参微调。这证明了仅仅通过高质量的 SFT就可以把超大模型在 RL 阶段顿悟出的“System 2 推理范式”完美平移给小模型。