当 Skill 遇上进化论SkillOpt、达尔文 Skill 与 AutoResearch 三大方案深度对比2026 年 5 月微软研究院连发两篇论文SkillLens SkillOpt把 Agent Skill 的优化从提示工程手艺推到了可训练的工程学科这个位置。差不多同一时间Karpathy 的 autoresearch 在 GitHub 上拿到 85.4K Star社区开发者花叔开源了吸收两者精华的达尔文 Skill 2.0。三条路线同一个问题怎么让 AI Skill 系统性地自我进化这篇文章从技术架构、评估哲学、适用边界和实践选型四个角度把三个方案掰开揉碎比一遍。一、背景为什么 Skill 需要进化在 Claude Code、Codex、Trae、CodeBuddy 这些 Agent 工具全面普及的当下SKILL.md已经成了定义 AI 做事方法的标准载体。但有一个尴尬的事实大多数 Skill 是一次性写完的静态文档写了就放着好坏全靠感觉LLM 评委根本靠不住。微软 SkillLens 论文的实测数据让 GPT-5.4 判断两个 Skill 哪个更好准确率只有 46.4%跟抛硬币差不多。更离谱的是在效果差距明显的配对中准确率跌到 15.8%25% 的 Skill 会造成负迁移用了反而比不用更差。ALFWorld文本交互家务任务领域这个数字高达 47%一句话写好 Skill 不容易判断 Skill 好不好更不容易。三大方案从不同角度回应了这个问题。二、方案概览2.1 Microsoft SkillOpt — 学术界的文本训练机微软研究院 上海交大/同济/复旦2026 年 5 月发布arXiv: 2605.23904。定位是企业级、Benchmark 驱动的全自动 Skill 训练框架。核心口号是Train the procedure, not the weights把自然语言 Skill 文档当作神经网络的权重来训练。SkillOpt 设计了一套完整的文本空间训练算法把深度学习的概念挨个映射过来深度学习概念SkillOpt 对应物说明参数权重 θskill.md文档被优化的目标对象前向传播Rollout 执行采样冻结模型跑任务收集轨迹反向传播Minibatch Reflection分析成功/失败轨迹生成编辑建议梯度结构化编辑指令append / insert_after / replace / delete学习率 η编辑预算 L_t每步最多允许 L_t 条编辑验证集留出选择集 D_selheld-out 数据严格评分Early StoppingValidation Gate分数不涨则拒绝动量Rejected Buffer Slow Update跨轮次记忆积累五步优化循环Step 1: Rollout执行采样 → 冻结目标模型 当前 skill.md → 在训练集上跑一批任务 → 收集完整轨迹工具调用、观测结果、验证器反馈 Step 2: Minibatch Reflection批量反思 → 优化器模型区分失败/成功轨迹 → 失败轨迹 → 提取可复现的程序性错误 → 生成修正规则 → 成功轨迹 → 提取保留模式 Step 3: Bounded Text Edit有界文本更新 → 所有编辑按预期效用排序 → 仅保留前 L_t 条类比梯度裁剪 → 防止一次大改擦除已有好规则 Step 4: Validation Gate验证门控 → 候选 skill 在 held-out 验证集上测试 → 分数严格提升 → 接受平局或下降 → 拒绝 → 被拒编辑记入 rejected buffer Step 5: Export导出 → 输出 best_skill.md通常 300-2000 token → 部署零额外开销52 个评测组合6 个 benchmark × 7 个目标模型 × 3 种执行环境SkillOpt 全部最佳或并列最佳。GPT-5.5 上直接聊天模式平均提升 23.5 分Codex 框架 24.8 分Claude Code 框架 19.1 分。单看极端案例OfficeQA 从 33.1 到 72.139.0SpreadsheetBench 从 41.8 到 80.738.9。消融实验的结果值得细看去掉学习率控制 → SearchQA -2.5 / SpreadsheetBench -1.8 / LiveMath -4.0去掉 rejected buffer → SearchQA -1.6 / SpreadsheetBench -4.6 / LiveMath -2.4去掉 meta_skill slow_update → SpreadsheetBench 从 77.5 掉到 55.0-22.5LiveMath -3.2。SpreadsheetBench 特别依赖积累的程序性知识少了这个组件就垮了迁移实验的结果也挺有意思SpreadsheetBench 技能从 GPT-5.4 迁移到 GPT-5.4-mini保留了域内增益的 82%从 Codex 迁移到 Claude Code拿到 59.7 分甚至超过了 Claude Code 域内 SkillOpt 的参考值OlympiadBench 技能迁移到 Omni-MATH三个模型规模上都正收益部署时的细节最终best_skill.md长度中位数约 920 tokens最短 379最长 1995实际被接受的编辑只有 1 到 4 次中位数 2.5。少即是多这件事SkillOpt 用数据验证了。SkillLens 那篇配套论文还有几个值得拎出来的发现LLM 无引导评判在效果差距明显δ ≥ 5%的配对中准确率只有 15.8%而且跟实际效用完全反着来越流畅的文本往往表现越差Skill 格式对效用没有显著影响Friedman 检验 p 0.34内容深度才是决定性因素把 7 维合理性标准当 Meta-Skill 注入提取器9 个单元格中 6 个退步平均下降 -0.59pp换成 3 维验证标准9 个全涨平均 1.55pp。维度多不等于好2.2 达尔文 Skill 2.0 — 个人开发者的安全进化引擎开发者花叔alchaincyf在 GitHub 上开源MIT 协议3.5K Star。面向个人开发者带 Human-in-the-loop 安全网。思路很直接吸收学术成果加人工卡口让没有 Benchmark 的普通人也能系统性优化 Skill。达尔文 Skill 的出发点是一个朴素但重要的判断微软已经证明 LLM 评委不可靠46.4% 准确率所以不能像 SkillOpt 那样全自主运行必须有人工把关。它用一个四阶段流水线做这件事每阶段之间卡一个人工确认点Phase 1: 基线评估 → 用 9 维 Rubric 评分当前 Skill → 输出评估报告 → CHECKPOINT: 人工审报告决定改什么方向 Phase 2: 单维度优化循环 → 针对得分最低维度生成改进方案 → 修改 SKILL.md → git commit → 启动 2 个独立子 Agent 重新评分共识才算数 → 涨分 → 保留跌分 → git revert 回滚 → 单轮涨幅 1 分 → 早停 → CHECKPOINT: 人工确认后再进入下一阶段 Phase 2.5 (可选): 测试验证 → 运行 test-prompts.json 实测效果 → 人工查看测试结果 Phase 3: 回归测试 → 验证优化未引入新问题 → STOP: 涨幅低于阈值强制停止 → 循环回到 Phase 2 或结束2.0 版本吸收了微软两篇论文的精华做了五个改动评分标准从 8 维升级到 9 维直接用了 SkillLens 那个 73.8% 准确率的配方。“错误处理改名为失败模式编码”要求写出明确的条件分支“明确性改名为可执行具体性”明文禁止建议/可以考虑/根据情况/灵活把握/视情况而定这五类软化措辞新增第九维高风险行动黑名单要求 Skill 必须有独立章节列出绝对不要做什么每轮 2 个独立评委打分共识才算数下一轮换全新评委避免锚定效应单轮涨幅不到 1 分就自动停手反作弊黑名单 8 条禁止同 AI 又评又改、禁止堆冗余凑分、禁止跳过测试等发现了一个有意思的现象维度之间不是独立的而是一簇。改了失败模式之后工作流维度自动从 7.5 升到 9.0。优化一个维度会带动相邻维度实测数据一次性优化了近 30 个 Skill平均涨 15 分。最高单轮 30 分steve-jobs-perspective Skill 从 64 分干到 94 分。1.0 版本的历史数据也值得一提上线一个月跑了 40 次优化平均提升 13.5 分0 次回滚。2.3 AutoResearchAutoSkill 路线— 极简主义者的Yes/No 机器Andrej Karpathy2026 年 3 月开源GitHub 85.4K Star。本来是 AI 自主研究的最小可行原型被社区迁移到了 Skill 优化场景。核心理念就四个字约束产生智能。给 Agent 最小的自由度只改一个文件、追一个指标最强的框架约束让它自主迭代。AutoResearch 的原始设计极简到只有 3 个核心文件文件角色可否修改program.md研究指令文档Agent 的操作手册由人类迭代prepare.py基础框架数据/分词器/评估逻辑固定train.py搜索空间模型架构/超参数/优化器唯一可修改文件原始工作循环Agent 修改 train.py → 固定 5 分钟墙钟时间跑实验 → 用 val_bpb每字节比特数越低越好衡量结果 → 更好 → 保留提交成为新基线 → 持平或更差 → 回滚分支继续下一轮 → 每小时约 12 次实验一夜约 100 次社区把它迁移到 Skill 场景后的玩法选定 Skill → 定义 3-6 条 Yes/No Eval 规则 → 跑分 → 分析失败点 → 小修改 → 重测 → 涨分保留 / 跌分丢弃 → 循环至稳定高分这里有一个反直觉但很管用的原则每一个 eval 必须是 yes/no 二元判断题禁止使用量表评分。好的 Eval 示例“输出是否在 150-400 字之间”“代码是否能无报错运行”“开头第一句是否包含具体时间、地点或感官细节”坏的 Eval 示例“这段文字写得好吗”太模糊“给吸引力打 1-10 分”量表不稳定实战效果某 Landing Page 文案 Skill 成功率从 56% 到 92%4 轮迭代零人工干预。另一个社区案例是页面加载时间从 1100ms 降到 67ms不过这个数据是社区转述没追溯到一手来源看看就好。三、深度对比分析3.1 评估信号三者分化的根本原因这可能是三大方案最本质的区别决定了各自的能力边界评估信号强度光谱 强 ←————————————————————————————→ 弱 SkillOpt AutoSkill 达尔文 Skill ───────── ───────── ──────────── Objective Semi-objective Subjective Benchmark Yes/No Rules AI Judge Score Task Success Binary Eval 9-dim Rubric 验证者: 验证者: 验证者: 预定义测试集 人工设计的断言 AI 多评委 (客观事实) (确定性逻辑) (主观判断)SkillOpt 的评估信号最强。它要求预先准备 Benchmark 数据集和自动化评分器每个任务都有明确的通过/不通过标准。代价是前期准备工作量大而且处理不了开放性任务。AutoSkill 的评估信号中等偏强。Yes/No 二元 Eval 本质上是人工编码的确定性逻辑定义好了就能自动判断。但信号质量取决于 Eval 设计者的水平。达尔文的评估信号最弱。它依赖 AI 评委按 Rubric 打分而微软自己的论文已经证明这种主观评分的准确率上限在 73.8% 左右。好处是零前置成本不需要 Benchmark不需要设计 Eval拿来就能用。3.2 技术完备度对比维度SkillOpt达尔文 SkillAutoSkill有界编辑/学习率完整实现简化版单维修改早停单文件修改天然有界验证门控held-out 验证集AI 评分替代Keep/Discard 二元决策负反馈记忆Rejected Buffer反模式黑名单无丢弃即遗忘跨轮次学习Meta-Skill Slow Update无无无状态多样性保护学习率衰减策略评委轮换无人工介入全自动三层 Checkpoint仅设计阶段代码量/复杂度高完整训练管线中多 Agent 编排极低核心 3 文件SkillOpt 在技术完备度上跑在最前面它基本上把深度学习训练的完整工具箱搬到了文本空间。但这套工具箱的维护成本也最高。AutoSkill 走的是另一个极端用最低的复杂度解决核心问题。达尔文介于两者之间。3.3 人工角色演变三种方案代表了三种不同的人机协作方式方案人类角色类比适用人群SkillOpt训练数据/Benchmark 的制备者教练制定训练计划后离场企业工程团队达尔文关键决策点的最终裁判导师逐章批改作业个人开发者AutoSkillEval 规则的设计者考官出试卷后 Agent 自己刷题有明确质量标准的实践者一个有意思的观察三者的人类工作量重心在不同阶段。SkillOpt 的人类工作重在前端准备 Benchmark后端全自动达尔文的人类贯穿全程每个 Checkpoint 都要确认AutoSkill 的人类也重在前端设计 Eval 规则后端全自动但不如 SkillOpt 那么完整。3.4 安全机制对比安全风险SkillOpt达尔文AutoSkill改坏怎么办Validation Gate 拒绝git revert 回滚git branch 丢弃过拟合怎么办held-out 验证集多评委共识 人工审核不适用Eval 即真理堆冗余怎么办编辑预算限制单轮涨幅1分早停跌分即 Discard评委偏见怎么办不用评委用 Benchmark每轮换新评委不用评委用确定逻辑方向走偏怎么办Rejected Buffer 负反馈人工强制卡口连续 Discard 缩小搜索空间旧能力丢失学习率控制 Slow Update单维度逐一优化单文件修改天然保护3.5 局限性与适用边界SkillOpt 的局限强依赖 Benchmark必须预定义测试集和评分器创意写作、战略规划这种开放性任务它搞不了部署门槛高需要完整的训练管线目标模型 优化器模型 执行环境 数据集25% 负迁移风险即使训练出的 Skill 也可能在新场景下表现更差成本不低每次 rollout 都要调用目标模型执行任务大规模训练需要大量 API 调用最适合高频重复、结果可量化评分的企业级任务合同审查、表格核验、客服工单、财务异常排查、知识库问答质检达尔文 Skill 的局限评估信号弱AI 评委的主观偏差是结构性问题不是工程手段能解决的人工介入频繁CheckPoint 设计虽然安全但也意味着你不能挂着睡觉缺少跨轮次学习能力没有类似 Meta-Skill 的长期记忆机制每轮相对独立规模有限当前适合个人开发者的几十个 Skill 量级百级以上没验证过最适合个人开发者、没有 Benchmark 的场景、需要把控优化方向的谨慎型用户AutoSkill 的局限Eval 设计能力决定上限如果人工设计的 Eval 规则本身有问题整个优化过程都会走偏无负反馈记忆被 Discard 的修改直接丢弃不会记录为什么不行无状态持久化每轮优化之间没有知识积累类似纯随机搜索加生存选择。不过 autoresearch 原始场景中的program.md人类维护的指令文件可以在跨轮次间保留经验泛化性未经验证目前主要是个人实践案例缺乏系统的消融实验最适合快速验证想法、有明确质量标准的任务、追求极简工作流的开发者四、演进关系与实践选型4.1 三条路线的演进脉络2026.03 Karpathy 发布 autoresearch │ 核心思想约束 二元决策 自动迭代 │ 85.4K Star证明AI 可以自主做研究的概念 │ ├──→ 社区迁移浪潮autoresearch 方法论被应用到 Skill 以外的场景 │ └──→ AutoSkill 路线诞生轻量、Yes/No Eval │ 特征极简至上、半天上手、快速见效 │ 2026.05 微软发布 SkillLens SkillOpt 双论文 │ 核心发现LLM 评委不可靠 完整训练纪律有效 │ 52/52 评测全胜 │ ├──→ 学术界路线成熟SkillOpt 成为新范式标杆 │ 特征最严谨、最强信号、最高门槛 │ └──→ 花叔吸收两者精华 └──→ 达尔文 Skill 2.0 诞生 - 评估采用 SkillLens 的 9 维 Rubric - 流程对齐 SkillOpt 的多评委/早停/预算控制 - 差异加入 Human-in-the-loop 安全卡口 - 定位个人版 SkillOpt这三者不是竞争关系而是互补关系覆盖了不同的精度-成本-安全权衡区间高 安全性 │ │ 达尔文 │ │ SkillOpt │ 低 │─────────────── AutoSkill 低 高 评估信号强度 / 自动化程度4.2 选型决策树你有预定义的 Benchmark 吗 ├── 是 → 你能接受较高的部署复杂度吗 │ ├── 是 → 用 SkillOpt最强效果企业级保障 │ └── 否 → 用 AutoSkill简化版Yes/No Eval 替代 Benchmark └── 否 → 你能接受每个阶段人工确认吗 ├── 是 → 用达尔文 SkillHuman-in-the-loop 安全可控 └── 否 → 先用 AutoSkill 快速搭个最小 Eval 集合 后续再视情况升级到其他方案4.3 组合使用的可能性三个方案的理念可以组合使用AutoSkill 的 Eval 设计 SkillOpt 的 Validation Gate用二元 Eval 作为轻量级 Benchmark加上验证集门控兼顾低成本和高可靠达尔文的 Human-in-the-loop SkillOpt 的 Meta-Skill在达尔文的流程中加入跨轮次的长期记忆减少人工介入频率的同时保持安全性SkillLens 的 3 维 Rubric 任何方案的评估不管用哪个方案评估时都聚焦失败模式编码、可执行具体性、高风险操作黑名单这三个被证明真正有效的维度五、对 Agent Skill 生态的影响5.1 范式转移从写 Prompt到训 Skill三大方案指向同一个趋势Skill 正在从一次性撰写的静态文档变成可持续迭代的可训练资产。这不是一个渐进式的改进而是范式层面的转变维度旧范式新范式写作模式人工一次性撰写系统/Agent 迭代优化质量保证读起来觉得不错测出来确实更好版本管理很少更新每次 edit 有验证数据支撑生命周期写完即止评估→优化→验证→迁移部署形态一个 Markdown 文件一个经过训练的 Markdown 文件5.2 未来可能的发展方向Skill Market 与质量标准化当 Skill 可以被量化评估就有可能出现 Skill 的评级标准和交易市场。好看的 Skill和好用的 Skill将被区分开来Skill-as-a-Service类似模型微调服务出现专门为特定领域训练 Skill 的服务。客户只需提供领域数据和目标模型服务商输出best_skill.md从文本状态蒸馏到权重状态SkillOpt 论文已经暗示了这个方向如果一个经过训练的 Skill 能稳定提升性能其中的过程性知识理论上可以通过微调蒸馏回模型权重多 Skill 协同进化当前方案都聚焦于单个 Skill 的优化未来可能会出现 Skill 之间的相互影响分析类似基因交互以及 Skill 组合的全局优化六、总结维度SkillOpt达尔文 Skill 2.0AutoSkill一句话定位把 Skill 当模型一样训练个人版的 SkillOpt 安全带能定义 Eval 就能自动优化评估方式Benchmark 验证集评分9 维 Rubric 多评委Yes/No 二元 Eval评估信号强度★★★★★★★☆☆☆★★★☆☆安全性★★★★☆★★★★★★★★☆☆上手难度困难中等容易自动化程度全自动半自动人在回路全自动成熟度学术验证 开源开源 v2.0 工程化个人验证阶段最佳场景企业级高频重复任务个人开发者无 Benchmark快速验证 可测任务核心风险需要 Benchmark 前置评委主观偏差Eval 设计质量决定上限如果你正在构建 Agent 系统并且有多个 Skill 要维护我的建议是从最简单的地方开始。先用 AutoSkill 的思路为你的核心 Skill 设计 3-5 条 Yes/No Eval跑几轮看看效果。尝到甜头之后再根据实际需求决定是否投入资源搭 SkillOpt 级别的完整管线或者引入达尔文的安全机制作为过渡。进化的第一步不是写出完美的 Skill而是建立起可以度量改进的循环。
skill-optimization-comparison
发布时间：2026/6/8 22:28:53
当 Skill 遇上进化论SkillOpt、达尔文 Skill 与 AutoResearch 三大方案深度对比2026 年 5 月微软研究院连发两篇论文SkillLens SkillOpt把 Agent Skill 的优化从提示工程手艺推到了可训练的工程学科这个位置。差不多同一时间Karpathy 的 autoresearch 在 GitHub 上拿到 85.4K Star社区开发者花叔开源了吸收两者精华的达尔文 Skill 2.0。三条路线同一个问题怎么让 AI Skill 系统性地自我进化这篇文章从技术架构、评估哲学、适用边界和实践选型四个角度把三个方案掰开揉碎比一遍。一、背景为什么 Skill 需要进化在 Claude Code、Codex、Trae、CodeBuddy 这些 Agent 工具全面普及的当下SKILL.md已经成了定义 AI 做事方法的标准载体。但有一个尴尬的事实大多数 Skill 是一次性写完的静态文档写了就放着好坏全靠感觉LLM 评委根本靠不住。微软 SkillLens 论文的实测数据让 GPT-5.4 判断两个 Skill 哪个更好准确率只有 46.4%跟抛硬币差不多。更离谱的是在效果差距明显的配对中准确率跌到 15.8%25% 的 Skill 会造成负迁移用了反而比不用更差。ALFWorld文本交互家务任务领域这个数字高达 47%一句话写好 Skill 不容易判断 Skill 好不好更不容易。三大方案从不同角度回应了这个问题。二、方案概览2.1 Microsoft SkillOpt — 学术界的文本训练机微软研究院 上海交大/同济/复旦2026 年 5 月发布arXiv: 2605.23904。定位是企业级、Benchmark 驱动的全自动 Skill 训练框架。核心口号是Train the procedure, not the weights把自然语言 Skill 文档当作神经网络的权重来训练。SkillOpt 设计了一套完整的文本空间训练算法把深度学习的概念挨个映射过来深度学习概念SkillOpt 对应物说明参数权重 θskill.md文档被优化的目标对象前向传播Rollout 执行采样冻结模型跑任务收集轨迹反向传播Minibatch Reflection分析成功/失败轨迹生成编辑建议梯度结构化编辑指令append / insert_after / replace / delete学习率 η编辑预算 L_t每步最多允许 L_t 条编辑验证集留出选择集 D_selheld-out 数据严格评分Early StoppingValidation Gate分数不涨则拒绝动量Rejected Buffer Slow Update跨轮次记忆积累五步优化循环Step 1: Rollout执行采样 → 冻结目标模型 当前 skill.md → 在训练集上跑一批任务 → 收集完整轨迹工具调用、观测结果、验证器反馈 Step 2: Minibatch Reflection批量反思 → 优化器模型区分失败/成功轨迹 → 失败轨迹 → 提取可复现的程序性错误 → 生成修正规则 → 成功轨迹 → 提取保留模式 Step 3: Bounded Text Edit有界文本更新 → 所有编辑按预期效用排序 → 仅保留前 L_t 条类比梯度裁剪 → 防止一次大改擦除已有好规则 Step 4: Validation Gate验证门控 → 候选 skill 在 held-out 验证集上测试 → 分数严格提升 → 接受平局或下降 → 拒绝 → 被拒编辑记入 rejected buffer Step 5: Export导出 → 输出 best_skill.md通常 300-2000 token → 部署零额外开销52 个评测组合6 个 benchmark × 7 个目标模型 × 3 种执行环境SkillOpt 全部最佳或并列最佳。GPT-5.5 上直接聊天模式平均提升 23.5 分Codex 框架 24.8 分Claude Code 框架 19.1 分。单看极端案例OfficeQA 从 33.1 到 72.139.0SpreadsheetBench 从 41.8 到 80.738.9。消融实验的结果值得细看去掉学习率控制 → SearchQA -2.5 / SpreadsheetBench -1.8 / LiveMath -4.0去掉 rejected buffer → SearchQA -1.6 / SpreadsheetBench -4.6 / LiveMath -2.4去掉 meta_skill slow_update → SpreadsheetBench 从 77.5 掉到 55.0-22.5LiveMath -3.2。SpreadsheetBench 特别依赖积累的程序性知识少了这个组件就垮了迁移实验的结果也挺有意思SpreadsheetBench 技能从 GPT-5.4 迁移到 GPT-5.4-mini保留了域内增益的 82%从 Codex 迁移到 Claude Code拿到 59.7 分甚至超过了 Claude Code 域内 SkillOpt 的参考值OlympiadBench 技能迁移到 Omni-MATH三个模型规模上都正收益部署时的细节最终best_skill.md长度中位数约 920 tokens最短 379最长 1995实际被接受的编辑只有 1 到 4 次中位数 2.5。少即是多这件事SkillOpt 用数据验证了。SkillLens 那篇配套论文还有几个值得拎出来的发现LLM 无引导评判在效果差距明显δ ≥ 5%的配对中准确率只有 15.8%而且跟实际效用完全反着来越流畅的文本往往表现越差Skill 格式对效用没有显著影响Friedman 检验 p 0.34内容深度才是决定性因素把 7 维合理性标准当 Meta-Skill 注入提取器9 个单元格中 6 个退步平均下降 -0.59pp换成 3 维验证标准9 个全涨平均 1.55pp。维度多不等于好2.2 达尔文 Skill 2.0 — 个人开发者的安全进化引擎开发者花叔alchaincyf在 GitHub 上开源MIT 协议3.5K Star。面向个人开发者带 Human-in-the-loop 安全网。思路很直接吸收学术成果加人工卡口让没有 Benchmark 的普通人也能系统性优化 Skill。达尔文 Skill 的出发点是一个朴素但重要的判断微软已经证明 LLM 评委不可靠46.4% 准确率所以不能像 SkillOpt 那样全自主运行必须有人工把关。它用一个四阶段流水线做这件事每阶段之间卡一个人工确认点Phase 1: 基线评估 → 用 9 维 Rubric 评分当前 Skill → 输出评估报告 → CHECKPOINT: 人工审报告决定改什么方向 Phase 2: 单维度优化循环 → 针对得分最低维度生成改进方案 → 修改 SKILL.md → git commit → 启动 2 个独立子 Agent 重新评分共识才算数 → 涨分 → 保留跌分 → git revert 回滚 → 单轮涨幅 1 分 → 早停 → CHECKPOINT: 人工确认后再进入下一阶段 Phase 2.5 (可选): 测试验证 → 运行 test-prompts.json 实测效果 → 人工查看测试结果 Phase 3: 回归测试 → 验证优化未引入新问题 → STOP: 涨幅低于阈值强制停止 → 循环回到 Phase 2 或结束2.0 版本吸收了微软两篇论文的精华做了五个改动评分标准从 8 维升级到 9 维直接用了 SkillLens 那个 73.8% 准确率的配方。“错误处理改名为失败模式编码”要求写出明确的条件分支“明确性改名为可执行具体性”明文禁止建议/可以考虑/根据情况/灵活把握/视情况而定这五类软化措辞新增第九维高风险行动黑名单要求 Skill 必须有独立章节列出绝对不要做什么每轮 2 个独立评委打分共识才算数下一轮换全新评委避免锚定效应单轮涨幅不到 1 分就自动停手反作弊黑名单 8 条禁止同 AI 又评又改、禁止堆冗余凑分、禁止跳过测试等发现了一个有意思的现象维度之间不是独立的而是一簇。改了失败模式之后工作流维度自动从 7.5 升到 9.0。优化一个维度会带动相邻维度实测数据一次性优化了近 30 个 Skill平均涨 15 分。最高单轮 30 分steve-jobs-perspective Skill 从 64 分干到 94 分。1.0 版本的历史数据也值得一提上线一个月跑了 40 次优化平均提升 13.5 分0 次回滚。2.3 AutoResearchAutoSkill 路线— 极简主义者的Yes/No 机器Andrej Karpathy2026 年 3 月开源GitHub 85.4K Star。本来是 AI 自主研究的最小可行原型被社区迁移到了 Skill 优化场景。核心理念就四个字约束产生智能。给 Agent 最小的自由度只改一个文件、追一个指标最强的框架约束让它自主迭代。AutoResearch 的原始设计极简到只有 3 个核心文件文件角色可否修改program.md研究指令文档Agent 的操作手册由人类迭代prepare.py基础框架数据/分词器/评估逻辑固定train.py搜索空间模型架构/超参数/优化器唯一可修改文件原始工作循环Agent 修改 train.py → 固定 5 分钟墙钟时间跑实验 → 用 val_bpb每字节比特数越低越好衡量结果 → 更好 → 保留提交成为新基线 → 持平或更差 → 回滚分支继续下一轮 → 每小时约 12 次实验一夜约 100 次社区把它迁移到 Skill 场景后的玩法选定 Skill → 定义 3-6 条 Yes/No Eval 规则 → 跑分 → 分析失败点 → 小修改 → 重测 → 涨分保留 / 跌分丢弃 → 循环至稳定高分这里有一个反直觉但很管用的原则每一个 eval 必须是 yes/no 二元判断题禁止使用量表评分。好的 Eval 示例“输出是否在 150-400 字之间”“代码是否能无报错运行”“开头第一句是否包含具体时间、地点或感官细节”坏的 Eval 示例“这段文字写得好吗”太模糊“给吸引力打 1-10 分”量表不稳定实战效果某 Landing Page 文案 Skill 成功率从 56% 到 92%4 轮迭代零人工干预。另一个社区案例是页面加载时间从 1100ms 降到 67ms不过这个数据是社区转述没追溯到一手来源看看就好。三、深度对比分析3.1 评估信号三者分化的根本原因这可能是三大方案最本质的区别决定了各自的能力边界评估信号强度光谱 强 ←————————————————————————————→ 弱 SkillOpt AutoSkill 达尔文 Skill ───────── ───────── ──────────── Objective Semi-objective Subjective Benchmark Yes/No Rules AI Judge Score Task Success Binary Eval 9-dim Rubric 验证者: 验证者: 验证者: 预定义测试集 人工设计的断言 AI 多评委 (客观事实) (确定性逻辑) (主观判断)SkillOpt 的评估信号最强。它要求预先准备 Benchmark 数据集和自动化评分器每个任务都有明确的通过/不通过标准。代价是前期准备工作量大而且处理不了开放性任务。AutoSkill 的评估信号中等偏强。Yes/No 二元 Eval 本质上是人工编码的确定性逻辑定义好了就能自动判断。但信号质量取决于 Eval 设计者的水平。达尔文的评估信号最弱。它依赖 AI 评委按 Rubric 打分而微软自己的论文已经证明这种主观评分的准确率上限在 73.8% 左右。好处是零前置成本不需要 Benchmark不需要设计 Eval拿来就能用。3.2 技术完备度对比维度SkillOpt达尔文 SkillAutoSkill有界编辑/学习率完整实现简化版单维修改早停单文件修改天然有界验证门控held-out 验证集AI 评分替代Keep/Discard 二元决策负反馈记忆Rejected Buffer反模式黑名单无丢弃即遗忘跨轮次学习Meta-Skill Slow Update无无无状态多样性保护学习率衰减策略评委轮换无人工介入全自动三层 Checkpoint仅设计阶段代码量/复杂度高完整训练管线中多 Agent 编排极低核心 3 文件SkillOpt 在技术完备度上跑在最前面它基本上把深度学习训练的完整工具箱搬到了文本空间。但这套工具箱的维护成本也最高。AutoSkill 走的是另一个极端用最低的复杂度解决核心问题。达尔文介于两者之间。3.3 人工角色演变三种方案代表了三种不同的人机协作方式方案人类角色类比适用人群SkillOpt训练数据/Benchmark 的制备者教练制定训练计划后离场企业工程团队达尔文关键决策点的最终裁判导师逐章批改作业个人开发者AutoSkillEval 规则的设计者考官出试卷后 Agent 自己刷题有明确质量标准的实践者一个有意思的观察三者的人类工作量重心在不同阶段。SkillOpt 的人类工作重在前端准备 Benchmark后端全自动达尔文的人类贯穿全程每个 Checkpoint 都要确认AutoSkill 的人类也重在前端设计 Eval 规则后端全自动但不如 SkillOpt 那么完整。3.4 安全机制对比安全风险SkillOpt达尔文AutoSkill改坏怎么办Validation Gate 拒绝git revert 回滚git branch 丢弃过拟合怎么办held-out 验证集多评委共识 人工审核不适用Eval 即真理堆冗余怎么办编辑预算限制单轮涨幅1分早停跌分即 Discard评委偏见怎么办不用评委用 Benchmark每轮换新评委不用评委用确定逻辑方向走偏怎么办Rejected Buffer 负反馈人工强制卡口连续 Discard 缩小搜索空间旧能力丢失学习率控制 Slow Update单维度逐一优化单文件修改天然保护3.5 局限性与适用边界SkillOpt 的局限强依赖 Benchmark必须预定义测试集和评分器创意写作、战略规划这种开放性任务它搞不了部署门槛高需要完整的训练管线目标模型 优化器模型 执行环境 数据集25% 负迁移风险即使训练出的 Skill 也可能在新场景下表现更差成本不低每次 rollout 都要调用目标模型执行任务大规模训练需要大量 API 调用最适合高频重复、结果可量化评分的企业级任务合同审查、表格核验、客服工单、财务异常排查、知识库问答质检达尔文 Skill 的局限评估信号弱AI 评委的主观偏差是结构性问题不是工程手段能解决的人工介入频繁CheckPoint 设计虽然安全但也意味着你不能挂着睡觉缺少跨轮次学习能力没有类似 Meta-Skill 的长期记忆机制每轮相对独立规模有限当前适合个人开发者的几十个 Skill 量级百级以上没验证过最适合个人开发者、没有 Benchmark 的场景、需要把控优化方向的谨慎型用户AutoSkill 的局限Eval 设计能力决定上限如果人工设计的 Eval 规则本身有问题整个优化过程都会走偏无负反馈记忆被 Discard 的修改直接丢弃不会记录为什么不行无状态持久化每轮优化之间没有知识积累类似纯随机搜索加生存选择。不过 autoresearch 原始场景中的program.md人类维护的指令文件可以在跨轮次间保留经验泛化性未经验证目前主要是个人实践案例缺乏系统的消融实验最适合快速验证想法、有明确质量标准的任务、追求极简工作流的开发者四、演进关系与实践选型4.1 三条路线的演进脉络2026.03 Karpathy 发布 autoresearch │ 核心思想约束 二元决策 自动迭代 │ 85.4K Star证明AI 可以自主做研究的概念 │ ├──→ 社区迁移浪潮autoresearch 方法论被应用到 Skill 以外的场景 │ └──→ AutoSkill 路线诞生轻量、Yes/No Eval │ 特征极简至上、半天上手、快速见效 │ 2026.05 微软发布 SkillLens SkillOpt 双论文 │ 核心发现LLM 评委不可靠 完整训练纪律有效 │ 52/52 评测全胜 │ ├──→ 学术界路线成熟SkillOpt 成为新范式标杆 │ 特征最严谨、最强信号、最高门槛 │ └──→ 花叔吸收两者精华 └──→ 达尔文 Skill 2.0 诞生 - 评估采用 SkillLens 的 9 维 Rubric - 流程对齐 SkillOpt 的多评委/早停/预算控制 - 差异加入 Human-in-the-loop 安全卡口 - 定位个人版 SkillOpt这三者不是竞争关系而是互补关系覆盖了不同的精度-成本-安全权衡区间高 安全性 │ │ 达尔文 │ │ SkillOpt │ 低 │─────────────── AutoSkill 低 高 评估信号强度 / 自动化程度4.2 选型决策树你有预定义的 Benchmark 吗 ├── 是 → 你能接受较高的部署复杂度吗 │ ├── 是 → 用 SkillOpt最强效果企业级保障 │ └── 否 → 用 AutoSkill简化版Yes/No Eval 替代 Benchmark └── 否 → 你能接受每个阶段人工确认吗 ├── 是 → 用达尔文 SkillHuman-in-the-loop 安全可控 └── 否 → 先用 AutoSkill 快速搭个最小 Eval 集合 后续再视情况升级到其他方案4.3 组合使用的可能性三个方案的理念可以组合使用AutoSkill 的 Eval 设计 SkillOpt 的 Validation Gate用二元 Eval 作为轻量级 Benchmark加上验证集门控兼顾低成本和高可靠达尔文的 Human-in-the-loop SkillOpt 的 Meta-Skill在达尔文的流程中加入跨轮次的长期记忆减少人工介入频率的同时保持安全性SkillLens 的 3 维 Rubric 任何方案的评估不管用哪个方案评估时都聚焦失败模式编码、可执行具体性、高风险操作黑名单这三个被证明真正有效的维度五、对 Agent Skill 生态的影响5.1 范式转移从写 Prompt到训 Skill三大方案指向同一个趋势Skill 正在从一次性撰写的静态文档变成可持续迭代的可训练资产。这不是一个渐进式的改进而是范式层面的转变维度旧范式新范式写作模式人工一次性撰写系统/Agent 迭代优化质量保证读起来觉得不错测出来确实更好版本管理很少更新每次 edit 有验证数据支撑生命周期写完即止评估→优化→验证→迁移部署形态一个 Markdown 文件一个经过训练的 Markdown 文件5.2 未来可能的发展方向Skill Market 与质量标准化当 Skill 可以被量化评估就有可能出现 Skill 的评级标准和交易市场。好看的 Skill和好用的 Skill将被区分开来Skill-as-a-Service类似模型微调服务出现专门为特定领域训练 Skill 的服务。客户只需提供领域数据和目标模型服务商输出best_skill.md从文本状态蒸馏到权重状态SkillOpt 论文已经暗示了这个方向如果一个经过训练的 Skill 能稳定提升性能其中的过程性知识理论上可以通过微调蒸馏回模型权重多 Skill 协同进化当前方案都聚焦于单个 Skill 的优化未来可能会出现 Skill 之间的相互影响分析类似基因交互以及 Skill 组合的全局优化六、总结维度SkillOpt达尔文 Skill 2.0AutoSkill一句话定位把 Skill 当模型一样训练个人版的 SkillOpt 安全带能定义 Eval 就能自动优化评估方式Benchmark 验证集评分9 维 Rubric 多评委Yes/No 二元 Eval评估信号强度★★★★★★★☆☆☆★★★☆☆安全性★★★★☆★★★★★★★★☆☆上手难度困难中等容易自动化程度全自动半自动人在回路全自动成熟度学术验证 开源开源 v2.0 工程化个人验证阶段最佳场景企业级高频重复任务个人开发者无 Benchmark快速验证 可测任务核心风险需要 Benchmark 前置评委主观偏差Eval 设计质量决定上限如果你正在构建 Agent 系统并且有多个 Skill 要维护我的建议是从最简单的地方开始。先用 AutoSkill 的思路为你的核心 Skill 设计 3-5 条 Yes/No Eval跑几轮看看效果。尝到甜头之后再根据实际需求决定是否投入资源搭 SkillOpt 级别的完整管线或者引入达尔文的安全机制作为过渡。进化的第一步不是写出完美的 Skill而是建立起可以度量改进的循环。
_kaic)
_kaic)
