编者摘要2026 年 3 月 LangChain 发布的这篇博客核心分享了编码智能体技能的定义、标准化评估流水线及实操最佳实践旨在解决技能研发中的有效性验证问题。技能是为提升智能体特定领域性能、通过渐进式披露动态加载的指令 / 脚本 / 资源本质为动态提示词因会影响智能体行为需像测试 LLM 提示词一样系统评估。博客提出五步基础评估流水线定义目标任务、开发适配技能、对比智能体有无技能的任务执行表现进而迭代技能。落地核心分为四大步骤且全程以 LangSmith 为核心工具支撑一是搭建 Docker 等干净可复现的测试环境消除智能体启动条件敏感的影响二是基于实际失败案例设计有约束的任务搭配技能调用情况、任务完成度等量化指标避免过度设计任务难度三是科学设计技能通过 XML 标签实现模块化、依托 AGENTS.md 提升调用可靠性、平衡技能数量与内容分布四是设计多组测试用例对比性能借助 LangSmith 捕获智能体执行轨迹实现可观测性让智能体自主分析失败原因形成研发迭代闭环。测试数据显示Claude Code 有技能时任务完成率达 82%无技能仅 9%。博客最终指出技能是提升编码智能体能力的有效方式而干净的测试环境、标准化任务指标、科学的技能设计及基于 LangSmith 的可观测性是搭建评估流水线的关键量化评估与可观测性更是技能高效迭代的核心这篇发布于 2026 年 3 月 5 日的 LangChain 官方博客由 Robert Xu 撰写核心围绕编码智能体Coding Agent的技能Skills评估展开详细定义了技能的概念提出了技能评估的基础流水线并分享了落地该流水线的四大核心步骤与最佳实践同时结合 LangSmith 平台的能力阐述了如何实现技能的高效测试与迭代以下是内容的详细总结一、背景与技能Skills的定义研发背景LangChain 为 Codex、Claude Code、Deep Agents CLI 等编码智能体打造适配 LangChain/LangSmith 生态的技能而技能的有效性验证是研发核心目前几乎所有企业都在探索为编码智能体开发技能技能评估成为通用需求。技能的定义是经整理的指令、脚本和资源用于提升智能体在特定领域的性能核心特性为渐进式披露的动态加载—— 仅当技能与当前任务相关时智能体才会调取解决了 “给智能体过多工具导致性能下降” 的问题。技能的本质与测试必要性实际可视为智能体需要时动态加载的提示词Prompt其会对智能体行为产生不可预期的影响因此需像测试 LLM 提示词一样验证 “哪些技能能提升性能”“哪些内容修改的优化效果最显著”。二、技能评估的基础流水线LangChain 提出的标准化评估流程共 5 步核心是对比智能体在 “有无技能” 下的表现并持续迭代技能定义希望 Claude Code 等编码智能体完成的目标任务开发适配这些任务的对应技能让智能体在无技能的情况下执行任务让智能体在有技能的情况下执行相同任务对比两次执行的性能表现对技能进行优化迭代。三、技能评估的四大步骤与最佳实践博客将基础流水线落地为四大可执行步骤每个步骤均给出实操指南、避坑点和代码 / 案例示例是全文的核心内容。步骤 1搭建干净、可复现的测试环境核心原因测试技能本质是测试智能体能否有效利用技能信息而编码智能体 / 工具集的行动空间大且对启动条件高度敏感如 Claude Code 会先探索目录目录内容会影响其执行策略因此一致、干净的环境是测试可复现的关键。实操方案LangChain 采用轻量级 Docker 脚手架运行 Claude Code并提供了对应的 Python 实现代码也可选择 Harbor 或其他沙箱环境替代。核心代码给出run_claude_in_docker函数实现 Docker 中 Claude CLI 的运行支持指定测试目录、提示词、超时时间和模型处理了 Docker 不可用、运行超时等异常情况。步骤 2定义标准化的测试任务摒弃 “凭感觉判断性能” 的方式通过明确、可量化的任务建立系统基准避免性能退化核心原则有 3 点创建有约束的任务问题开放式输出难以评分且对智能体设计过度规定会否定有效解决方案方案选择修复有 bug 的代码这类任务缩小智能体的设计空间便于验证正确性若修复后仍在预定义测试中出现 bug可直接判定失败。为任务匹配清晰的量化指标核心跟踪指标均通过 LangSmith 评估记录技能是否被正确调用相关时调用、无关时不调用任务是否完成统计完成步骤数区分 “完全失败” 和 “接近成功”完成任务的轮次衡量效率完成任务的实际耗时更精准的效率指标价值实现技能对智能体性能提升的量化为迭代提供数据支撑。避免过度设计任务难度原则编码智能体本身的问题解决能力已很强若任务过于复杂 / 对抗性测试的将是智能体能力而非技能有效性方案基于智能体的实际失败案例设计任务打造 “能引发失败的最直接测试用例”如针对 Claude Code 无法向 LangSmith 上传评估器的问题设计 “基于数据集创建轨迹评估器并上传至 LangSmith” 的任务。案例与评分代码给出 LangChain/LangSmith 相关的示例任务创建轨迹数据集 评估器并上传并提供check_accuracy评分函数通过对比智能体输出与真实值ground truth验证结果正确性。步骤 3科学定义与设计技能内容核心解决 **“技能内容包含什么、放在哪里”** 的问题技能研发常伴随预加载的 AGENTS.md/CLAUDE.md 文件需明确内容的存放位置和拆分方式核心指南有 3 点让技能模块化实现方式用 XML 标签划分技能的不同内容板块便于替换 / 移除板块进行 A/B 测试实践发现300-500 行的大型技能中小的格式 / 措辞修改如正面 / 负面引导、markdown/XML 标签对性能影响极小迭代时建议修改一个或多个板块而非精细化优化。充分利用 AGENTS.md 和 CLAUDE.md解决问题技能的调用可靠性低如 Claude Code 曾完全不调用 “langchain agents” 技能即使加提示词调用率也仅 70%方案因这两个文件会被可靠加载到上下文可在其中写入技能的调用规则何时 / 如何调用以及多技能协同使用的指导实现技能的稳定调用提升任务通过率并减少执行轮次。平衡技能间的内容分布核心要点技能名称和描述决定智能体的调用准确性测试发现20 个相似 LangGraph 技能会导致智能体调错而 12 个技能时调用完全准确平衡原则少量技能整合内容会提升加载一致性但会让智能体读取无关内容多技能拆分则相反需通过测试找到最优平衡。步骤 4运行测试并对比性能表现核心是多组合测试 结合 LangSmith 实现可观测性 基于结果迭代具体实操设计多组测试用例设置对照组无技能、全技能组、技能整合成少数大技能组、技能拆分为多个小技能组覆盖不同的技能使用场景。量化对比性能通过 LangSmith 的 pytest 集成对比各组任务完成率核心数据Claude Code 有技能时任务完成率 82%无技能时仅 9%且不同的技能拆分 / 整合方式在不同任务上的表现有差异。实现智能体轨迹的可观测性解决问题难以理解 Docker 中 Claude Code 的执行行为和失败原因方案将 LangSmith 与测试集成捕获智能体的所有行动读取的文件、创建的脚本、技能调用情况实现执行轨迹的全链路追踪。高效迭代技能让 Claude Code 利用自身的追踪技能分析 LangSmith 中的轨迹数据自动总结失败问题研发人员基于总结提出修复方案重新测试后在 LangSmith 的实验门户中查看性能变化形成迭代闭环。四、结论技能是提升 Codex、Claude Code、Deep Agents CLI 等编码智能体能力的有效方式可解决智能体 “工具过多导致性能下降” 的问题与 LLM 提示词、智能体其他组件一致技能必须经过系统的评估与测试才能保证有效性无评估的技能无法落地使用搭建技能评估流水线的关键干净的测试环境、标准化的任务与指标、科学的技能设计、基于 LangSmith 的可观测性与性能对比对于编码智能体的技能研发**“可观测性” 和 “量化评估”** 是核心尤其针对 Claude Code 这类高性能智能体只有明确其执行轨迹和失败原因才能实现技能的高效迭代。五、工具支撑全文围绕LangSmith展开其作为 LangChain 的可观测性与评估平台承担了指标跟踪、轨迹捕获、实验对比、结果可视化的核心作用是技能评估流水线落地的关键工具同时其 pytest 集成、实验门户等功能实现了测试的自动化与迭代的高效化。AI行业迎来前所未有的爆发式增长从DeepSeek百万年薪招聘AI研究员到百度、阿里、腾讯等大厂疯狂布局AI Agent再到国家政策大力扶持数字经济和AI人才培养所有信号都在告诉我们AI的黄金十年真的来了在行业火爆之下AI人才争夺战也日趋白热化其就业前景一片蓝海我给大家准备了一份全套的《AI大模型零基础入门进阶学习资源包》包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。有需要的小伙伴可以V扫描下方二维码免费领取人才缺口巨大人力资源社会保障部有关报告显示据测算当前****我国人工智能人才缺口超过500万****供求比例达1∶10。脉脉最新数据也显示AI新发岗位量较去年初暴增29倍超1000家AI企业释放7.2万岗位……单拿今年的秋招来说各互联网大厂释放出来的招聘信息中我们就能感受到AI浪潮比如百度90%的技术岗都与AI相关就业薪资超高在旺盛的市场需求下AI岗位不仅招聘量大薪资待遇更是“一骑绝尘”。企业为抢AI核心人才薪资给的非常慷慨过去一年懂AI的人才普遍涨薪40%脉脉高聘发布的《2025年度人才迁徙报告》显示在2025年1月-10月的高薪岗位Top20排行中AI相关岗位占了绝大多数并且平均薪资月薪都超过6w在去年的秋招中小红书给算法相关岗位的薪资为50k起字节开出228万元的超高年薪据《2025年秋季校园招聘白皮书》AI算法类平均年薪达36.9万遥遥领先其他行业总结来说当前人工智能岗位需求多薪资高前景好。在职场里选对赛道就能赢在起跑线。抓住AI风口轻松实现高薪就业但现实却是仍有很多同学不知道如何抓住AI机遇会遇到很多就业难题比如❌ 技术过时只会CRUD的开发者在AI浪潮中沦为“职场裸奔者”❌ 薪资停滞初级岗位内卷到白菜价传统开发3年经验薪资涨幅不足15%❌ 转型无门想学AI却找不到系统路径83%自学党中途放弃。他们的就业难题解决问题的关键在于不仅要选对赛道更要跟对老师我给大家准备了一份全套的《AI大模型零基础入门进阶学习资源包》包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。有需要的小伙伴可以V扫描下方二维码免费领取
LangChain：编码智能体技能评估5步法，Claude Code效率提升91%！
发布时间：2026/7/12 7:36:33
编者摘要2026 年 3 月 LangChain 发布的这篇博客核心分享了编码智能体技能的定义、标准化评估流水线及实操最佳实践旨在解决技能研发中的有效性验证问题。技能是为提升智能体特定领域性能、通过渐进式披露动态加载的指令 / 脚本 / 资源本质为动态提示词因会影响智能体行为需像测试 LLM 提示词一样系统评估。博客提出五步基础评估流水线定义目标任务、开发适配技能、对比智能体有无技能的任务执行表现进而迭代技能。落地核心分为四大步骤且全程以 LangSmith 为核心工具支撑一是搭建 Docker 等干净可复现的测试环境消除智能体启动条件敏感的影响二是基于实际失败案例设计有约束的任务搭配技能调用情况、任务完成度等量化指标避免过度设计任务难度三是科学设计技能通过 XML 标签实现模块化、依托 AGENTS.md 提升调用可靠性、平衡技能数量与内容分布四是设计多组测试用例对比性能借助 LangSmith 捕获智能体执行轨迹实现可观测性让智能体自主分析失败原因形成研发迭代闭环。测试数据显示Claude Code 有技能时任务完成率达 82%无技能仅 9%。博客最终指出技能是提升编码智能体能力的有效方式而干净的测试环境、标准化任务指标、科学的技能设计及基于 LangSmith 的可观测性是搭建评估流水线的关键量化评估与可观测性更是技能高效迭代的核心这篇发布于 2026 年 3 月 5 日的 LangChain 官方博客由 Robert Xu 撰写核心围绕编码智能体Coding Agent的技能Skills评估展开详细定义了技能的概念提出了技能评估的基础流水线并分享了落地该流水线的四大核心步骤与最佳实践同时结合 LangSmith 平台的能力阐述了如何实现技能的高效测试与迭代以下是内容的详细总结一、背景与技能Skills的定义研发背景LangChain 为 Codex、Claude Code、Deep Agents CLI 等编码智能体打造适配 LangChain/LangSmith 生态的技能而技能的有效性验证是研发核心目前几乎所有企业都在探索为编码智能体开发技能技能评估成为通用需求。技能的定义是经整理的指令、脚本和资源用于提升智能体在特定领域的性能核心特性为渐进式披露的动态加载—— 仅当技能与当前任务相关时智能体才会调取解决了 “给智能体过多工具导致性能下降” 的问题。技能的本质与测试必要性实际可视为智能体需要时动态加载的提示词Prompt其会对智能体行为产生不可预期的影响因此需像测试 LLM 提示词一样验证 “哪些技能能提升性能”“哪些内容修改的优化效果最显著”。二、技能评估的基础流水线LangChain 提出的标准化评估流程共 5 步核心是对比智能体在 “有无技能” 下的表现并持续迭代技能定义希望 Claude Code 等编码智能体完成的目标任务开发适配这些任务的对应技能让智能体在无技能的情况下执行任务让智能体在有技能的情况下执行相同任务对比两次执行的性能表现对技能进行优化迭代。三、技能评估的四大步骤与最佳实践博客将基础流水线落地为四大可执行步骤每个步骤均给出实操指南、避坑点和代码 / 案例示例是全文的核心内容。步骤 1搭建干净、可复现的测试环境核心原因测试技能本质是测试智能体能否有效利用技能信息而编码智能体 / 工具集的行动空间大且对启动条件高度敏感如 Claude Code 会先探索目录目录内容会影响其执行策略因此一致、干净的环境是测试可复现的关键。实操方案LangChain 采用轻量级 Docker 脚手架运行 Claude Code并提供了对应的 Python 实现代码也可选择 Harbor 或其他沙箱环境替代。核心代码给出run_claude_in_docker函数实现 Docker 中 Claude CLI 的运行支持指定测试目录、提示词、超时时间和模型处理了 Docker 不可用、运行超时等异常情况。步骤 2定义标准化的测试任务摒弃 “凭感觉判断性能” 的方式通过明确、可量化的任务建立系统基准避免性能退化核心原则有 3 点创建有约束的任务问题开放式输出难以评分且对智能体设计过度规定会否定有效解决方案方案选择修复有 bug 的代码这类任务缩小智能体的设计空间便于验证正确性若修复后仍在预定义测试中出现 bug可直接判定失败。为任务匹配清晰的量化指标核心跟踪指标均通过 LangSmith 评估记录技能是否被正确调用相关时调用、无关时不调用任务是否完成统计完成步骤数区分 “完全失败” 和 “接近成功”完成任务的轮次衡量效率完成任务的实际耗时更精准的效率指标价值实现技能对智能体性能提升的量化为迭代提供数据支撑。避免过度设计任务难度原则编码智能体本身的问题解决能力已很强若任务过于复杂 / 对抗性测试的将是智能体能力而非技能有效性方案基于智能体的实际失败案例设计任务打造 “能引发失败的最直接测试用例”如针对 Claude Code 无法向 LangSmith 上传评估器的问题设计 “基于数据集创建轨迹评估器并上传至 LangSmith” 的任务。案例与评分代码给出 LangChain/LangSmith 相关的示例任务创建轨迹数据集 评估器并上传并提供check_accuracy评分函数通过对比智能体输出与真实值ground truth验证结果正确性。步骤 3科学定义与设计技能内容核心解决 **“技能内容包含什么、放在哪里”** 的问题技能研发常伴随预加载的 AGENTS.md/CLAUDE.md 文件需明确内容的存放位置和拆分方式核心指南有 3 点让技能模块化实现方式用 XML 标签划分技能的不同内容板块便于替换 / 移除板块进行 A/B 测试实践发现300-500 行的大型技能中小的格式 / 措辞修改如正面 / 负面引导、markdown/XML 标签对性能影响极小迭代时建议修改一个或多个板块而非精细化优化。充分利用 AGENTS.md 和 CLAUDE.md解决问题技能的调用可靠性低如 Claude Code 曾完全不调用 “langchain agents” 技能即使加提示词调用率也仅 70%方案因这两个文件会被可靠加载到上下文可在其中写入技能的调用规则何时 / 如何调用以及多技能协同使用的指导实现技能的稳定调用提升任务通过率并减少执行轮次。平衡技能间的内容分布核心要点技能名称和描述决定智能体的调用准确性测试发现20 个相似 LangGraph 技能会导致智能体调错而 12 个技能时调用完全准确平衡原则少量技能整合内容会提升加载一致性但会让智能体读取无关内容多技能拆分则相反需通过测试找到最优平衡。步骤 4运行测试并对比性能表现核心是多组合测试 结合 LangSmith 实现可观测性 基于结果迭代具体实操设计多组测试用例设置对照组无技能、全技能组、技能整合成少数大技能组、技能拆分为多个小技能组覆盖不同的技能使用场景。量化对比性能通过 LangSmith 的 pytest 集成对比各组任务完成率核心数据Claude Code 有技能时任务完成率 82%无技能时仅 9%且不同的技能拆分 / 整合方式在不同任务上的表现有差异。实现智能体轨迹的可观测性解决问题难以理解 Docker 中 Claude Code 的执行行为和失败原因方案将 LangSmith 与测试集成捕获智能体的所有行动读取的文件、创建的脚本、技能调用情况实现执行轨迹的全链路追踪。高效迭代技能让 Claude Code 利用自身的追踪技能分析 LangSmith 中的轨迹数据自动总结失败问题研发人员基于总结提出修复方案重新测试后在 LangSmith 的实验门户中查看性能变化形成迭代闭环。四、结论技能是提升 Codex、Claude Code、Deep Agents CLI 等编码智能体能力的有效方式可解决智能体 “工具过多导致性能下降” 的问题与 LLM 提示词、智能体其他组件一致技能必须经过系统的评估与测试才能保证有效性无评估的技能无法落地使用搭建技能评估流水线的关键干净的测试环境、标准化的任务与指标、科学的技能设计、基于 LangSmith 的可观测性与性能对比对于编码智能体的技能研发**“可观测性” 和 “量化评估”** 是核心尤其针对 Claude Code 这类高性能智能体只有明确其执行轨迹和失败原因才能实现技能的高效迭代。五、工具支撑全文围绕LangSmith展开其作为 LangChain 的可观测性与评估平台承担了指标跟踪、轨迹捕获、实验对比、结果可视化的核心作用是技能评估流水线落地的关键工具同时其 pytest 集成、实验门户等功能实现了测试的自动化与迭代的高效化。AI行业迎来前所未有的爆发式增长从DeepSeek百万年薪招聘AI研究员到百度、阿里、腾讯等大厂疯狂布局AI Agent再到国家政策大力扶持数字经济和AI人才培养所有信号都在告诉我们AI的黄金十年真的来了在行业火爆之下AI人才争夺战也日趋白热化其就业前景一片蓝海我给大家准备了一份全套的《AI大模型零基础入门进阶学习资源包》包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。有需要的小伙伴可以V扫描下方二维码免费领取人才缺口巨大人力资源社会保障部有关报告显示据测算当前****我国人工智能人才缺口超过500万****供求比例达1∶10。脉脉最新数据也显示AI新发岗位量较去年初暴增29倍超1000家AI企业释放7.2万岗位……单拿今年的秋招来说各互联网大厂释放出来的招聘信息中我们就能感受到AI浪潮比如百度90%的技术岗都与AI相关就业薪资超高在旺盛的市场需求下AI岗位不仅招聘量大薪资待遇更是“一骑绝尘”。企业为抢AI核心人才薪资给的非常慷慨过去一年懂AI的人才普遍涨薪40%脉脉高聘发布的《2025年度人才迁徙报告》显示在2025年1月-10月的高薪岗位Top20排行中AI相关岗位占了绝大多数并且平均薪资月薪都超过6w在去年的秋招中小红书给算法相关岗位的薪资为50k起字节开出228万元的超高年薪据《2025年秋季校园招聘白皮书》AI算法类平均年薪达36.9万遥遥领先其他行业总结来说当前人工智能岗位需求多薪资高前景好。在职场里选对赛道就能赢在起跑线。抓住AI风口轻松实现高薪就业但现实却是仍有很多同学不知道如何抓住AI机遇会遇到很多就业难题比如❌ 技术过时只会CRUD的开发者在AI浪潮中沦为“职场裸奔者”❌ 薪资停滞初级岗位内卷到白菜价传统开发3年经验薪资涨幅不足15%❌ 转型无门想学AI却找不到系统路径83%自学党中途放弃。他们的就业难题解决问题的关键在于不仅要选对赛道更要跟对老师我给大家准备了一份全套的《AI大模型零基础入门进阶学习资源包》包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。有需要的小伙伴可以V扫描下方二维码免费领取
