最近半年我一直在折腾一个方向怎么让 AI 智能体真的能“做科研”而不是只会“聊科研”。试过不少人开箱即用的 Agent 框架也踩过把数据集喂给模型、让它写综述、再让它出实验方案——结果方案漂亮得像教科书但根本没法落地执行的坑。后来我接触到一个思路叫Scientific Agent Skills核心就一句话把“科学方法”本身拆成一堆可调用、可校验、可复用的技能然后挂到任意一个通用 AI 智能体上。这篇博文就把我自己的实践过程、踩坑记录和重构方案完整写出来。适合正在做 AI Agent 开发、智能体应用落地或者想用 AI 辅助科研但又不想被“一本正经胡说八道”坑到的朋友。不涉及任何平台绑定用的是通用思路无论你跑的是开源框架还是商业智能体平台都能参考。1. Scientific Agent Skills 到底解决什么问题1.1 科研场景里智能体最容易“翻车”的三个瞬间先说一个真实经历。我让一个通用智能体帮我分析一组材料合成实验的数据给了它 200 行 CSV要求它给出“最优配方建议”。它回复得特别流畅先总结数据分布再提了几个统计指标最后给出结论——“提高温度可以显著提升产率”。听起来没毛病对吧但它犯了一个科研场景的大忌它把“相关性”直接说成了“因果性”。数据里温度和产率确实正相关可这批数据的温度范围本身就跟着催化剂种类在变压根是混淆变量。如果我真按它的结论去改工艺会浪费至少两轮实验。这样的翻车在科研场景里太多了我总结了三个高频瞬间第一读文献阶段。你让智能体总结 20 篇论文它能给你生成一份看似全面的综述但里面经常混着“某研究表明”和“某综述提到”的边界模糊表述模型根本分不清这是原始实验结论还是二手解读。第二设计实验阶段。它给出的方案往往停留在“控制变量、设置对照组、每组重复三次”这种理论正确的话上但如果追问“具体控制哪几个变量、重复次数依据是什么、随机化怎么做”它就露馅了开始给你编参数。第三分析结论阶段。模型天生倾向于“顺着说”你给它一个预期它就会在数据里找出支持这个预期的证据反过来把异常点当噪声丢掉。这在探索性研究里非常致命。这些问题的根子不在模型不够聪明而在于我们只给了它一个对话窗口没给它一套“做科研的流程约束”。1.2 为什么叫“技能”而不是“提示词”我在最早尝试这个方向时走的也是老路写好几十条 prompt塞进 System Prompt 里想用提示词约束模型按科学流程走。结果发现效果很不稳定换个模型或者换个问法它就放飞自我了。后来我才想明白一个关键区别提示词是“一次性问答协议”技能是“可编程的工具接口”。提示词的本质是用自然语言约束模型的行为边界但自然语言本身就是模糊的。你写“请先提出假设再设计实验验证”模型可能确实会先输出假设但它不会真正去执行一个实验——它只是在“模拟”一个做了实验的人会说什么。而技能的本质是把标准操作程序变成真正的函数调用。比如“run_experiment”这个技能接收的是参数化输入变量配置、样本量、随机种子。它内部要做的是真正调用仿真器、调用外部 API或者生成一段可执行的代码去跑数据。模型不能“假装”执行了实验因为它只有调用了这个函数、拿到了返回结果才能继续往下走。我做一个不那么严谨但很好理解的类比提示词像是你问路对方给你指了个方向技能像是你考了驾照方向盘、油门、刹车都是标准化的不存在“我觉得我踩了刹车但其实没踩”的可能。这种设计带来三个直接好处。第一每个技能都可以单独测试和调优不依赖模型临场发挥。第二模型只能消费技能返回的真实结果极大减少了“脑补数据”的空间。第三技能可以跨模型复用同一个技能库放在 GPT 上能用换到开源模型上也能用——这才是“把任意智能体变成 AI 科学家”的真正含义。2. 技能体系设计把科学方法拆成可执行模块2.1 假设生成让智能体先学会“问对问题”整个技能体系里我花时间最多、迭代次数也最多的其实是看起来最“软”的模块假设生成。原因很简单科研流程的第一步错了后面全错。如果智能体提出的假设本身不可证伪或者根本不在可操作范围内那后续的实验设计、数据采集全是在浪费时间。我最初用过一个很粗暴的版本直接问大模型“根据这些文献提出三个假设”。结果它提出来的假设全是教科书级别的正确废话比如“温度对反应速率有显著影响”——这不能算错但它没有信息量说了等于没说。后来我重新设计了 generate_hypothesis 技能它的核心不是让模型自由发挥而是让它严格走一条“从输入到输出”的加工链路。技能输入包括三部分背景文献摘要、已有数据的变量清单、以及一个“可操作变量池”。所谓可操作变量池就是当前实验环境里真正能改的参数比如温度范围、配比、压力、时间而不是模型自己脑补出来的“反应机理”之类不可直接操作的东西。技能内部会分四步处理。第一步让模型基于文献提取出关键变量关系和未知问题这一步用的还是自然语言能力。第二步把提取出的关系和可操作变量池做笛卡尔积匹配筛选出“模型提了但变量池里有对应项”的假设——这一步已经开始用代码逻辑做事了。第三步做可证伪性校验规则很简单如果这个假设找不到一组可行的实验条件能判定它为假那就直接打回。第四步输出结构化假设对象包含假设描述、涉及的变量、预期方向和验证条件。这么一改之后智能体提出的假设明显从“作文”变成了“实验方案草案”。比如它输出的是“在催化剂 A 体系下将反应温度从 60°C 提升到 80°C产率预期提升 15% 以上验证条件为固定压力 1 atm、反应时间 2 小时、搅拌速率 400 rpm。”这才是可以直接进入实验设计环节的输入。2.2 实验设计与执行从“想”到“做”的关键一跳假设生成之后下一个技能是实验设计我把它拆得比很多人想象中更细。设计实验技能的核心是一个参数矩阵生成器。它接收假设对象里定义的变量和范围然后输出一张完整的实验计划表每一组实验的参数组合、重复次数、执行顺序。这一块我用的是经典的实验设计方法不是让模型自由发挥而是让模型去“选择”合适的实验设计策略再由代码做矩阵展开。具体来说我在技能里预置了三种策略全因子设计、部分因子设计和正交设计。智能体需要根据变量数量和实验成本来选。比如变量只有两个每组重复三次全因子也就几十组实验那就直接用全因子如果变量有六个全因子根本跑不动就必须让模型调用正交表生成逻辑选出代表性组合。这一模块我强烈建议做成“模型选策略、代码做计算”的混合模式。不要让大模型直接生成实验参数表因为模型做算术真的不靠谱它经常会给出超出变量范围的参数或者把重复次数算漏。让模型只输出策略类型和关键参数然后由确定性的 Python 代码生成矩阵这个问题就彻底消失了。实验执行技能则更简单也更硬核它负责把实验计划表里的每一行翻译成真实可执行的指令。如果实验跑在仿真环境里它就调用仿真器接口如果实验跑在真实设备上它就走自动化脚本或者生成人工操作工单。这里要强调一个我的经验执行技能的返回值必须包含原始数据而不是加工后的结论。比如跑完一组实验返回的不应该是“产率较高”这种描述而应该是完整的传感器读数、时间序列、产物质量等原始值。后续的数据分析技能需要这些原始值而且存档归档也需要原始值任何提前加工都是在给后面的步骤埋雷。2.3 数据分析与结论沉淀闭环最后一步实验数据拿到手之后数据分析和结论沉淀可以拆成两个技能但设计思路是一致的先做描述统计和可视化再做推断统计最后把结论结构化回写。描述统计这块我让智能体输出每个变量的均值、标准差、极差并自动生成箱线图和散点图。这个直接用 Python 的数据分析库就能做没什么门槛。推断统计才是灵魂。我的 analyze_results 技能里内置了一条规则任何结论必须同时报告效应量和置信区间不能只给 p 值。我追加这条规则是因为踩过坑之前让智能体做两组数据的差异显著性检验它报告 p 0.04说“有显著差异”但效应量算出来只有 0.1实际上小得可怜。如果只报 p 值读者很容易被误导。技能内部会调用 scipy 或 statsmodels 做检验然后强制计算 Cohens d 或 eta squared 这类效应量指标。如果效应量低于阈值无论 p 值多小技能都会在结论里标注“实际效应可能极小建议谨慎解读”。结论沉淀技能则是把整个实验闭环收口的关键。它负责把假设、实验计划、原始数据、分析结果、最终结论组装成一份结构化的实验报告同时写入实验记录库。我更看重的是最后一步把这次的结论和当初的假设做对比如果结论与假设矛盾就把这条记录标记为“假说被证伪”而不是当成“实验失败”。这一点的价值很多人没意识到。科研里证伪一个假设和证实一个假设同样有价值传统实验记录却常常把证伪结果当作垃圾丢掉。AI 智能体能系统地积累这些“负面结果”反而成了一个难得的知识库。3. 实操把一个通用智能体改造成“AI 科学家”3.1 准备工作模型、运行环境与技能仓库如果你看到这里说明你大概也想动手试一试。这一节我直接给出一个可以落地的实操路径不需要你拥有多么高端的算力也不需要你写太多代码。先说模型选型。给智能体挂技能核心前提是模型支持函数调用也就是 Function Calling。无论是 OpenAI 系模型、开源模型还是国产模型2024 年之后的主流模型基本都支持这个能力。唯一要留意的是不同模型的函数调用格式略有差异但逻辑是一样的你给模型一个函数列表模型在回答中输出它想调用的函数和参数然后由你的代码真正执行这个函数再把结果回传给模型。运行环境这件事没那么玄乎。技能本身可以是纯 Python 函数也可以包装成微服务。我个人的建议是前期先用本地 Python 函数把所有技能写在一个模块里配合模型 API 调试。等流程稳定了再把技能升级成 FastAPI 微服务方便多个业务复用。别一上来就搞微服务架构会很痛苦。最后是技能仓库。我建议把每个技能独立成一个文件技能之间不互相依赖内部实现只通过标准输入输出通信。比如 hypothesis 模块只管生成假设对象experiment 模块只管消费假设对象并生成实验计划analyze 模块只管消费原始数据并生成结论。这样任何一个模块都可以单独替换和升级。# skills/__init__.py 里的一个极简注册示例 SKILL_REGISTRY { generate_hypothesis: { description: 基于文献摘要与变量池生成可证伪的实验假设, handler: hypothesis.generate, }, design_experiment: { description: 根据假设生成实验计划矩阵, handler: experiment.design, }, run_experiment: { description: 执行实验并返回原始数据, handler: experiment.run, }, analyze_results: { description: 对实验数据做统计分析与效应量计算, handler: analysis.analyze, }, }3.2 用 Function Calling 把技能挂载进智能体挂载的过程就是把你写的技能函数暴露给模型让模型在对话过程中能“看到”这些技能并且知道什么时候该调用哪个。这一节我给出一个最小可用的实现示例。我用一个简化版的函数定义做演示。假设是 OpenAI 风格的 Function Calling每个技能会被描述成一个 JSON Schema{ type: function, function: { name: generate_hypothesis, description: 基于文献摘要与变量池生成可证伪的实验假设, parameters: { type: object, properties: { literature_summaries: { type: array, items: { type: string }, description: 文献摘要列表 }, operable_variables: { type: array, items: { type: string }, description: 当前实验环境可操作的变量名列表 }, constraints: { type: object, description: 实验约束条件如温度范围、压力限制等 } }, required: [literature_summaries, operable_variables] } } }定义好 Schema 之后接下来就是标准的函数调用循环把用户请求和技能列表一起发给模型。模型返回一个“调用请求”里面指明要调用哪个函数、参数是什么。你的代码执行这个函数拿到真实结果。把真实结果作为一条消息回传给模型。模型基于真实结果继续生成回答。我踩过最深的坑在第 4 步返回给模型的结果必须忠实反映函数执行的输出不要为了让回答“好看”而做任何润色。模型如果看到的是被润色过的结果它后续的推理就会建立在不准确的信息上。你要相信原汁原味的实验数据就是最有说服力的回答素材。3.3 技能编排一个例子走通全流程前面几节比较抽象我来跑一个完整的简化案例。场景设定某材料实验室要做配方优化目标是提升一种复合涂层的附着力。我让智能体走一遍完整流程。智能体接到用户请求后第一步调用 generate_hypothesis。它需要先知道有哪些可操作变量于是我去实验环境里拉了变量清单固化温度、固化时间、A 组分占比、B 组分添加量。它再结合几篇文献摘要生成了一条假设在 A 组分占比为 60%-80% 范围内附着力随 A 组分占比增加而先升后降峰值出现在 70% 附近。第二步design_experiment 接收这个假设把“A 组分占比”设为主要因子范围 60%-80%步长 5%一共 5 个水平。再加一个“固化温度”作为次要因子两个水平70°C 和 90°C。策略选择部分因子设计总共 10 组实验每组重复 3 次共 30 次随机化执行顺序。整套计划自动生成。第三步run_experiment 逐组执行。在真实实验室里这一步可能是生成一份操作工单交给实验员在我的测试环境里我直接接了一个仿真器让它输出附着力的模拟数值。这里的关键是原始数据必须完整保留每一组实验的配方参数、温度、时间、附着力读数全部落库。第四步analyze_results 读取 30 条原始数据先做方差分析检查 A 组分占比和固化温度的主效应和交互效应然后计算效应量。结果发现 A 组分占比的主效应显著效应量较大而固化温度的主效应不显著交互效应也不显著。最终结论结构化输出给出建议配方区间 67.5%-72.5%。整套流程走完智能体没有“编造”任何一个实验数据它只是负责拆解任务、调用工具、基于真实返回结果继续推理。这就是 Scientific Agent Skills 和其他“假装做科研”的 Agent 的本质区别。4. 常见问题与排查技巧实录4.1 模型“脑补数据”怎么办这是所有人第一次把技能挂到智能体上时最容易撞见的坑。现象是模型没有真正调用函数就直接输出了一个结果。比如你让它分析实验数据它直接写“均值是 45.3标准差是 6.7”——但你的实验记录里根本没有这组数字。模型没有计算能力也没有数据访问权限它在根据上下文的统计规律“猜”了一个合理数值。排查方法很简单查看日志或者 trace 记录看模型到底有没有发起函数调用。如果模型没有调用函数就直接给出数值那就是“脑补”。解决方案分两层。第一层系统提示词里明确写“以下数值必须来自函数执行返回结果禁止直接推断”。这能缓解一部分问题但不能根治。第二层是硬约束在代码里判断——如果模型回答中包含结果性数字但本轮对话的函数调用记录为空就拒绝该回答并要求模型重新走函数调用流程。我发现只有第二层硬约束才能真正根治这个问题。4.2 实验可复现性差、随机性大你辛辛苦苦让智能体跑完一轮实验换一天再跑一遍结果完全对不上。这个问题大概率不在模型而在你的实验执行技能没设置随机种子。仿真实验尤其容易出现这个问题。很多仿真器内部有随机性比如蒙特卡洛模拟、随机初始化参数如果不固定随机种子每次跑出来的数据都会不同。我在 run_experiment 技能里强制要求所有随机操作必须显式传入 seed并且把 seed 记录到实验日志里。同一个 seed、同一组参数必须能复现同一套数据。如果你做的是真实实验可复现性差的锅就不是随机种子能背的了要检查实验执行技能的指令是否有歧义。比如“加入适量溶剂”这种描述人类实验员能理解但换成不同人执行结果就可能差很多。技能输出给操作人员的工单应该精确到数值加多少毫升、温度范围多少、等待多少分钟不留模糊空间。4.3 技能调用顺序混乱智能体没有自动遵循“假设 → 设计 → 执行 → 分析”的流程而是上来就调 analyze_results或者跳过 design 直接 run。这种顺序混乱现象本质上是因为模型不知道流程约束。有两种解法。第一种是硬编排也叫 workflow 模式代码里写死调用顺序模型只能依次调用技能不能跳步。这种方式稳定性极高适合流程成熟的场景。第二种是软编排在技能描述里加入前置依赖说明。比如 design_experiment 的描述里写“该技能需要先调用 generate_hypothesis并传入其返回的假设对象”analyze_results 的描述里写“该技能需要先获得 run_experiment 返回的原始数据”。大模型对技能描述里的依赖关系相对敏感多数情况下能自己维护顺序。我个人的建议是初期先用软编排因为灵活度高也方便观察模型的行为模式。等发现模型在某条路径上反复出问题时再把这条路径改成硬编排。不要一开始就全硬编那样智能体就没有“智能”可言了。4.4 排查清单速查症状可能原因一句话解法模型直接输出数值但没调用函数脑补数据代码层强制校验函数调用记录两次实验结果对不上随机种子未固定run_experiment 里强制 seed 参数技能调用顺序混乱缺少流程依赖说明在技能描述中声明前置依赖假设不可操作没传可操作变量池严格校验输出变量是否在池内实验参数超出范围让模型算了矩阵改由代码生成参数矩阵结论夸大效应只报 p 值不报效应量强制输出置信区间与效应量5. 进阶扩展让智能体拥有“科研直觉”5.1 多智能体协作批判者与执行者当单个智能体的技能链路稳定之后我开始尝试多智能体协作发现这确实能补上单智能体最大的短板缺乏自我批判能力。理想状态下一个完整的科研团队至少有三个角色负责提出假设和设计路线的“研究者”、负责严格审查逻辑漏洞和统计错误的“批判者”、负责执行实验和分析数据的“执行者”。这三个角色可以共享同一套技能仓库但它们的系统提示词和行为边界完全不同。批判者技能尤其有价值它被设计成专门挑刺的接收研究者的假设和实验计划主动寻找混淆变量、边界条件、样本量不足等问题。我测试发现批判者能在大多数情况下识别出“相关性被当作因果性”的问题因为它的目标函数就是找茬而不是顺着研究者的思路往下走。多智能体之间通过标准消息传递通信研究者输出假设对象批判者输出审查意见执行者输出实验结果。每个角色的输出都结构化方便追踪。5.2 经验沉淀与技能进化最后一个扩展方向也是我认为最有长期价值的让技能学会进化。传统技能库是静态的你写什么逻辑它就一直执行什么逻辑。但科研是一个不断积累知识的过程每轮实验的结论、每次踩坑的经验都应该反哺给技能本身。我做了一个实验记录库每次实验闭环的结论、异常现象、排查过程都写入数据库。然后我每个月跑一次“经验蒸馏”流程把过去 30 天的新知识喂给大模型让它产出一批新的规则或者参数约束再人工审核后合并进技能库。比如一开始我的 design_experiment 技能没有任何关于“高温区间容易导致副反应”的提示但两个月的实验记录里有三次在 90°C 以上出现异常产物。我让模型把这总结成一条经验规则“当反应温度超过 85°C 时建议增加副产物检测”然后作为约束条件更新到技能库里。这个机制的意义在于智能体会越用越懂你的领域而不是永远停留在通用知识层面。它开始拥有一种接近“科研直觉”的东西——一种来自数据支撑的经验判断。这一点想得很远但基础其实不复杂就是一个“记录 → 蒸馏 → 审核 → 更新”的循环。我自己的实际体会是Scientific Agent Skills 这套思路的精髓不在于某一个技能写得多漂亮而在于它愿意让 AI 遵循一套笨拙但严谨的科学流程。它放弃了让模型“一步到位给出正确答案”的幻想转而让模型每一步都调用工具、拿真实数据、再往前推进。如果你正打算让你的智能体做点正经的分析工作建议不要一上来就追求“全自动无人干预”。先手动把假设、设计、执行、分析四个技能跑通把日志和数据记录做好再把流程慢慢串起来。等到经验和数据积累到一定程度你会回来感谢当初那个愿意慢下来的自己。