尧图网站设计 尧图网站设计YAOTU DESIGN
ARTICLE DETAIL

资讯详情

深耕网站设计与一线实操的经验洞察。

测试数据太干净测不出Bug?Eon免费造会埋雷的模拟公司

测试数据太干净测不出Bug?Eon免费造会埋雷的模拟公司 背景测了三轮都通过的客户导入上线第二天被业务一张表退回来有个客户名出现了两次几个名字大小写不一致还有一行测试-别删的占位数据。你的测试数据里一条都没有——不是漏测是数据太干净了。它是什么 / 解决什么问题Eon 10 月 5 日免费发布了一个叫 Era 的工具署名 Doron Porat。可以把它理解成一键造出一家公司选行业、规模和系统它当场生成互相对得上的人、客户、订单、工单和聊天记录。对外它用各系统自己的接口格式服务并配一条 MCP让 AI 直接对接外部系统的插头端点给 AI 智能体Agent能自己调工具做判断的 AI 程序连——以前这些你得自己写脚本、搭假接口。它要解决的问题官方原话一句干净漂亮的测试数据会把风险整个藏起来。它做了什么官方把它拆成四块真实数据缺字段、重复记录、数量不均、跨系统同一个人同一条事件在客户系统、工单、聊天里是同一个对象所以开了工单的客户本季要续约有确定答案、模拟接口和 MCP 服务端你原来的 Agent 换个地址就能连。它的脏是可控的重复记录、大小写不一致、多余空格、占位行都按清单故意注入清单写明注在哪条记录、哪个字段、原值是什么默认不开单列上限 30%清单之外冒出来的重复才算 BugID 和主键一律不碰。起一个只要三条命令era init登录era new --industry fintech --size mid --systems salesforce,zendesk,slack生成公司era mcp 租户 --client claude把地址凭证写进 AI 编程助手。要放进流水线官方把每个系统打成了 Docker 镜像仓库里配了 pytest 和 GitHub Actions 示例官方也写明模拟系统替代不了带真实数据的预发环境。数据 / 效果Eon 在 10 月 5 日的发布文里放了两组自己跑的结果工具开发方自己跑的不是第三方评测。9 个模型答 33 道跨系统题、每题试 3 次的平均正确率单表筛选 92.6%一跨系统就掉到 39.6%多跳题答案要连着跨几个系统才拼得出来只剩 3.7%。另一组 6 个模型答 8 道题最好的也只答对 24 次里的 18 次四个模型不超过 6 次。你能怎么用它现在免费但要申请访问控制台和命令行都行前置知识只要看得懂接口。新手别急着接自己的 Agent先选一个行业、一个小公司、两个系统生成后用 curl 通一遍接口。真要上手先做件不花力气的活别急着跑测试先去看它那份缺陷清单。然后带走这张对照表跟用不用它无关见到重复记录补去重后字段取谁见到大小写或空格不一致补精确还是模糊匹配见到占位行和垃圾数据补会不会被算进报表见到缺失字段补导出时的默认值。从功能测试视角看适合任何要跨两个以上系统才能得出结论的功能——对账、工单关联、权限归属也适合数据脏了会怎样的验证比如去重、模糊匹配、报表口径。不适合单系统表单的字段校验自己写十条更快也不适合性能压测它跑在别人的机器上数字对你没意义。坑有三条比工具本身更值得记住。一把模拟当成一样。模拟系统只实现客户常调的那部分接口不是厂商接口的全部功能踩在冷门接口上这里跑通不等于线上跑通。二把有清单的脏当成生产级别的脏。它的脏数据是限量、有清单、不碰主键的真实生产的脏数据没有清单也不会绕开你的主键。练手可以当证据不行。三看到 92.6% 就以为模型很能干。那是单表筛选的成绩39.6% 和 3.7% 才是重点。你要测的 AI 功能如果是跨系统型的断言得写得比现在细。跟传统方法的关系它没发明新东西。跨系统同一份数据就是老办法里的造数脚本模拟接口就是以前搭的那套假服务按清单注入缺陷就是写用例时故意造脏数据。真正换掉的只有两件事造数的入口从写脚本变成回答五个问题假接口和假数据被打包成一套随时能拆的东西。它把老办法写成了一次点击。对我的意义短期不用学。你手上如果还是单系统功能测试研究 Era 的收益很低。但有两件事能马上做一是把上面那张脏数据对照表用起来零成本二是留意你负责的模块里有没有必须跨两个系统才能回答的问题——那是最先被 AI 顶掉的地方也是你从点功能转向设计验证条件的入口。小结你的测试数据最近一次因为太干净漏测是哪类① 重复记录没测到 ② 格式或大小写不一致 ③ 脏数据混进统计 ④ 没漏过来看看。接下来一期拆一个看着新、拆开是老办法的 AI 测试概念。
返回列表