快速上手 Maestro AI3 步让 AI 提取屏幕文字、揪出 UI 缺陷【免费下载链接】MaestroPainless E2E Automation for Mobile and Web项目地址: https://gitcode.com/GitHub_Trending/ma/Maestro这些测试痛点你是不是也遇过屏幕上动态渲染出来的金额、验证码节点树里根本抓不到断言无从下手。视觉回归呢全靠肉眼一张张翻截图翻到后面谁也不敢保证没漏。Maestro 的 maestro-ai 模块就是冲着这两个头疼事来的。60 秒认识 Maestro AImaestro-ai 模块把截图交给 AI 来读测试和开发不用写 OCR就能提取屏幕上的文字、自动挑 UI 缺陷。怎么用 AI 提取屏幕上的动态文字先说个典型场景页面上的优惠券金额是 canvas 画的节点树里没有这个元素传统定位断言一律失灵。它怎么做到打开 IAPredictionEngine.kt 你会发现AI 能力被抽象成 3 个方法其中一个就是 extractText。它把截图字节流加上一句自然语言查询比如页面余额是多少一起发给云端模型模型读完图直接把答案字符串还给你。这跟模板匹配的 OCR 不是一回事更接近看懂了再回答复杂背景、多语言都能应付。你会得到什么一段干净的文本存进变量就能接正则或断言不用再跟元素定位死磕。怎么让 AI 替你揪出 UI 缺陷典型场景新版本发版前几十张设备截图要挨个看——文字溢出、颜色对不上、布局错位人眼盯多了真的会漏。实现上findDefects 把截图发给云端服务接口是 /v2/find-defects拿回来的是一串 Defect每条带 category 和 reasoning说清它归在哪一类、为什么算缺陷。想查得更聚焦就换 performAssertion传一句断言进去有问题返回一条 Defect没问题返回 null适合当定向体检用。你会得到什么一份带分类和理由的缺陷清单。demo 程序还能批量回归——截图按应用名_序号_good|bad.png命名丢进去它逐张判定 PASS/FAIL假阳性、假阴性都帮你标出来。3 步把 Maestro AI 跑起来配密钥export MAESTRO_CLI_AI_KEYOpenAI 或 Anthropic 的 key 都行云端服务另需 MAESTRO_CLOUD_API_KEY。构建 demo跑 ./gradlew :maestro-ai:installDist产物落在 maestro-ai/build/install/maestro-ai-demo/bin/ 下。指向截图开跑文件名符合应用_序号_good|bad.png规则即可换模型加 --model批量评估可加 --parallel。export MAESTRO_CLI_AI_KEYsk-... ./gradlew :maestro-ai:installDist ./maestro-ai/build/install/maestro-ai-demo/bin/maestro-ai-demo foo_1_bad.png进阶技巧调好客户端省 token 提速云端地址可换ApiClient 读 MAESTRO_CLOUD_API_URL 环境变量默认指向 api.copilot.mobile.dev连接、读取超时分别是 10 秒和 60 秒写在客户端默认配置里。排查问题加 --show-prompts 和 --show-raw-response把发出去的提示词和模型原始回复摊开看对比不同模型时尤其有用。截图先裁剪只把关注区域喂给模型响应更快、成本更低。调温temperature 默认 0.2断言类任务建议保持低温输出更稳定。常见问题Q整个屏幕都是图片或 canvas 渲染节点树是空的还能断言吗能这正适合它的场景。两个功能吃的都是截图字节流跟底层用什么渲染无关。Q能离线跑吗截图分析目前走云端服务地址可用 MAESTRO_CLOUD_API_URL 覆盖没有纯离线路径不过模型侧在 OpenAI 和 Anthropic 之间可自由切换方便控制供应商。Q怎么量化 AI 判断的可靠性用 good/bad 命名约定准备一批已知答案的截图加 --show-only-fails 只看失败项假阴假阳一目了然。写在最后AI 判图再灵也只是辅助关键断言结论还是要人工复核。更多构建与用法细节见 maestro-ai/README.md。【免费下载链接】MaestroPainless E2E Automation for Mobile and Web项目地址: https://gitcode.com/GitHub_Trending/ma/Maestro创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 快速上手 Maestro AI：3 步让 AI 提取屏幕文字、揪出 UI 缺陷
快速上手 Maestro AI3 步让 AI 提取屏幕文字、揪出 UI 缺陷【免费下载链接】MaestroPainless E2E Automation for Mobile and Web项目地址: https://gitcode.com/GitHub_Trending/ma/Maestro这些测试痛点你是不是也遇过屏幕上动态渲染出来的金额、验证码节点树里根本抓不到断言无从下手。视觉回归呢全靠肉眼一张张翻截图翻到后面谁也不敢保证没漏。Maestro 的 maestro-ai 模块就是冲着这两个头疼事来的。60 秒认识 Maestro AImaestro-ai 模块把截图交给 AI 来读测试和开发不用写 OCR就能提取屏幕上的文字、自动挑 UI 缺陷。怎么用 AI 提取屏幕上的动态文字先说个典型场景页面上的优惠券金额是 canvas 画的节点树里没有这个元素传统定位断言一律失灵。它怎么做到打开 IAPredictionEngine.kt 你会发现AI 能力被抽象成 3 个方法其中一个就是 extractText。它把截图字节流加上一句自然语言查询比如页面余额是多少一起发给云端模型模型读完图直接把答案字符串还给你。这跟模板匹配的 OCR 不是一回事更接近看懂了再回答复杂背景、多语言都能应付。你会得到什么一段干净的文本存进变量就能接正则或断言不用再跟元素定位死磕。怎么让 AI 替你揪出 UI 缺陷典型场景新版本发版前几十张设备截图要挨个看——文字溢出、颜色对不上、布局错位人眼盯多了真的会漏。实现上findDefects 把截图发给云端服务接口是 /v2/find-defects拿回来的是一串 Defect每条带 category 和 reasoning说清它归在哪一类、为什么算缺陷。想查得更聚焦就换 performAssertion传一句断言进去有问题返回一条 Defect没问题返回 null适合当定向体检用。你会得到什么一份带分类和理由的缺陷清单。demo 程序还能批量回归——截图按应用名_序号_good|bad.png命名丢进去它逐张判定 PASS/FAIL假阳性、假阴性都帮你标出来。3 步把 Maestro AI 跑起来配密钥export MAESTRO_CLI_AI_KEYOpenAI 或 Anthropic 的 key 都行云端服务另需 MAESTRO_CLOUD_API_KEY。构建 demo跑 ./gradlew :maestro-ai:installDist产物落在 maestro-ai/build/install/maestro-ai-demo/bin/ 下。指向截图开跑文件名符合应用_序号_good|bad.png规则即可换模型加 --model批量评估可加 --parallel。export MAESTRO_CLI_AI_KEYsk-... ./gradlew :maestro-ai:installDist ./maestro-ai/build/install/maestro-ai-demo/bin/maestro-ai-demo foo_1_bad.png进阶技巧调好客户端省 token 提速云端地址可换ApiClient 读 MAESTRO_CLOUD_API_URL 环境变量默认指向 api.copilot.mobile.dev连接、读取超时分别是 10 秒和 60 秒写在客户端默认配置里。排查问题加 --show-prompts 和 --show-raw-response把发出去的提示词和模型原始回复摊开看对比不同模型时尤其有用。截图先裁剪只把关注区域喂给模型响应更快、成本更低。调温temperature 默认 0.2断言类任务建议保持低温输出更稳定。常见问题Q整个屏幕都是图片或 canvas 渲染节点树是空的还能断言吗能这正适合它的场景。两个功能吃的都是截图字节流跟底层用什么渲染无关。Q能离线跑吗截图分析目前走云端服务地址可用 MAESTRO_CLOUD_API_URL 覆盖没有纯离线路径不过模型侧在 OpenAI 和 Anthropic 之间可自由切换方便控制供应商。Q怎么量化 AI 判断的可靠性用 good/bad 命名约定准备一批已知答案的截图加 --show-only-fails 只看失败项假阴假阳一目了然。写在最后AI 判图再灵也只是辅助关键断言结论还是要人工复核。更多构建与用法细节见 maestro-ai/README.md。【免费下载链接】MaestroPainless E2E Automation for Mobile and Web项目地址: https://gitcode.com/GitHub_Trending/ma/Maestro创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考