Midscene.jsAI跨平台自动化30分钟速通指南【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midscene你大概有过这样的时刻想让手机自己打开购物 App搜个东西、比比价、把结果发回来最后却还是自己点。Midscene.js 干的就是这件事一个由 AI 视觉驱动的跨平台 UI 自动化框架靠看截图来理解界面用一句自然语言驱动点击和输入同一套脚本能在浏览器、Android、iOS 和桌面上跑。这篇文章带你从零把第一个自动任务跑通全程大概半小时。 先把它跑起来3 条命令装好 CLI最快的入门方式是官方命令行工具不需要自己构建仓库。装好并验证只需三条命令npm i -g midscene/cli # 安装命令行工具 midscene --version # 验收输出版本号即成功 midscene ./脚本.yaml # 运行你的第一个脚本下一节写运行前先在工作目录建一个.env把模型服务信息填进去MIDSCENE_MODEL_BASE_URLhttps://你的模型服务/v1 MIDSCENE_MODEL_API_KEY你的API密钥 MIDSCENE_MODEL_NAME模型名称 MIDSCENE_MODEL_FAMILY模型系列怎么算装好了midscene --version能输出版本号跑完一个脚本后工作目录下会出现midscene_run目录里面有可视化报告和每一步的日志截图。注意.env读的是工具运行目录不是 YAML 文件所在的目录这是新手最容易踩的坑。如果还想读源码把仓库克隆下来git clone https://gitcode.com/GitHub_Trending/mid/midscene然后pnpm install pnpm build看到构建成功提示就算环境 OK。 完成你的第一个自动任务搜索并验证结果选一个最小、能用肉眼验收的任务打开搜索页、搜一个词、确认结果出现。它刚好覆盖操作、等待、断言三种能力。写脚本。新建search-verify.yamlweb: url: https://www.bing.com tasks: - name: 搜索并验证 flow: - ai: 在搜索框输入 Midscene.js 并回车 - sleep: 3000 - aiAssert: 搜索结果显示了相关内容三行看懂它ai是自然语言操作sleep等页面加载aiAssert是条件校验不满足就报错——这就是验证的含义。跑起来midscene ./search-verify.yaml看结果终端会打印每一步的执行进度结束后自动生成报告可以回看每一步的截图和耗时。想换台手机同一个脚本换个开头就行Android 场景下加上android: deviceId用adb devices查flow 里写ai: 打开地图应用后面的步骤都不用改。 它是怎么做到的视觉、抽象与成本只看截图纯视觉识别大多数自动化依赖 DOM 或无障碍树页面一重构选择器就失效而没有语义标注的元素图标按钮、canvas 绘制的内容对它们根本不可见。Midscene 只吃截图多模态模型看图、判断东西在哪长什么样再把结论翻译成点击或输入。所以只要人眼能看到它就能定位还能校验看起来对不对——颜色、布局、高亮而不只是节点存不存在。一套代码到处跑设备抽象层浏览器、Android、iOS、桌面本质上都是两件事给一张截图收一组输入事件。Midscene 把这两件事统一成同一套设备接口你的脚本只写自然语言步骤底层再去决定怎么真的点到屏幕上。这就是为什么同一份 YAML 换个开头就能从网页挪到手机上跨平台的迁移成本极低。不浪费每一次调用规划与成本控制完全自主的规划式操作aiAct会让模型反复看图决定下一步稳但费钱。Midscene 给了一个光谱单步即时动作aiTap、aiInput一次调用干一件确定的事复杂任务才开deepThink把规划和定位拆开或者用deepLocate强化小元素的定位。再配合本地缓存同样的识别结论不会反复向模型要答案成本和耗时都压得住。️ 不听话时怎么排查常见故障速查报错信息不用背按现象对号入座即可现象三个最可能的原因先做什么模型 / 密钥报错立刻退出.env不在运行目录变量名拼错或缺前缀模型本身不支持视觉定位确认运行目录和变量名换支持 UI 定位的模型找不到元素或点错位置页面还没加载完目标元素太小或与相邻元素长得很像界面在执行前发生了变化加等待或用aiWaitFor开deepLocate翻报告看那一步的截图设备连不上Androidadb devices里没有设备USB 调试没开设备上的授权弹窗没点跑一遍adb devices开调试手机上点允许拿不准时打开运行生成的报告看失败那一步的截图多数问题一眼就有答案。 再往深处走从跑通到玩转多平台与交互体验除 Web 外Android、iOS、桌面都有现成 Playground平台指南Chrome 扩展让你直接在浏览器里跑自然语言指令快速开始桥接模式还能让本地脚本控制当前页面。结构化数据提取aiQuery能把页面上的商品变成 JSON 数组aiAssert则支持用一句话写断言。缓存与模型调优缓存策略和模型配置分别见 缓存 与 模型通用配置。仓库里值得先逛的路径packages/core/src/agent/核心引擎任务规划、执行与断言逻辑packages/core/src/ai-model/多模态模型调用与策略packages/web-integration/浏览器集成Playwright / Puppeteer / 桥接模式packages/cli/tests/midscene_scripts/可直接参考的 YAML 示例脚本apps/site/docs/zh/全部中文文档下一步建议挑一个你真实在用的场景订个票、填个表单、查个信息写成 YAML 跑一遍——自动化的手感都是从第一个能跑通的小任务里长出来的。【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midscene创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 Midscene.js：AI跨平台自动化30分钟速通指南
Midscene.jsAI跨平台自动化30分钟速通指南【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midscene你大概有过这样的时刻想让手机自己打开购物 App搜个东西、比比价、把结果发回来最后却还是自己点。Midscene.js 干的就是这件事一个由 AI 视觉驱动的跨平台 UI 自动化框架靠看截图来理解界面用一句自然语言驱动点击和输入同一套脚本能在浏览器、Android、iOS 和桌面上跑。这篇文章带你从零把第一个自动任务跑通全程大概半小时。 先把它跑起来3 条命令装好 CLI最快的入门方式是官方命令行工具不需要自己构建仓库。装好并验证只需三条命令npm i -g midscene/cli # 安装命令行工具 midscene --version # 验收输出版本号即成功 midscene ./脚本.yaml # 运行你的第一个脚本下一节写运行前先在工作目录建一个.env把模型服务信息填进去MIDSCENE_MODEL_BASE_URLhttps://你的模型服务/v1 MIDSCENE_MODEL_API_KEY你的API密钥 MIDSCENE_MODEL_NAME模型名称 MIDSCENE_MODEL_FAMILY模型系列怎么算装好了midscene --version能输出版本号跑完一个脚本后工作目录下会出现midscene_run目录里面有可视化报告和每一步的日志截图。注意.env读的是工具运行目录不是 YAML 文件所在的目录这是新手最容易踩的坑。如果还想读源码把仓库克隆下来git clone https://gitcode.com/GitHub_Trending/mid/midscene然后pnpm install pnpm build看到构建成功提示就算环境 OK。 完成你的第一个自动任务搜索并验证结果选一个最小、能用肉眼验收的任务打开搜索页、搜一个词、确认结果出现。它刚好覆盖操作、等待、断言三种能力。写脚本。新建search-verify.yamlweb: url: https://www.bing.com tasks: - name: 搜索并验证 flow: - ai: 在搜索框输入 Midscene.js 并回车 - sleep: 3000 - aiAssert: 搜索结果显示了相关内容三行看懂它ai是自然语言操作sleep等页面加载aiAssert是条件校验不满足就报错——这就是验证的含义。跑起来midscene ./search-verify.yaml看结果终端会打印每一步的执行进度结束后自动生成报告可以回看每一步的截图和耗时。想换台手机同一个脚本换个开头就行Android 场景下加上android: deviceId用adb devices查flow 里写ai: 打开地图应用后面的步骤都不用改。 它是怎么做到的视觉、抽象与成本只看截图纯视觉识别大多数自动化依赖 DOM 或无障碍树页面一重构选择器就失效而没有语义标注的元素图标按钮、canvas 绘制的内容对它们根本不可见。Midscene 只吃截图多模态模型看图、判断东西在哪长什么样再把结论翻译成点击或输入。所以只要人眼能看到它就能定位还能校验看起来对不对——颜色、布局、高亮而不只是节点存不存在。一套代码到处跑设备抽象层浏览器、Android、iOS、桌面本质上都是两件事给一张截图收一组输入事件。Midscene 把这两件事统一成同一套设备接口你的脚本只写自然语言步骤底层再去决定怎么真的点到屏幕上。这就是为什么同一份 YAML 换个开头就能从网页挪到手机上跨平台的迁移成本极低。不浪费每一次调用规划与成本控制完全自主的规划式操作aiAct会让模型反复看图决定下一步稳但费钱。Midscene 给了一个光谱单步即时动作aiTap、aiInput一次调用干一件确定的事复杂任务才开deepThink把规划和定位拆开或者用deepLocate强化小元素的定位。再配合本地缓存同样的识别结论不会反复向模型要答案成本和耗时都压得住。️ 不听话时怎么排查常见故障速查报错信息不用背按现象对号入座即可现象三个最可能的原因先做什么模型 / 密钥报错立刻退出.env不在运行目录变量名拼错或缺前缀模型本身不支持视觉定位确认运行目录和变量名换支持 UI 定位的模型找不到元素或点错位置页面还没加载完目标元素太小或与相邻元素长得很像界面在执行前发生了变化加等待或用aiWaitFor开deepLocate翻报告看那一步的截图设备连不上Androidadb devices里没有设备USB 调试没开设备上的授权弹窗没点跑一遍adb devices开调试手机上点允许拿不准时打开运行生成的报告看失败那一步的截图多数问题一眼就有答案。 再往深处走从跑通到玩转多平台与交互体验除 Web 外Android、iOS、桌面都有现成 Playground平台指南Chrome 扩展让你直接在浏览器里跑自然语言指令快速开始桥接模式还能让本地脚本控制当前页面。结构化数据提取aiQuery能把页面上的商品变成 JSON 数组aiAssert则支持用一句话写断言。缓存与模型调优缓存策略和模型配置分别见 缓存 与 模型通用配置。仓库里值得先逛的路径packages/core/src/agent/核心引擎任务规划、执行与断言逻辑packages/core/src/ai-model/多模态模型调用与策略packages/web-integration/浏览器集成Playwright / Puppeteer / 桥接模式packages/cli/tests/midscene_scripts/可直接参考的 YAML 示例脚本apps/site/docs/zh/全部中文文档下一步建议挑一个你真实在用的场景订个票、填个表单、查个信息写成 YAML 跑一遍——自动化的手感都是从第一个能跑通的小任务里长出来的。【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midscene创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考