Midscene.js 快速上手从 git clone 到自然语言驱动浏览器自动化【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midsceneMidscene.js 是一个面向 E2E 测试的开源 GUI Agent看屏幕并动手操作界面的 AI 代理你用自然语言描述操作它截屏看懂画面后驱动浏览器点击、输入。本文带你从克隆仓库到第一条自动化跑通。Midscene 能替你做哪件事这节先回答「自然语言」背后到底是什么。aiAct描述一段操作如搜索耳机再过滤到 100 元以下Midscene 自行拆解执行aiAssert目视检查界面如错误提示显示在邮箱输入框下方aiQuery提取结构化数据字段类型由你声明它不依赖元素选择器纯图标按钮、canvas 画布里的内容只要看得见就能定位同一套 API 还能驱动 Android、iOS 和桌面端。动手前花 1 分钟确认环境这步最容易卡住先确认三件事。Node.jsnode -v查看版本需 20.19/22.12/24pnpm仓库是 monorepo多包代码仓库用 pnpm 9.3 管理依赖执行corepack enable即可启用模型 API KeyMidscene 靠视觉模型看懂屏幕支持 Qwen、GLM、豆包、UI-TARS 等也能自托管从克隆到跑通最短路径这节只走最短路径。克隆并安装依赖git clone https://gitcode.com/GitHub_Trending/mid/midscene cd midscene pnpm install首次安装会构建全部包多等几分钟。在运行目录创建.env配置模型dotenv 约定不加exportMIDSCENE_MODEL_BASE_URL你的模型服务地址/v1 MIDSCENE_MODEL_API_KEY你的 API Key MIDSCENE_MODEL_NAME模型名 MIDSCENE_MODEL_FAMILY模型系列把 YAML 自动化脚本存为bing-search.yamlpage: url: https://www.bing.com tasks: - name: 搜索天气 flow: - ai: 搜索 今日天气终端执行midscene bing-search.yamlMidscene 解析 YAML 后驱动浏览器完成搜索并生成一份记录每步截图与 AI 决策的报告。跑通之后可以折腾什么这节给三个方向。Chrome 扩展 Playground不写代码在浏览器侧边栏输指令验证效果跨平台同一套 Agent API 换 Android、iOS、桌面midscene/testBetaYAML 写流程API 封装成可复用 Node核心调度逻辑在 packages/core/src/Playwright 集成在 packages/web-integration/。常见卡点速查遇到报错先来这里对一下别慌。症状解法Rspack 报Unsupported Node.js version升级 Node 后重装依赖.env不生效放到工具运行目录去掉export扩展报Cannot access a chrome-extension:// URL别的扩展冲突按扩展 ID 找到并禁用把示例 YAML 换成你自己页面的一个流程跑一遍看 AI 能不能把它做对。【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midscene创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 Midscene.js 快速上手：从 git clone 到自然语言驱动浏览器自动化
Midscene.js 快速上手从 git clone 到自然语言驱动浏览器自动化【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midsceneMidscene.js 是一个面向 E2E 测试的开源 GUI Agent看屏幕并动手操作界面的 AI 代理你用自然语言描述操作它截屏看懂画面后驱动浏览器点击、输入。本文带你从克隆仓库到第一条自动化跑通。Midscene 能替你做哪件事这节先回答「自然语言」背后到底是什么。aiAct描述一段操作如搜索耳机再过滤到 100 元以下Midscene 自行拆解执行aiAssert目视检查界面如错误提示显示在邮箱输入框下方aiQuery提取结构化数据字段类型由你声明它不依赖元素选择器纯图标按钮、canvas 画布里的内容只要看得见就能定位同一套 API 还能驱动 Android、iOS 和桌面端。动手前花 1 分钟确认环境这步最容易卡住先确认三件事。Node.jsnode -v查看版本需 20.19/22.12/24pnpm仓库是 monorepo多包代码仓库用 pnpm 9.3 管理依赖执行corepack enable即可启用模型 API KeyMidscene 靠视觉模型看懂屏幕支持 Qwen、GLM、豆包、UI-TARS 等也能自托管从克隆到跑通最短路径这节只走最短路径。克隆并安装依赖git clone https://gitcode.com/GitHub_Trending/mid/midscene cd midscene pnpm install首次安装会构建全部包多等几分钟。在运行目录创建.env配置模型dotenv 约定不加exportMIDSCENE_MODEL_BASE_URL你的模型服务地址/v1 MIDSCENE_MODEL_API_KEY你的 API Key MIDSCENE_MODEL_NAME模型名 MIDSCENE_MODEL_FAMILY模型系列把 YAML 自动化脚本存为bing-search.yamlpage: url: https://www.bing.com tasks: - name: 搜索天气 flow: - ai: 搜索 今日天气终端执行midscene bing-search.yamlMidscene 解析 YAML 后驱动浏览器完成搜索并生成一份记录每步截图与 AI 决策的报告。跑通之后可以折腾什么这节给三个方向。Chrome 扩展 Playground不写代码在浏览器侧边栏输指令验证效果跨平台同一套 Agent API 换 Android、iOS、桌面midscene/testBetaYAML 写流程API 封装成可复用 Node核心调度逻辑在 packages/core/src/Playwright 集成在 packages/web-integration/。常见卡点速查遇到报错先来这里对一下别慌。症状解法Rspack 报Unsupported Node.js version升级 Node 后重装依赖.env不生效放到工具运行目录去掉export扩展报Cannot access a chrome-extension:// URL别的扩展冲突按扩展 ID 找到并禁用把示例 YAML 换成你自己页面的一个流程跑一遍看 AI 能不能把它做对。【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midscene创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考