UI-TARS 教程如何把截图变成 GUI 操作一份完整上手指引【免费下载链接】UI-TARSPioneering Automated GUI Interaction with Native Agents项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARSUI-TARS 是字节跳动开源的多模态 GUI 智能体它接收屏幕截图和自然语言任务输出思考 动作点击、输入、滚动等配套的ui-tarsPython 包再把模型输出解析成可直接执行的 PyAutoGUI 脚本。如果你的目标是让 AI 看着屏幕自己点鼠标本文介绍它的组成、部署方式和实际能力的边界。它适合解决什么问题先给一个典型场景你希望程序自动在 Linux 桌面里完成把图片设置为调色板模式这类操作。UI-TARS 的做法是循环三步——截图 → 模型基于截图输出下一步动作 → 执行动作并再次截图直到任务结束。仓库中的 data/test_messages.json 就保存了这样一条真实的多轮对话样本在 GIMP 中逐步定位 Preferences 设置项可以直观看到思考 动作的输出形态。与纯代码定位控件的自动化方案不同UI-TARS 走的是视觉路线不依赖控件树或 DOM直接看像素。这对动态生成的界面、游戏画面、跨平台适配等控件拿不到的场景比较友好。能力拆解1. 从截图到动作先思考再操作模型输出的格式固定为两段Thought: 我看到屏幕上有 Preferences 窗口需要先处理颜色配置文件转换对话框…… Action: click(start_box(607,647))官方说明1.5 版本引入了基于强化学习的推理能力让模型在行动前先想一步。codes/ui_tars/prompt.py 中的三种模板控制这种行为的强度COMPUTER_USE桌面、MOBILE_USE移动端、GROUNDING只输出动作用于评估定位能力。2. 统一动作空间一套模板覆盖桌面和移动端桌面模板覆盖单/双/右键点击、拖拽、快捷键、文本输入、滚动、等待和结束移动模板额外提供long_press、open_app、press_home、press_back等手机专属动作。对测试场景的意义是同一套模型换一份提示词就能在 Windows/Linux 桌面和 Android 模拟器之间切换。3. 动作解析与坐标换算ui-tars 包这是仓库里对工程落地最有价值的部分。模型输出的坐标是基于缩放后图像的不能直接用于真实屏幕。ui-tars包源码见 codes/ui_tars/action_parser.py负责两件事parse_action_to_structure_output把模型文本解析为结构化动作并按smart_resize逻辑完成坐标缩放换算支持qwen25vl、doubao等输出格式parsing_response_to_pyautogui_code把结构化动作转成 PyAutoGUI 脚本字符串点击、输入、快捷键、拖拽、滚动等。下面这张图是坐标换算的可视化示例Set-of-Mark 标注坐标处理细节在 README_coordinates.md 中有完整教程如果你要接入自己训练的模型建议先读这一篇。上手路径准备、配置、首次运行第一步准备环境Python 3.10codes/pyproject.toml 要求3.10,4.0解析包本身零依赖pip install ui-tars即可若要跑模型推理需要云端 GPU官方推荐 7B 模型使用 Nvidia L4/L40S/A100或自有机房纯 CPU 环境跑不动完整链路。第二步部署模型模型UI-TARS-1.5-7B托管在 Hugging Face官方推荐通过 Hugging Face Inference Endpoints 部署为 API。完整步骤硬件选择、容器参数、环境变量CUDA_GRAPHS0、PAYLOAD_LIMIT8000000等见 README_deploy.md按文档操作约 10 分钟可拿到一个可调用端点。第三步首次运行解析包不部署模型也可以先跑通文本 → PyAutoGUI 代码这段链路最小示例如下与 README.md 中的 Quick Start 一致pip install ui-tarsfrom ui_tars.action_parser import ( parse_action_to_structure_output, parsing_response_to_pyautogui_code, ) response Thought: Click the button\nAction: click(start_box(100,200)) parsed parse_action_to_structure_output( response, factor1000, origin_resized_height1080, origin_resized_width1920, model_typeqwen25vl, ) print(parsed) print(parsing_response_to_pyautogui_code(parsed, 1080, 1920))仓库自带单元测试在codes/目录下执行python -m unittest discover tests *_test.py可验证解析逻辑codes/tests/action_parser_test.py。如果只需要拉取源码仓库地址为https://gitcode.com/GitHub_Trending/ui/UI-TARS。实测边界数据能说明什么不能说明什么以下数据均来自仓库 README.md主体为 UI-TARS-1.5 完整模型在线基准为在线评测基准UI-TARS-1.5对比项说明OSWorld桌面100 步42.5OpenAI CUA 36.4 / Claude 3.7 28.0桌面真实应用任务Windows Agent Arena50 步42.1此前 SOTA 29.8桌面任务WebVoyager浏览器84.8OpenAI CUA 87浏览器任务上略低于 CUAAndroid World手机64.2此前 SOTA 59.5手机 GUI 任务ScreenSpot-V2定位94.2OpenAI CUA 87.9界面元素定位ScreenSpotPro定位61.6OpenAI CUA 23.4专业软件界面定位游戏场景Poki 平台 14 款网页游戏UI-TARS-1.5 完整模型除 cubinko 为 0% 外其余 13 款均为 100%作为对照OpenAI CUA 在同批游戏中最好成绩是 92.25%多款游戏为 0%。《我的世界》任务上带思考的 UI-TARS-1.5 在 200 个挖掘类任务上的平均成功率为 0.42此前 SOTA 为 0.32。需要注意两点边界开源 7B 与完整模型不是一回事。模型规模对比显示开源的 UI-TARS-1.5-7B 在 OSWorld 上为 27.5完整模型 42.5、ScreenSpotPro 为 49.6完整模型 61.6。官方也明确说明 7B 侧重通用电脑操作并非为游戏场景优化。因此上表成绩不能直接当作你部署 7B 后能复现的数字。官方列出的限制可能在模糊或不熟悉环境中产生幻觉、误判元素长任务和大任务算力开销显著官方正在做安全评估不建议将其用于绕过验证码等受保护流程。不太适用的场景无 GPU 预算且不想用云端推理的纯本地项目要求 100% 确定性的关键生产流程视觉定位存在偶发失误需要高频次、大规模批量跑的自动化推理成本随步数线性增长涉及绕过登录验证的场景。适配建议比较适合GUI 回归测试与兼容性验证动态界面、游戏画面等拿不到控件树的场景视觉路线优势明显需要看屏幕就能操作的桌面/移动端自动化用提示词模板即可在两类平台间切换研究与评测GROUNDING模板 坐标解析链路适合做定位能力评估和多模态系统开发已有 VLM 输出的团队如果模型侧已就绪ui-tars包可以单独拿来解决输出文本 → 可执行脚本这一段。不太建议预算有限、无法承担云端 GPU 推理费用的团队——建议先用解析包验证链路再决定是否上模型对失败率零容忍的场景——可先以AI 出方案 人工确认的半自动模式试运行观察其在目标环境中的实际稳定性后再决定是否全托管。资源索引README.md项目总览、性能数据与限制说明README_deploy.mdHugging Face Endpoints 部署步骤与 API 调用示例README_coordinates.md模型坐标输出处理与可视化教程codes/README.mdui-tars包安装说明与 API 文档codes/ui_tars/prompt.py桌面/移动/定位三套提示词模板codes/ui_tars/action_parser.py动作解析与坐标换算核心实现data/test_messages.json真实多轮任务消息样例目前开源版本为 UI-TARS-1.5-7B2025-04 开放UI-TARS-2 已于 2025-09 发布技术报告能力覆盖 GUI、游戏、代码与工具调用后续版本进展可关注仓库更新。【免费下载链接】UI-TARSPioneering Automated GUI Interaction with Native Agents项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 UI-TARS 教程：如何把截图变成 GUI 操作？一份完整上手指引
UI-TARS 教程如何把截图变成 GUI 操作一份完整上手指引【免费下载链接】UI-TARSPioneering Automated GUI Interaction with Native Agents项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARSUI-TARS 是字节跳动开源的多模态 GUI 智能体它接收屏幕截图和自然语言任务输出思考 动作点击、输入、滚动等配套的ui-tarsPython 包再把模型输出解析成可直接执行的 PyAutoGUI 脚本。如果你的目标是让 AI 看着屏幕自己点鼠标本文介绍它的组成、部署方式和实际能力的边界。它适合解决什么问题先给一个典型场景你希望程序自动在 Linux 桌面里完成把图片设置为调色板模式这类操作。UI-TARS 的做法是循环三步——截图 → 模型基于截图输出下一步动作 → 执行动作并再次截图直到任务结束。仓库中的 data/test_messages.json 就保存了这样一条真实的多轮对话样本在 GIMP 中逐步定位 Preferences 设置项可以直观看到思考 动作的输出形态。与纯代码定位控件的自动化方案不同UI-TARS 走的是视觉路线不依赖控件树或 DOM直接看像素。这对动态生成的界面、游戏画面、跨平台适配等控件拿不到的场景比较友好。能力拆解1. 从截图到动作先思考再操作模型输出的格式固定为两段Thought: 我看到屏幕上有 Preferences 窗口需要先处理颜色配置文件转换对话框…… Action: click(start_box(607,647))官方说明1.5 版本引入了基于强化学习的推理能力让模型在行动前先想一步。codes/ui_tars/prompt.py 中的三种模板控制这种行为的强度COMPUTER_USE桌面、MOBILE_USE移动端、GROUNDING只输出动作用于评估定位能力。2. 统一动作空间一套模板覆盖桌面和移动端桌面模板覆盖单/双/右键点击、拖拽、快捷键、文本输入、滚动、等待和结束移动模板额外提供long_press、open_app、press_home、press_back等手机专属动作。对测试场景的意义是同一套模型换一份提示词就能在 Windows/Linux 桌面和 Android 模拟器之间切换。3. 动作解析与坐标换算ui-tars 包这是仓库里对工程落地最有价值的部分。模型输出的坐标是基于缩放后图像的不能直接用于真实屏幕。ui-tars包源码见 codes/ui_tars/action_parser.py负责两件事parse_action_to_structure_output把模型文本解析为结构化动作并按smart_resize逻辑完成坐标缩放换算支持qwen25vl、doubao等输出格式parsing_response_to_pyautogui_code把结构化动作转成 PyAutoGUI 脚本字符串点击、输入、快捷键、拖拽、滚动等。下面这张图是坐标换算的可视化示例Set-of-Mark 标注坐标处理细节在 README_coordinates.md 中有完整教程如果你要接入自己训练的模型建议先读这一篇。上手路径准备、配置、首次运行第一步准备环境Python 3.10codes/pyproject.toml 要求3.10,4.0解析包本身零依赖pip install ui-tars即可若要跑模型推理需要云端 GPU官方推荐 7B 模型使用 Nvidia L4/L40S/A100或自有机房纯 CPU 环境跑不动完整链路。第二步部署模型模型UI-TARS-1.5-7B托管在 Hugging Face官方推荐通过 Hugging Face Inference Endpoints 部署为 API。完整步骤硬件选择、容器参数、环境变量CUDA_GRAPHS0、PAYLOAD_LIMIT8000000等见 README_deploy.md按文档操作约 10 分钟可拿到一个可调用端点。第三步首次运行解析包不部署模型也可以先跑通文本 → PyAutoGUI 代码这段链路最小示例如下与 README.md 中的 Quick Start 一致pip install ui-tarsfrom ui_tars.action_parser import ( parse_action_to_structure_output, parsing_response_to_pyautogui_code, ) response Thought: Click the button\nAction: click(start_box(100,200)) parsed parse_action_to_structure_output( response, factor1000, origin_resized_height1080, origin_resized_width1920, model_typeqwen25vl, ) print(parsed) print(parsing_response_to_pyautogui_code(parsed, 1080, 1920))仓库自带单元测试在codes/目录下执行python -m unittest discover tests *_test.py可验证解析逻辑codes/tests/action_parser_test.py。如果只需要拉取源码仓库地址为https://gitcode.com/GitHub_Trending/ui/UI-TARS。实测边界数据能说明什么不能说明什么以下数据均来自仓库 README.md主体为 UI-TARS-1.5 完整模型在线基准为在线评测基准UI-TARS-1.5对比项说明OSWorld桌面100 步42.5OpenAI CUA 36.4 / Claude 3.7 28.0桌面真实应用任务Windows Agent Arena50 步42.1此前 SOTA 29.8桌面任务WebVoyager浏览器84.8OpenAI CUA 87浏览器任务上略低于 CUAAndroid World手机64.2此前 SOTA 59.5手机 GUI 任务ScreenSpot-V2定位94.2OpenAI CUA 87.9界面元素定位ScreenSpotPro定位61.6OpenAI CUA 23.4专业软件界面定位游戏场景Poki 平台 14 款网页游戏UI-TARS-1.5 完整模型除 cubinko 为 0% 外其余 13 款均为 100%作为对照OpenAI CUA 在同批游戏中最好成绩是 92.25%多款游戏为 0%。《我的世界》任务上带思考的 UI-TARS-1.5 在 200 个挖掘类任务上的平均成功率为 0.42此前 SOTA 为 0.32。需要注意两点边界开源 7B 与完整模型不是一回事。模型规模对比显示开源的 UI-TARS-1.5-7B 在 OSWorld 上为 27.5完整模型 42.5、ScreenSpotPro 为 49.6完整模型 61.6。官方也明确说明 7B 侧重通用电脑操作并非为游戏场景优化。因此上表成绩不能直接当作你部署 7B 后能复现的数字。官方列出的限制可能在模糊或不熟悉环境中产生幻觉、误判元素长任务和大任务算力开销显著官方正在做安全评估不建议将其用于绕过验证码等受保护流程。不太适用的场景无 GPU 预算且不想用云端推理的纯本地项目要求 100% 确定性的关键生产流程视觉定位存在偶发失误需要高频次、大规模批量跑的自动化推理成本随步数线性增长涉及绕过登录验证的场景。适配建议比较适合GUI 回归测试与兼容性验证动态界面、游戏画面等拿不到控件树的场景视觉路线优势明显需要看屏幕就能操作的桌面/移动端自动化用提示词模板即可在两类平台间切换研究与评测GROUNDING模板 坐标解析链路适合做定位能力评估和多模态系统开发已有 VLM 输出的团队如果模型侧已就绪ui-tars包可以单独拿来解决输出文本 → 可执行脚本这一段。不太建议预算有限、无法承担云端 GPU 推理费用的团队——建议先用解析包验证链路再决定是否上模型对失败率零容忍的场景——可先以AI 出方案 人工确认的半自动模式试运行观察其在目标环境中的实际稳定性后再决定是否全托管。资源索引README.md项目总览、性能数据与限制说明README_deploy.mdHugging Face Endpoints 部署步骤与 API 调用示例README_coordinates.md模型坐标输出处理与可视化教程codes/README.mdui-tars包安装说明与 API 文档codes/ui_tars/prompt.py桌面/移动/定位三套提示词模板codes/ui_tars/action_parser.py动作解析与坐标换算核心实现data/test_messages.json真实多轮任务消息样例目前开源版本为 UI-TARS-1.5-7B2025-04 开放UI-TARS-2 已于 2025-09 发布技术报告能力覆盖 GUI、游戏、代码与工具调用后续版本进展可关注仓库更新。【免费下载链接】UI-TARSPioneering Automated GUI Interaction with Native Agents项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考