UI-TARS Desktop10 分钟装好并跑通第一个 GUI 自动化任务【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop周五下午你盯着 17 条待办第一条写着“登录管理后台导出上周订单数据”。你索性在输入框里敲下“打开内部 CRM找到最近 7 天的订单并导出为 CSV”。屏幕上的光标亮起来鼠标自己动了起来——这就是 GUI 自动化桌面应用 UI-TARS Desktop 干活的樣子。 30 秒看懂核心循环截图、模型、执行UI-TARS Desktop 的原理很直白每一轮它先截屏把画面交给视觉语言模型VLM能看图并输出结构化指令的大模型。模型回一句“点击 (320, 188)”这样的指令本地执行器Operator真正驱动鼠标键盘的模块完成这个动作然后再截一次图如此循环直到任务完成或主动报错。项目要求备注UI-TARS DesktopmacOS 10.15 或 Windows 10单显示器环境多显示器可能导致任务失败浏览器仅浏览器模式Chrome / Edge / Firefox 任一配合 Use Local Browser 模式使用模型服务OpenAI 兼容的 API 端点自部署 UI-TARS-1.5或用火山引擎的 Doubao-1.5-UI-TARS核心交互就是界面中央那个输入框敲一句话整个循环就开始转。 三步装完并打开第一个界面macOS获取安装包从项目 releases 页下载最新版 .dmg装有 Homebrew 的话直接执行brew install --cask ui-tars把 UI TARS 拖进 Applications 文件夹。授予两项权限系统设置 隐私与安全性中为 UI TARS 开启辅助功能和屏幕录制。Windows双击UI.TARS-x.x.x.Setup.exe安装。若弹出“Windows 已保护你的电脑”提示点“更多信息”再选“仍要运行”。⚙️ 四个参数填对模型连接一次通过打开应用设置页按下表填写参数格式约束示例值VLM Provider必须选与模型匹配的预置项决定动作解析格式Hugging Face for UI-TARS-1.5VLM Base URLHuggingFace 部署必须以 /v1/ 结尾火山引擎按控制台给的端点原样填https://your-endpoint.huggingface.cloud/v1/VLM API KEY纯字符串首尾不留空格hf_xxxVLM Model Name与端点里的模型名逐字一致doubao-1.5-ui-tars-250328填完点“Check Model Availability”看到通过提示说明链路已通。首次启动的主界面是三栏布局左侧会话历史、中间任务输入、右侧设置与报告入口。 跑两个实战任务先计算器再跨应用先在启动页选模式桌面任务选 Use Local Computer网页任务选 Use Local Browser。让计算器算道题“打开计算器计算 (123456)×7并告诉我结果”执行链路启动计算器并等主界面出现依次点击按键 123 456 ) × 7 读取结果栏数字并回复预期产出计算器结果栏出现 4107会话里也给出同一个数字。把网页标题搬进记事本“用 Chrome 打开我指定的新闻站点复制最新一篇的标题再打开桌面记事本把标题粘贴进去并保存为 today.txt”执行链路启动 Chrome 并打开目标页面定位最新一篇的标题复制标题文字切回桌面并启动记事本粘贴并保存为 today.txt预期产出桌面生成含标题的 today.txt任务结束后可下载完整报告每步一张截图加动作记录。哪一步失败先看报告里该步的截图多半能分清是模型看错还是页面变了。 收尾何时上远程怎么避坑远程执行器手被占住时再用内置 Remote Computer / Browser 模式让任务在云端机器上跑不占你当前屏幕。适合本机配置弱或想一边干活一边让任务自己跑。不适合涉及内部系统、敏感数据或长耗时任务——数据会经云端传输且内置免费试用已转为自建部署迁移说明见快速入门文档。预设模板多套配置来回切时再用Preset 把当前模型加参数组合存成模板可一键导入。适合已有两套以上都验证过的配置需要频繁切换。不适合基础配置还没通过模型连通性检查时——先把参数调对再谈保存。本地与远程怎么选一张表说清维度本地 Operator远程 Operator执行位置这台机器云端机器你的屏幕被占用可围观不占用敏感数据留在本机需上传云端谨慎上手门槛要接好本地模型一键试用长期用需自建三个最高频问题现象根因解法模型连通性检查失败Base URL 少了 /v1/ 或模型名对不上按参数表重填再点 Check Model AvailabilitymacOS 点了没反应辅助功能或屏幕录制权限未开隐私与安全性里都打开重启应用多显示器下动作跳错目前仅支持单显示器改接单显示器后重跑行动建议先跑计算器任务确认“截图、模型、执行”循环通了。浏览器任务前先装好最新版 Chrome 或 Edge并保持普通窗口而非全屏。指令写具体指明应用名、目标页面、期望产物一个任务只给一件事。跑完看报告失败那一步对照截图判断再决定是换指令还是换模式。延伸材料快速入门设置配置预设模板SDK 开发文档把“截图、模型、执行”这条链跑通之后剩下的事就只有一句写得清楚的指令。【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 UI-TARS Desktop：10 分钟装好并跑通第一个 GUI 自动化任务
UI-TARS Desktop10 分钟装好并跑通第一个 GUI 自动化任务【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop周五下午你盯着 17 条待办第一条写着“登录管理后台导出上周订单数据”。你索性在输入框里敲下“打开内部 CRM找到最近 7 天的订单并导出为 CSV”。屏幕上的光标亮起来鼠标自己动了起来——这就是 GUI 自动化桌面应用 UI-TARS Desktop 干活的樣子。 30 秒看懂核心循环截图、模型、执行UI-TARS Desktop 的原理很直白每一轮它先截屏把画面交给视觉语言模型VLM能看图并输出结构化指令的大模型。模型回一句“点击 (320, 188)”这样的指令本地执行器Operator真正驱动鼠标键盘的模块完成这个动作然后再截一次图如此循环直到任务完成或主动报错。项目要求备注UI-TARS DesktopmacOS 10.15 或 Windows 10单显示器环境多显示器可能导致任务失败浏览器仅浏览器模式Chrome / Edge / Firefox 任一配合 Use Local Browser 模式使用模型服务OpenAI 兼容的 API 端点自部署 UI-TARS-1.5或用火山引擎的 Doubao-1.5-UI-TARS核心交互就是界面中央那个输入框敲一句话整个循环就开始转。 三步装完并打开第一个界面macOS获取安装包从项目 releases 页下载最新版 .dmg装有 Homebrew 的话直接执行brew install --cask ui-tars把 UI TARS 拖进 Applications 文件夹。授予两项权限系统设置 隐私与安全性中为 UI TARS 开启辅助功能和屏幕录制。Windows双击UI.TARS-x.x.x.Setup.exe安装。若弹出“Windows 已保护你的电脑”提示点“更多信息”再选“仍要运行”。⚙️ 四个参数填对模型连接一次通过打开应用设置页按下表填写参数格式约束示例值VLM Provider必须选与模型匹配的预置项决定动作解析格式Hugging Face for UI-TARS-1.5VLM Base URLHuggingFace 部署必须以 /v1/ 结尾火山引擎按控制台给的端点原样填https://your-endpoint.huggingface.cloud/v1/VLM API KEY纯字符串首尾不留空格hf_xxxVLM Model Name与端点里的模型名逐字一致doubao-1.5-ui-tars-250328填完点“Check Model Availability”看到通过提示说明链路已通。首次启动的主界面是三栏布局左侧会话历史、中间任务输入、右侧设置与报告入口。 跑两个实战任务先计算器再跨应用先在启动页选模式桌面任务选 Use Local Computer网页任务选 Use Local Browser。让计算器算道题“打开计算器计算 (123456)×7并告诉我结果”执行链路启动计算器并等主界面出现依次点击按键 123 456 ) × 7 读取结果栏数字并回复预期产出计算器结果栏出现 4107会话里也给出同一个数字。把网页标题搬进记事本“用 Chrome 打开我指定的新闻站点复制最新一篇的标题再打开桌面记事本把标题粘贴进去并保存为 today.txt”执行链路启动 Chrome 并打开目标页面定位最新一篇的标题复制标题文字切回桌面并启动记事本粘贴并保存为 today.txt预期产出桌面生成含标题的 today.txt任务结束后可下载完整报告每步一张截图加动作记录。哪一步失败先看报告里该步的截图多半能分清是模型看错还是页面变了。 收尾何时上远程怎么避坑远程执行器手被占住时再用内置 Remote Computer / Browser 模式让任务在云端机器上跑不占你当前屏幕。适合本机配置弱或想一边干活一边让任务自己跑。不适合涉及内部系统、敏感数据或长耗时任务——数据会经云端传输且内置免费试用已转为自建部署迁移说明见快速入门文档。预设模板多套配置来回切时再用Preset 把当前模型加参数组合存成模板可一键导入。适合已有两套以上都验证过的配置需要频繁切换。不适合基础配置还没通过模型连通性检查时——先把参数调对再谈保存。本地与远程怎么选一张表说清维度本地 Operator远程 Operator执行位置这台机器云端机器你的屏幕被占用可围观不占用敏感数据留在本机需上传云端谨慎上手门槛要接好本地模型一键试用长期用需自建三个最高频问题现象根因解法模型连通性检查失败Base URL 少了 /v1/ 或模型名对不上按参数表重填再点 Check Model AvailabilitymacOS 点了没反应辅助功能或屏幕录制权限未开隐私与安全性里都打开重启应用多显示器下动作跳错目前仅支持单显示器改接单显示器后重跑行动建议先跑计算器任务确认“截图、模型、执行”循环通了。浏览器任务前先装好最新版 Chrome 或 Edge并保持普通窗口而非全屏。指令写具体指明应用名、目标页面、期望产物一个任务只给一件事。跑完看报告失败那一步对照截图判断再决定是换指令还是换模式。延伸材料快速入门设置配置预设模板SDK 开发文档把“截图、模型、执行”这条链跑通之后剩下的事就只有一句写得清楚的指令。【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考