尧图网站设计 尧图网站设计YAOTU DESIGN
ARTICLE DETAIL

资讯详情

深耕网站设计与一线实操的经验洞察。

【OpenAI】Google开源神器Computer Use Preview全攻略:用AI自然语言轻松实现浏览器自动化任务获取OpenAI API KEY的两种方式,开发者必看全方面教程!

【OpenAI】Google开源神器Computer Use Preview全攻略:用AI自然语言轻松实现浏览器自动化任务获取OpenAI API KEY的两种方式,开发者必看全方面教程! 1. Computer Use Preview 到底解决什么问题Computer Use Preview 是 Google 开源的一个浏览器自动化演示项目核心能力是让 AI 通过自然语言理解页面结构再驱动 Playwright 完成点击、输入、跳转、抓取等动作。简单说你写一句“打开某站点搜索关键词并截图”它就能把这句话拆成若干浏览器操作步骤并执行。它适合三类人想快速验证 AI Agent 落地的前端/后端开发者、需要做页面巡检或数据采集的测试同学、以及想把自然语言指令接进自己工具链的独立开发者。它和传统 Selenium 脚本最大的区别在于“意图理解”。传统脚本里每个选择器、每次等待都要手写页面一改就崩Computer Use Preview 把页面可访问性树交给模型由模型决定下一步点哪里脚本维护成本明显下降。但它并不是开箱即用的成品模型调用需要 API Key而 Key 的获取与接入方式直接决定你能不能在国内网络环境下稳定跑通。我实测下来卡住大多数人的不是项目本身而是“模型通道”这一步。项目默认走 Gemini/Vertex AI但很多开发者手里已经有 OpenAI 兼容的 Key或者希望通过统一通道管理多个模型。这篇就围绕 Computer Use Preview 的浏览器自动化场景把通过 TaoToken 统一 Key/API 通道获取 OpenAI API KEY 的两种配置路径讲清楚并给出可复制的 settings.json、config.toml 骨架以及 CC Switch、Cline 的接入步骤和一次真实验证动作。2. TaoToken 前置准备统一 Key 与 API 通道TaoToken 在这里扮演的是“统一模型入口”的角色。你不需要在多个平台之间来回切换 Key而是用一套 API Key 和统一的 base_url就能调用包括 OpenAI 系列在内的模型。对 Computer Use Preview 来说这意味着你只要把项目里的模型客户端指向 TaoToken 的 API 地址就能让浏览器自动化任务跑起来。先做两件准备工作。第一注册并登录 TaoToken 控制台地址是 https://taotoken.net/api 注意 API 调用统一走这个域名不要带多余路径。第二进入控制台创建 API Key建议按项目命名比如computer-use-preview方便后续排查是哪个应用在消耗额度。提示API Key 只在创建时完整显示一次复制后立刻存进密码管理器或本地.env不要直接写进会提交到 Git 的代码里。拿到 Key 之后你需要记住两个核心参数base_url填https://taotoken.net/apiapi_key填你刚创建的那串字符。后面两种配置路径区别只在于“把这两个参数写到哪里”。如果你还没创建 Key可以直接打开 API Keys 页面https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentapi_keysutm_campaignrewrite 。创建完成后顺手把接入文档也收藏一下https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_contentdocutm_campaignrewrite 里面有针对不同客户端的字段说明。3. 两种配置路径settings.json 与 config.tomlComputer Use Preview 本身是 Python 项目但它的模型调用层通常通过环境变量或配置文件读取。为了兼容不同开发者的习惯这里给两种路径一种走 JSON 风格的settings.json适合 Cline、CC Switch 这类编辑器插件一种走 TOML 风格的config.toml适合命令行工具和 Python 脚本。3.1 路径一settings.json 骨架适合 Cline / CC Switch先看 JSON 路径。很多 VS Code 插件和 Agent 工具用settings.json管理模型供应商字段名可能略有差异但核心就是baseUrl、apiKey、model三项。下面是一个可直接复制的骨架{ provider: openai-compatible, baseUrl: https://taotoken.net/api, apiKey: sk-你的TaoTokenKey, model: gpt-4o, temperature: 0.2, maxTokens: 4096, timeout: 60000 }把这段保存到你的工具配置目录比如 Cline 的供应商设置里选择 “OpenAI Compatible”然后把baseUrl和apiKey填进去。model字段按你实际要用的模型名填写Computer Use Preview 做页面理解时建议用支持长上下文的模型因为可访问性树可能很长。注意baseUrl结尾不要加/v1TaoToken 的 API 入口已经处理好路径多加一层会导致 404。3.2 路径二config.toml 骨架适合命令行 / Python 脚本如果你更习惯命令行或直接在 Python 里读配置用 TOML 更清晰。下面这个骨架可以直接放进项目根目录的config.toml[llm] provider openai base_url https://taotoken.net/api api_key sk-你的TaoTokenKey model gpt-4o temperature 0.2 max_tokens 4096 timeout 60 [browser] headless false slow_mo 200 viewport_width 1440 viewport_height 900然后在 Python 里用tomllib读取import tomllib from openai import OpenAI with open(config.toml, rb) as f: cfg tomllib.load(f) client OpenAI( api_keycfg[llm][api_key], base_urlcfg[llm][base_url], ) resp client.chat.completions.create( modelcfg[llm][model], messages[{role: user, content: 返回当前页面标题}], ) print(resp.choices[0].message.content)这两种路径没有优劣JSON 适合插件生态TOML 适合自己写脚本。你可以先用 TOML 跑通一次请求确认 Key 和 base_url 没问题再迁移到插件里。4. CC Switch / Cline 接入步骤CC Switch 和 Cline 是两类常见入口前者偏配置切换后者偏编辑器内 Agent。接入逻辑一样把 TaoToken 当成一个 OpenAI 兼容供应商。CC Switch 的操作顺序是打开供应商管理新增一个自定义供应商名称填TaoTokenAPI 地址填https://taotoken.net/apiKey 填你的 TaoToken Key模型列表里手动加上你要用的模型名。保存后切换到这个供应商再启动 Computer Use Preview 的任务。Cline 的步骤稍微不同在 VS Code 里打开 Cline 面板点设置图标API Provider 选 “OpenAI Compatible”Base URL 填https://taotoken.net/apiAPI Key 填 TaoToken KeyModel ID 填模型名。保存后新建一个对话输入“帮我打开某页面并提取标题”观察它是否正常调用模型。如果你在配置过程中不确定字段该填什么可以直接对照接入文档https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_contentdocutm_campaignrewrite 。文档里有针对不同客户端的字段映射表比反复试错快得多。5. 验证请求跑通一次浏览器自动化任务配置写完必须验证否则你无法判断是 Key 问题、网络问题还是项目本身的问题。最直接的验证分两步先验证模型通道再验证浏览器动作。第一步用一段最小 Python 代码确认模型能返回内容from openai import OpenAI client OpenAI( api_keysk-你的TaoTokenKey, base_urlhttps://taotoken.net/api, ) resp client.chat.completions.create( modelgpt-4o, messages[ {role: system, content: 你是一个浏览器自动化助手。}, {role: user, content: 用一句话描述如何打开网页并截图。}, ], ) print(resp.choices[0].message.content)如果这段能打印出正常中文回答说明 Key 和 base_url 都通了。如果报 401检查 Key 是否复制完整如果报 404检查 base_url 是否多写了/v1。第二步把模型接进 Computer Use Preview 的浏览器任务。下面是一个简化示例展示如何用自然语言驱动 Playwrightfrom playwright.sync_api import sync_playwright from openai import OpenAI client OpenAI( api_keysk-你的TaoTokenKey, base_urlhttps://taotoken.net/api, ) def ask_model(page_title: str, page_text: str) - str: prompt f当前页面标题{page_title}\n页面内容片段{page_text[:500]}\n请判断下一步应该点击或输入什么。 resp client.chat.completions.create( modelgpt-4o, messages[{role: user, content: prompt}], ) return resp.choices[0].message.content with sync_playwright() as p: browser p.chromium.launch(headlessFalse, slow_mo200) page browser.new_page() page.goto(https://example.com) title page.title() text page.inner_text(body) decision ask_model(title, text) print(模型建议, decision) page.screenshot(pathverify.png) browser.close()运行后你会看到浏览器打开、截图生成、控制台打印模型建议。这一步成功就说明“自然语言 → 模型 → 浏览器动作”的链路已经打通。想更直观地对比不同模型在页面理解上的表现可以打开模型对话页面手动测试https://taotoken.net/model-chat?utm_sourcetaotoken_aicg_blog_endutm_contentmodel_chatutm_campaignrewrite 。6. 本篇常见错排查第一个高频错误是 401 Unauthorized。九成情况是 Key 复制时带了空格或者用了旧 Key。解决办法是重新在控制台创建一个新 Key直接粘贴不要手动输入。第二个是 404 Not Found。这通常是因为base_url写成了https://taotoken.net/api/v1。TaoToken 的入口不需要额外加/v1去掉即可。第三个是模型名不存在。不同供应商的模型命名不同如果你填了一个 TaoToken 不支持的模型名会返回 model not found。解决方式是先在模型对话页面确认可用模型名再填进配置。第四个是浏览器启动失败。Computer Use Preview 依赖 Playwright如果没装浏览器内核会报 executable doesnt exist。执行playwright install chromium即可。第五个是超时。页面可访问性树很长时模型响应可能超过默认 30 秒。把timeout调到 60000 毫秒以上或者换用上下文更长的模型。如果你在排查过程中需要确认 Key 的额度或状态可以进控制台查看https://taotoken.net/console?utm_sourcetaotoken_aicg_blog_endutm_contentconsoleutm_campaignrewrite 。长期做编码类 Agent 任务的话Coding Plan 会更划算入口在这里https://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_contentcoding_planutm_campaignrewrite 。7. 把配置沉淀成可复用模板跑通一次之后建议把配置沉淀成模板避免每次换项目都重来。我的做法是建一个agent-config目录里面放settings.json、config.toml、.env.example三个文件.env.example里只写变量名不写真实 Key真实 Key 放本地.env并加入.gitignore。这样下次接入新的浏览器自动化项目时只需要复制目录、填一次 Key就能直接复用。对于需要频繁切换模型的场景可以在config.toml里保留多个[llm.xxx]段落用命令行参数选择加载哪一段比每次改代码更省事。最后提醒一句浏览器自动化任务涉及页面操作建议先在测试环境跑确认模型决策符合预期后再放到生产流程里。配置本身不复杂难的是把模型输出稳定地映射到浏览器动作这一步需要你根据实际页面多调几次参数。
返回列表