Ostrakon-VL-8B智能体开发入门让AI看懂屏幕并自主操作你是不是也想过要是电脑能自己看懂屏幕然后像人一样去点击、输入、操作那该多省事比如让它自动帮你填写一个在线表格或者根据一张商品截图去电商网站下单。这听起来像是科幻电影里的场景但现在借助像Ostrakon-VL-8B这样的视觉大模型我们完全可以开始动手搭建这样的智能体了。今天我们就来一起试试怎么用Ostrakon-VL-8B作为“眼睛”和“大脑”构建一个能理解界面、规划步骤并执行任务的AI智能体。我们会用一个“根据网页截图操作浏览器”的具体例子带你从零开始看看智能体是怎么工作的以及你该如何上手搭建自己的第一个自动化助手。1. 智能体开发从“看到”到“做到”在开始敲代码之前我们先花几分钟用大白话把这件事儿讲清楚。所谓“智能体”你可以把它想象成一个虚拟的、会思考的小机器人。它的核心能力是“感知-思考-行动”的循环。感知就是“看”。我们的智能体通过Ostrakon-VL-8B模型来“看”屏幕截图。这个模型很厉害它不仅能认出图片里有什么比如按钮、输入框、文字还能理解这些元素之间的关系和功能比如“这是一个登录按钮”、“那是一个搜索框”。思考就是“想”。智能体根据它“看到”的内容结合我们给它的任务比如“登录邮箱”来规划下一步该做什么。它会想“哦当前页面有个用户名输入框我应该先在这里输入我的账号。”行动就是“做”。规划好之后智能体需要把想法转换成实际的操作指令比如“在id为username的输入框里输入‘testexample.com’”然后通过某种方式比如浏览器自动化工具去执行这个点击或输入动作。我们这次要做的就是把Ostrakon-VL-8B这个强大的“视觉感知模块”装进智能体的身体里让它真正能看懂图形界面并自主完成任务。下面我们就从环境准备开始。2. 搭建你的智能体开发环境工欲善其事必先利其器。为了让我们的小机器人跑起来需要先准备好它的“工作台”。别担心步骤都很简单。2.1 基础环境与模型准备首先确保你的电脑上已经安装了Python建议3.8或以上版本。然后我们通过pip安装几个核心的库。打开你的终端或命令行输入以下命令pip install transformers pillow torchtransformers这是Hugging Face提供的库让我们能非常方便地加载和使用像Ostrakon-VL-8B这样的预训练模型。pillow一个处理图像的Python库用来加载和预处理我们要“喂”给模型的截图。torchPyTorch深度学习框架模型运行的基础。接下来我们需要一个能让智能体“动手操作”的工具。这里我们选用playwright它是一个非常强大的浏览器自动化库可以精确地模拟点击、输入、导航等操作。pip install playwright # 安装完成后还需要安装它自带的浏览器 playwright install环境就绪现在我们来请出今天的核心主角——Ostrakon-VL-8B模型。由于这个模型比较大直接从Hugging Face加载可能需要一些时间和网络条件。这里我们演示如何加载它from transformers import AutoProcessor, AutoModelForVision2Seq import torch # 指定模型名称 model_id OstrakonAI/Ostrakon-VL-8B # 加载处理器和模型 print(正在加载处理器和模型这可能需要几分钟请耐心等待...) processor AutoProcessor.from_pretrained(model_id) model AutoModelForVision2Seq.from_pretrained(model_id, torch_dtypetorch.float16, device_mapauto) print(模型加载成功)device_map”auto”会让程序自动选择使用GPU如果有的话还是CPU。使用GPU速度会快很多。第一次运行时会下载模型文件请保持网络通畅。2.2 设计智能体的核心工作流在写代码之前我们先在脑子里画个流程图理清智能体每一步要干什么。这对于后续开发至关重要。我们的智能体将遵循这样一个循环观察获取当前屏幕或网页的截图。理解将截图和任务描述如“点击登录按钮”一起送给Ostrakon-VL-8B模型让它分析当前界面状态并生成下一步的具体操作建议自然语言形式例如“在顶部导航栏找到搜索图标并点击”。规划将模型生成的自然语言指令解析成结构化、可执行的命令。例如转换成Playwright能懂的代码page.click(‘nav text搜索’)。执行通过Playwright执行上一步解析出来的命令真正操控浏览器。验证执行后再次截图观察结果是否与预期相符。然后回到第1步直到任务完成为止。这个“观察-思考-行动”的循环就是智能体的灵魂。接下来我们用一个实际案例把它实现出来。3. 实战案例让智能体操作浏览器搜索我们设计一个经典且实用的任务让智能体打开浏览器访问一个技术博客网站然后在搜索框里查找关于“智能体开发”的文章。这个任务包含了导航、识别输入框、输入文本、点击按钮等多个步骤非常适合演示智能体的能力。3.1 第一步教会智能体“看”和“想”首先我们编写一个函数让智能体能分析截图并给出操作建议。这个函数是智能体的“大脑”。from PIL import Image import re def analyze_screenshot_and_plan(screenshot_image, task_description): 核心分析函数让模型根据截图和任务描述生成下一步操作计划。 参数: screenshot_image: PIL.Image对象当前屏幕截图。 task_description: 字符串当前要做的任务比如“在搜索框输入‘agent开发’”。 返回: 模型生成的下一步操作建议自然语言。 # 准备给模型的输入信息 prompt f你是一个AI助手正在通过视觉观察一个图形用户界面GUI。 当前用户给你的任务是{task_description} 这是当前的界面截图。请仔细分析截图然后回答 1. 当前界面是什么例如浏览器首页、登录页面、搜索结果页等 2. 为了完成上述任务下一步最应该操作哪个界面元素请具体描述如‘点击蓝色的登录按钮’、‘在顶部的搜索框输入文字’ 3. 给出具体的操作指令。 请直接给出你的分析和操作建议。 # 使用处理器准备模型输入 inputs processor(imagesscreenshot_image, textprompt, return_tensorspt).to(model.device) # 让模型生成回答 with torch.no_grad(): generated_ids model.generate(**inputs, max_new_tokens200) # 将生成的token解码成我们能读懂的文本 generated_text processor.batch_decode(generated_ids, skip_special_tokensTrue)[0] # 通常模型会连提示词一起生成我们需要提取出它新生成的部分。 # 这里用一个简单的方法查找提示词中最后一个独特标记后的内容。 # 更健壮的做法可以基于模型输出格式调整。 if prompt in generated_text: response generated_text.split(prompt)[-1].strip() else: response generated_text.strip() print(f[模型分析结果]\n{response}\n) return response这个函数做了几件事构建一个引导模型思考的提示词Prompt将图片和文字一起传给模型然后获取模型“思考”后输出的文本。这个文本就是它对我们下一步操作的“建议”。3.2 第二步将“想法”转化为“动作”模型给出的建议是中文或英文句子比如“点击页面右上角的搜索图标”。但Playwright需要的是明确的定位器和操作命令。所以我们需要一个“解析器”。这里我们实现一个简单的解析函数它尝试从模型的自然语言回答中提取出操作类型和目标。def parse_instruction_to_action(model_response): 一个简单的指令解析器示例。 将模型生成的自然语言指令尝试解析为结构化的动作。 在实际复杂应用中你可能需要更复杂的解析逻辑或使用另一个小模型。 参数: model_response: 字符串模型返回的分析文本。 返回: 一个字典包含 action操作类型和 target_description目标描述。 action_map { 点击: click, 输入: type, 按: press, 导航到: goto, 访问: goto, 选择: select, 滚动: scroll, } action unknown target_desc # 这是一个非常基础的基于关键词的解析仅为演示。 for chi_action, eng_action in action_map.items(): if chi_action in model_response: action eng_action # 尝试提取动作后面的描述作为目标这里逻辑非常简化 parts model_response.split(chi_action, 1) if len(parts) 1: target_desc parts[1].strip( 。) break return {action: action, target_description: target_desc}这个解析器还很初级它只是简单地查找关键词。在真正的项目中你可能需要训练一个专门的微调模型或者设计更复杂的规则来更可靠地将自然语言转换成代码。但作为入门它已经能帮助我们理解这个转换过程了。3.3 第三步组装完整的智能体并运行现在我们把“大脑”分析函数、“翻译官”解析函数和“手”Playwright组装起来形成一个完整的循环。from playwright.sync_api import sync_playwright import time def run_web_agent(task): 主函数运行一个能够操作浏览器的智能体。 参数: task: 字符串最终要完成的任务例如“在CSDN博客首页搜索‘agent开发’”。 with sync_playwright() as p: # 启动浏览器这里用Chromium你也可以换成firefox或webkit browser p.chromium.launch(headlessFalse) # headlessFalse 表示打开可见的浏览器窗口方便观察 context browser.new_context() page context.new_page() # 初始任务先导航到目标网站例如CSDN博客首页 initial_site https://blog.csdn.net print(f智能体启动正在导航至{initial_site}) page.goto(initial_site) time.sleep(2) # 等待页面加载 current_task task max_steps 10 # 防止无限循环设置最大步骤数 step 0 while current_task and step max_steps: step 1 print(f\n 步骤 {step} ) print(f当前任务: {current_task}) # 1. 观察截图 screenshot page.screenshot(typepng) image Image.open(io.BytesIO(screenshot)) # 2. 理解与规划让模型分析截图并给出建议 instruction analyze_screenshot_and_plan(image, current_task) # 3. 解析将建议转化为动作 action_dict parse_instruction_to_action(instruction) print(f[解析出的动作]{action_dict}) # 4. 执行根据解析出的动作尝试操作这里是一个极其简化的执行逻辑 # 注意真实场景需要根据target_description精确定位元素这里仅为演示流程。 if action_dict[action] click: # 假设模型告诉我们点击“搜索图标”我们这里简化处理直接通过页面已知选择器来点击 # 实际上你需要根据target_description去智能地定位元素这可能涉及另一个视觉定位模型。 try: # 示例尝试点击一个常见的搜索按钮实际网站选择器可能不同 page.click(input[placeholder*搜索]) print(执行动作尝试点击搜索框) except: print(未能找到可点击的搜索元素尝试其他方式...) elif action_dict[action] type and 搜索 in action_dict[target_description]: # 如果是输入动作且目标与搜索相关我们直接输入关键词 page.fill(input[placeholder*搜索], agent开发) print(执行动作在搜索框输入‘agent开发’) # 假设输入后任务完成或变更 current_task 点击搜索按钮或按回车开始搜索 continue elif action_dict[action] unknown: print(无法解析指令智能体可能已完成任务或遇到未知界面。) break # 5. 验证与循环等待一下让页面反应然后循环会继续 time.sleep(2) # 简化逻辑这里我们假设输入搜索词后手动更新任务或结束循环 if step 5: # 防止演示无限循环 print(演示步骤达到上限结束循环。) break print(\n 智能体运行结束 ) # 保持浏览器打开一段时间供观察 time.sleep(5) browser.close() # 运行智能体 if __name__ __main__: import io final_task 在CSDN博客首页找到搜索功能并搜索关于‘智能体开发’的文章 run_web_agent(final_task)这段代码创建了一个完整的智能体工作流。它打开浏览器导航到网站然后开始循环截图 - 让Ostrakon-VL-8B分析 - 解析指令 - 执行操作。虽然我们的执行部分page.click还是写死的选择器但它清晰地展示了整个框架是如何串联的。运行这个脚本你会看到一个浏览器窗口自动打开并尝试完成搜索任务。在控制台你可以看到模型每一步的“思考”过程。4. 从入门到进阶下一步可以做什么通过上面的例子我们已经成功搭建了一个智能体的雏形。它能够“看到”界面并给出有一定道理的操作建议。但要让这个智能体真正可靠地处理复杂任务我们还需要在几个方面下功夫更精准的指令解析我们现在的解析器太简单了。下一步可以尝试用大语言模型LLM来解析或者训练一个专门的文本到动作的序列模型把“点击登录按钮”稳定地转换成page.click(‘#login-btn’)。更鲁棒的视觉定位模型知道要“点哪里”但如何把这个位置告诉Playwright这需要视觉定位模型它能输出界面元素的坐标或选择器。可以将Ostrakon-VL-8B的输出作为提示引导一个更专业的GUI元素检测模型。更复杂的任务规划对于多步骤任务智能体需要有“记忆”和“反思”能力。它需要知道哪些步骤做过了当前步骤失败后该怎么办。这需要引入任务规划与推理框架比如ReAct、Tree of Thoughts等范式。更广泛的应用场景不仅仅是浏览器。这个架构可以迁移到任何有图形界面的地方桌面软件如Photoshop、手机App通过投屏、甚至游戏。核心都是“视觉感知-决策-执行”的循环。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
Ostrakon-VL-8B智能体（Agent）开发入门：自主完成多步骤视觉任务
发布时间：2026/8/2 1:02:22
Ostrakon-VL-8B智能体开发入门让AI看懂屏幕并自主操作你是不是也想过要是电脑能自己看懂屏幕然后像人一样去点击、输入、操作那该多省事比如让它自动帮你填写一个在线表格或者根据一张商品截图去电商网站下单。这听起来像是科幻电影里的场景但现在借助像Ostrakon-VL-8B这样的视觉大模型我们完全可以开始动手搭建这样的智能体了。今天我们就来一起试试怎么用Ostrakon-VL-8B作为“眼睛”和“大脑”构建一个能理解界面、规划步骤并执行任务的AI智能体。我们会用一个“根据网页截图操作浏览器”的具体例子带你从零开始看看智能体是怎么工作的以及你该如何上手搭建自己的第一个自动化助手。1. 智能体开发从“看到”到“做到”在开始敲代码之前我们先花几分钟用大白话把这件事儿讲清楚。所谓“智能体”你可以把它想象成一个虚拟的、会思考的小机器人。它的核心能力是“感知-思考-行动”的循环。感知就是“看”。我们的智能体通过Ostrakon-VL-8B模型来“看”屏幕截图。这个模型很厉害它不仅能认出图片里有什么比如按钮、输入框、文字还能理解这些元素之间的关系和功能比如“这是一个登录按钮”、“那是一个搜索框”。思考就是“想”。智能体根据它“看到”的内容结合我们给它的任务比如“登录邮箱”来规划下一步该做什么。它会想“哦当前页面有个用户名输入框我应该先在这里输入我的账号。”行动就是“做”。规划好之后智能体需要把想法转换成实际的操作指令比如“在id为username的输入框里输入‘testexample.com’”然后通过某种方式比如浏览器自动化工具去执行这个点击或输入动作。我们这次要做的就是把Ostrakon-VL-8B这个强大的“视觉感知模块”装进智能体的身体里让它真正能看懂图形界面并自主完成任务。下面我们就从环境准备开始。2. 搭建你的智能体开发环境工欲善其事必先利其器。为了让我们的小机器人跑起来需要先准备好它的“工作台”。别担心步骤都很简单。2.1 基础环境与模型准备首先确保你的电脑上已经安装了Python建议3.8或以上版本。然后我们通过pip安装几个核心的库。打开你的终端或命令行输入以下命令pip install transformers pillow torchtransformers这是Hugging Face提供的库让我们能非常方便地加载和使用像Ostrakon-VL-8B这样的预训练模型。pillow一个处理图像的Python库用来加载和预处理我们要“喂”给模型的截图。torchPyTorch深度学习框架模型运行的基础。接下来我们需要一个能让智能体“动手操作”的工具。这里我们选用playwright它是一个非常强大的浏览器自动化库可以精确地模拟点击、输入、导航等操作。pip install playwright # 安装完成后还需要安装它自带的浏览器 playwright install环境就绪现在我们来请出今天的核心主角——Ostrakon-VL-8B模型。由于这个模型比较大直接从Hugging Face加载可能需要一些时间和网络条件。这里我们演示如何加载它from transformers import AutoProcessor, AutoModelForVision2Seq import torch # 指定模型名称 model_id OstrakonAI/Ostrakon-VL-8B # 加载处理器和模型 print(正在加载处理器和模型这可能需要几分钟请耐心等待...) processor AutoProcessor.from_pretrained(model_id) model AutoModelForVision2Seq.from_pretrained(model_id, torch_dtypetorch.float16, device_mapauto) print(模型加载成功)device_map”auto”会让程序自动选择使用GPU如果有的话还是CPU。使用GPU速度会快很多。第一次运行时会下载模型文件请保持网络通畅。2.2 设计智能体的核心工作流在写代码之前我们先在脑子里画个流程图理清智能体每一步要干什么。这对于后续开发至关重要。我们的智能体将遵循这样一个循环观察获取当前屏幕或网页的截图。理解将截图和任务描述如“点击登录按钮”一起送给Ostrakon-VL-8B模型让它分析当前界面状态并生成下一步的具体操作建议自然语言形式例如“在顶部导航栏找到搜索图标并点击”。规划将模型生成的自然语言指令解析成结构化、可执行的命令。例如转换成Playwright能懂的代码page.click(‘nav text搜索’)。执行通过Playwright执行上一步解析出来的命令真正操控浏览器。验证执行后再次截图观察结果是否与预期相符。然后回到第1步直到任务完成为止。这个“观察-思考-行动”的循环就是智能体的灵魂。接下来我们用一个实际案例把它实现出来。3. 实战案例让智能体操作浏览器搜索我们设计一个经典且实用的任务让智能体打开浏览器访问一个技术博客网站然后在搜索框里查找关于“智能体开发”的文章。这个任务包含了导航、识别输入框、输入文本、点击按钮等多个步骤非常适合演示智能体的能力。3.1 第一步教会智能体“看”和“想”首先我们编写一个函数让智能体能分析截图并给出操作建议。这个函数是智能体的“大脑”。from PIL import Image import re def analyze_screenshot_and_plan(screenshot_image, task_description): 核心分析函数让模型根据截图和任务描述生成下一步操作计划。 参数: screenshot_image: PIL.Image对象当前屏幕截图。 task_description: 字符串当前要做的任务比如“在搜索框输入‘agent开发’”。 返回: 模型生成的下一步操作建议自然语言。 # 准备给模型的输入信息 prompt f你是一个AI助手正在通过视觉观察一个图形用户界面GUI。 当前用户给你的任务是{task_description} 这是当前的界面截图。请仔细分析截图然后回答 1. 当前界面是什么例如浏览器首页、登录页面、搜索结果页等 2. 为了完成上述任务下一步最应该操作哪个界面元素请具体描述如‘点击蓝色的登录按钮’、‘在顶部的搜索框输入文字’ 3. 给出具体的操作指令。 请直接给出你的分析和操作建议。 # 使用处理器准备模型输入 inputs processor(imagesscreenshot_image, textprompt, return_tensorspt).to(model.device) # 让模型生成回答 with torch.no_grad(): generated_ids model.generate(**inputs, max_new_tokens200) # 将生成的token解码成我们能读懂的文本 generated_text processor.batch_decode(generated_ids, skip_special_tokensTrue)[0] # 通常模型会连提示词一起生成我们需要提取出它新生成的部分。 # 这里用一个简单的方法查找提示词中最后一个独特标记后的内容。 # 更健壮的做法可以基于模型输出格式调整。 if prompt in generated_text: response generated_text.split(prompt)[-1].strip() else: response generated_text.strip() print(f[模型分析结果]\n{response}\n) return response这个函数做了几件事构建一个引导模型思考的提示词Prompt将图片和文字一起传给模型然后获取模型“思考”后输出的文本。这个文本就是它对我们下一步操作的“建议”。3.2 第二步将“想法”转化为“动作”模型给出的建议是中文或英文句子比如“点击页面右上角的搜索图标”。但Playwright需要的是明确的定位器和操作命令。所以我们需要一个“解析器”。这里我们实现一个简单的解析函数它尝试从模型的自然语言回答中提取出操作类型和目标。def parse_instruction_to_action(model_response): 一个简单的指令解析器示例。 将模型生成的自然语言指令尝试解析为结构化的动作。 在实际复杂应用中你可能需要更复杂的解析逻辑或使用另一个小模型。 参数: model_response: 字符串模型返回的分析文本。 返回: 一个字典包含 action操作类型和 target_description目标描述。 action_map { 点击: click, 输入: type, 按: press, 导航到: goto, 访问: goto, 选择: select, 滚动: scroll, } action unknown target_desc # 这是一个非常基础的基于关键词的解析仅为演示。 for chi_action, eng_action in action_map.items(): if chi_action in model_response: action eng_action # 尝试提取动作后面的描述作为目标这里逻辑非常简化 parts model_response.split(chi_action, 1) if len(parts) 1: target_desc parts[1].strip( 。) break return {action: action, target_description: target_desc}这个解析器还很初级它只是简单地查找关键词。在真正的项目中你可能需要训练一个专门的微调模型或者设计更复杂的规则来更可靠地将自然语言转换成代码。但作为入门它已经能帮助我们理解这个转换过程了。3.3 第三步组装完整的智能体并运行现在我们把“大脑”分析函数、“翻译官”解析函数和“手”Playwright组装起来形成一个完整的循环。from playwright.sync_api import sync_playwright import time def run_web_agent(task): 主函数运行一个能够操作浏览器的智能体。 参数: task: 字符串最终要完成的任务例如“在CSDN博客首页搜索‘agent开发’”。 with sync_playwright() as p: # 启动浏览器这里用Chromium你也可以换成firefox或webkit browser p.chromium.launch(headlessFalse) # headlessFalse 表示打开可见的浏览器窗口方便观察 context browser.new_context() page context.new_page() # 初始任务先导航到目标网站例如CSDN博客首页 initial_site https://blog.csdn.net print(f智能体启动正在导航至{initial_site}) page.goto(initial_site) time.sleep(2) # 等待页面加载 current_task task max_steps 10 # 防止无限循环设置最大步骤数 step 0 while current_task and step max_steps: step 1 print(f\n 步骤 {step} ) print(f当前任务: {current_task}) # 1. 观察截图 screenshot page.screenshot(typepng) image Image.open(io.BytesIO(screenshot)) # 2. 理解与规划让模型分析截图并给出建议 instruction analyze_screenshot_and_plan(image, current_task) # 3. 解析将建议转化为动作 action_dict parse_instruction_to_action(instruction) print(f[解析出的动作]{action_dict}) # 4. 执行根据解析出的动作尝试操作这里是一个极其简化的执行逻辑 # 注意真实场景需要根据target_description精确定位元素这里仅为演示流程。 if action_dict[action] click: # 假设模型告诉我们点击“搜索图标”我们这里简化处理直接通过页面已知选择器来点击 # 实际上你需要根据target_description去智能地定位元素这可能涉及另一个视觉定位模型。 try: # 示例尝试点击一个常见的搜索按钮实际网站选择器可能不同 page.click(input[placeholder*搜索]) print(执行动作尝试点击搜索框) except: print(未能找到可点击的搜索元素尝试其他方式...) elif action_dict[action] type and 搜索 in action_dict[target_description]: # 如果是输入动作且目标与搜索相关我们直接输入关键词 page.fill(input[placeholder*搜索], agent开发) print(执行动作在搜索框输入‘agent开发’) # 假设输入后任务完成或变更 current_task 点击搜索按钮或按回车开始搜索 continue elif action_dict[action] unknown: print(无法解析指令智能体可能已完成任务或遇到未知界面。) break # 5. 验证与循环等待一下让页面反应然后循环会继续 time.sleep(2) # 简化逻辑这里我们假设输入搜索词后手动更新任务或结束循环 if step 5: # 防止演示无限循环 print(演示步骤达到上限结束循环。) break print(\n 智能体运行结束 ) # 保持浏览器打开一段时间供观察 time.sleep(5) browser.close() # 运行智能体 if __name__ __main__: import io final_task 在CSDN博客首页找到搜索功能并搜索关于‘智能体开发’的文章 run_web_agent(final_task)这段代码创建了一个完整的智能体工作流。它打开浏览器导航到网站然后开始循环截图 - 让Ostrakon-VL-8B分析 - 解析指令 - 执行操作。虽然我们的执行部分page.click还是写死的选择器但它清晰地展示了整个框架是如何串联的。运行这个脚本你会看到一个浏览器窗口自动打开并尝试完成搜索任务。在控制台你可以看到模型每一步的“思考”过程。4. 从入门到进阶下一步可以做什么通过上面的例子我们已经成功搭建了一个智能体的雏形。它能够“看到”界面并给出有一定道理的操作建议。但要让这个智能体真正可靠地处理复杂任务我们还需要在几个方面下功夫更精准的指令解析我们现在的解析器太简单了。下一步可以尝试用大语言模型LLM来解析或者训练一个专门的文本到动作的序列模型把“点击登录按钮”稳定地转换成page.click(‘#login-btn’)。更鲁棒的视觉定位模型知道要“点哪里”但如何把这个位置告诉Playwright这需要视觉定位模型它能输出界面元素的坐标或选择器。可以将Ostrakon-VL-8B的输出作为提示引导一个更专业的GUI元素检测模型。更复杂的任务规划对于多步骤任务智能体需要有“记忆”和“反思”能力。它需要知道哪些步骤做过了当前步骤失败后该怎么办。这需要引入任务规划与推理框架比如ReAct、Tree of Thoughts等范式。更广泛的应用场景不仅仅是浏览器。这个架构可以迁移到任何有图形界面的地方桌面软件如Photoshop、手机App通过投屏、甚至游戏。核心都是“视觉感知-决策-执行”的循环。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
 BLE模块开发实战指南)
)
