安心出门基于智能眼镜与百宝箱工作流的第一视角随身物品检查助手本文介绍一个独立的智能眼镜应用项目——“安心出门”。系统通过眼镜获取用户当前第一视角画面结合自然语言指令和多模态视觉模型对钥匙、钱包、随身药盒等出门物品进行清单式检查并将检查结果以简短文字和语音反馈给用户。摘要老年人、轻度认知障碍人群以及日常生活节奏较快的用户在出门前经常需要反复确认钥匙、钱包、药盒等物品是否已经准备齐全。传统待办清单只能提示“应该携带什么”却不能判断物品是否真实出现在用户面前。为此本文基于智能眼镜第一视角图像、百宝箱智能体工作流和多模态视觉大模型设计并实现“安心出门”随身物品检查助手。用户既可以指定需要检查的物品也可以直接调用默认清单。系统通过意图识别、眼镜拍照、清单提取、视觉比对和结果生成完成端云协同并以“已看到、暂未看到、无法确认”三种状态返回检查结果。本文重点介绍工作流设计、眼镜端拍照插件、云端视觉模型、提示词约束、调试方法和安全边界。关键词智能眼镜AI智能体多模态大模型百宝箱工作流第一视角视觉物品检查1. 项目背景出门前反复检查随身物品是一个非常常见的生活场景。对于普通用户这可能只是偶尔忘带钥匙或雨伞对于老年人和存在轻度记忆困难的用户重复确认则可能带来明显焦虑。传统方案通常采用手机待办清单或定时提醒其本质是告诉用户“应该带什么”但无法回答下面的问题钥匙现在是否已经放在桌上钱包是否出现在准备携带的物品中用户提到的雨伞和药盒是否都能在当前视野中看到物品是真的没有出现还是因为被遮挡而无法判断智能眼镜具有第一视角、自然语音交互和随时获取真实场景的特点因此非常适合将“清单提醒”升级为“视觉检查”。“安心出门”的核心不是替用户证明物品一定没有携带而是帮助用户确认当前眼镜画面中哪些物品已经明确看到哪些暂时没有看到哪些因为遮挡或图像质量无法确认。2. 功能目标本项目采用独立智能体和独立工作流不依赖其他生活记忆类项目。当前MVP聚焦一个完整闭环用户发出检查指令 ↓ 眼镜拍摄当前视野 ↓ 提取用户检查清单 ↓ 视觉模型逐项识别与比对 ↓ 生成结构化检查结果 ↓ 眼镜端文字与语音反馈系统支持两种检查方式。2.1 默认清单检查当用户没有明确说出物品时系统使用默认清单钥匙、钱包、随身药盒例如帮我检查一下出门东西带齐了吗 帮我看看有没有忘带东西。 出门前帮我检查一下。2.2 用户指定清单当用户明确提到具体物品时系统只检查用户说出的物品不再自动追加默认清单。例如帮我看看钥匙、雨伞和水杯带齐了吗系统本次只检查钥匙、雨伞、水杯对应逻辑为用户是否说出具体物品 ├── 是使用用户指定清单 └── 否使用默认清单3. 系统总体架构系统由眼镜交互端、百宝箱工作流编排层和云端多模态理解层组成。3.1 眼镜交互端眼镜端负责接收用户自然语言指令播放拍照提示获取用户当前第一视角图片接收并播报最终检查结果。3.2 工作流编排层百宝箱工作流负责判断本次输入来自上传图片还是眼镜真机识别用户是否要执行出门检查调用眼镜拍照插件将正确的图片地址传递给视觉模型根据不同分支返回检查结果、使用说明或退出提示。3.3 云端视觉理解层视觉模型负责从用户指令中提取检查清单识别当前画面中的相关物品将物品划分为“已看到、暂未看到、无法确认”生成适合眼镜语音播报的简短结果。图1插入位置[此处插入安心出门系统总体架构图]4. 百宝箱工作流设计百宝箱默认项目已经包含开始、图片URL判断、意图识别、眼镜拍照、视觉模型、文本模型和结束节点。本项目保留默认模板的双入口结构并针对出门检查场景重新配置节点。最终工作流如下开始 ↓ 输入方式判断 ├── 图片URL不为空 │ ↓ │ 上传图片检查模型 │ ↓ │ 上传检查结果 │ └── 图片URL为空 ↓ 安心出门意图识别 ├── 出门检查 │ ↓ │ 眼镜拍摄出门物品 │ ↓ │ 眼镜检查模型 │ ↓ │ 眼镜检查结果 │ ├── 退出 │ ↓ │ 退出提示 │ └── 其他 ↓ 使用说明模型 ↓ 使用说明结果图2插入位置[此处插入百宝箱完整工作流截图]4.1 双入口设计工作流保留了上传图片和眼镜真机两条执行路径。上传图片路径用于开发调试开始 → 输入方式判断 → 上传图片检查模型 → 上传检查结果眼镜真机路径用于实际运行开始 → 输入方式判断 → 意图识别 → 眼镜拍照 → 眼镜检查模型 → 眼镜检查结果这种设计使开发者在没有佩戴眼镜时也能使用测试图片快速调试视觉提示词真机运行时则直接使用眼镜拍照插件返回的图片地址。4.2 为什么使用两个视觉模型节点上传图片和眼镜拍照的图片来源不同模型节点图片来源上传图片检查模型开始节点的图片URL眼镜检查模型眼镜拍照插件输出的data如果让同一个视觉模型同时引用两个图片变量未执行分支中的图片变量可能为空或失效增加调试难度。因此本项目使用两个配置相同、图片来源不同的视觉模型节点提高工作流稳定性。5. 意图识别设计眼镜真机路径设置三个互斥意图。5.1 出门检查用于识别检查随身物品的请求。典型表达包括帮我检查一下出门东西带齐了吗 帮我看看有没有忘带东西 钥匙、钱包和药盒带齐了吗 出门前帮我检查一下 我有没有忘带钥匙该意图命中后进入眼镜拍照节点。5.2 退出用于识别明确的结束请求例如退出 关闭 不用了 结束检查 停止退出分支不会调用摄像头。5.3 其他用于处理问候、功能咨询或与出门检查无关的输入。该分支进入文本模型向用户说明项目的正确使用方式不调用眼镜拍照插件。意图识别节点的输入必须通过变量选择器重新绑定开始 → 当前对话信息不能复制其他工作流中的变量表达式因为复制后的内部变量ID可能已经失效。6. 眼镜端拍照插件眼镜拍照节点负责获取当前真实视野。拍照提示设置为请看向准备携带的物品并保持视线稳定我正在帮您检查。插件主要输出code拍照处理状态 data图片数据地址其中视觉模型的图片输入必须绑定眼镜拍摄出门物品 → data仅仅把拍照节点与视觉模型连线只能确定执行顺序并不能保证模型获得图片真正完成图片传递的是模型图片输入中的变量引用。为降低偶发网络或设备响应失败的影响拍照插件启用失败重试最大重试次数3次 重试间隔300毫秒当无法获得图像时系统返回暂时没有获取到清晰画面请重新看向物品再说一次“帮我检查出门东西带齐了吗”。7. 多模态模型提示词设计视觉模型选用Qwen-VL-Max系列模型。提示词将任务拆分为“提取清单、观察图像、逐项判断、生成结果”四个阶段。核心提示词如下# 角色 你是“安心出门”智能眼镜随身物品检查助手。 # 用户当前指令 用户当前说的是 {{开始/当前对话信息}} # 核心任务 根据用户当前指令和输入图片检查用户准备出门时需要携带的物品。 # 清单提取规则 1. 如果用户明确说出需要检查的物品以用户说出的物品作为检查清单。 2. 如果用户没有明确说出物品只是说“帮我检查出门东西带齐了吗”采用默认清单 钥匙、钱包、随身药盒。 3. 不得擅自增加用户没有要求检查且不属于默认清单的物品。 # 判断状态 1. 已看到图片中能够清晰、可靠识别的物品。 2. 暂未看到当前图片中没有发现的物品。 3. 无法确认疑似存在但图片模糊、被遮挡或无法可靠判断。 # 安全约束 - 只能根据当前图片中的真实可见内容判断。 - 不得虚构图片中不存在的物品。 - 不得因为当前图片没有看到某物就断言用户一定没有携带。 - 必须使用“当前画面中暂未看到”不能使用“你没有带”。 - 不确定的物品必须归入“无法确认”。 - 不要描述无关环境。 - 回复控制在100字以内适合眼镜语音播报。 # 输出格式 【出门检查】 已看到…… 暂未看到…… 无法确认…… 最后补充一句简短、友好的检查提醒。7.1 三状态输出的必要性仅使用“有”和“没有”两个状态会将以下情况错误地归为“没有”钱包只露出一角药盒被衣物遮挡图像因运动而模糊钥匙和背景颜色相近物品距离过远。增加“无法确认”状态可以避免模型在证据不足时给出过度确定的结论。7.2 用户指定清单优先当用户说帮我看看钥匙、雨伞和水杯带齐了吗系统只检查钥匙、雨伞和水杯不再追加钱包或药盒。这使同一个工作流可以适应上班、买菜、就医、旅行等不同出门场景。8. 文本说明分支如果用户没有提出检查需求系统不会无意义地启动摄像头而是进入“使用说明模型”。该节点不绑定天气查询、股票查询、搜索等无关插件其提示词为你是“安心出门”智能眼镜随身物品检查助手。 本项目只负责帮助用户检查出门前需要携带的物品。 如果用户没有提出物品检查需求请简短告诉用户本项目的使用方法 “准备出门时请看向钥匙、钱包、药盒等随身物品然后说帮我检查一下出门东西带齐了吗。” 不要调用工具不要声称已经拍照回复控制在60字以内。这种设计既能避免不必要的拍照也能降低插件调用时间和隐私风险。9. 端侧与云端插件协同本项目采用端云协同方式完成任务。环节执行位置主要作用语音输入眼镜端接收用户检查指令拍照提示眼镜端引导用户保持视野稳定第一视角拍照眼镜端插件获取真实场景图片意图识别云端工作流判断是否需要执行检查清单提取云端模型提取用户指定物品或加载默认清单视觉比对云端多模态模型判断清单物品是否出现在图片中结果生成云端模型生成简短的结构化反馈文字与语音反馈眼镜端向用户播报检查结果眼镜端保持轻量主要负责感知与交互云端负责语义理解和视觉推理从而避免在端侧部署大型视觉语言模型。10. 测试方案10.1 默认清单测试场景桌面放置钥匙和药盒不放钱包。指令帮我检查一下出门东西带齐了吗预期已看到钥匙、随身药盒 暂未看到钱包 无法确认暂无10.2 用户指定清单测试场景桌面放置钥匙、雨伞和水杯。指令帮我看看钥匙、雨伞和水杯带齐了吗预期只检查钥匙、雨伞和水杯不追加默认清单。10.3 遮挡测试场景钱包大部分被衣物遮挡。指令帮我看看钱包带了吗预期钱包进入“无法确认”而不是“暂未看到”。10.4 无关输入测试输入你好。预期进入使用说明分支不调用眼镜摄像头。10.5 退出测试输入结束检查。预期直接结束不调用摄像头。10.6 建议记录的测试指标指标记录内容意图识别准确率测试语句中正确进入出门检查分支的比例清单提取准确率用户点名物品是否全部、准确提取物品识别准确率已看到物品是否识别正确不确定状态合理性遮挡或模糊物品是否进入无法确认端到端响应时间用户说完指令到结果返回的时间拍照插件成功率多次调用中成功返回图片的比例图3插入位置[此处插入眼镜第一视角测试图片]图4插入位置[此处插入百宝箱运行详情或眼镜返回结果截图]11. 隐私与安全设计第一视角设备可能拍摄到家庭环境、文件、人员和其他隐私内容因此项目设置以下约束只有用户明确发出检查指令后才调用摄像头问候、闲聊和功能咨询不会触发拍照视觉模型只分析检查清单中的物品不扩展描述无关场景当前画面没有发现某物时只能表述为“暂未看到”系统不能保证用户一定没有携带该物品拍摄失败或画面不清楚时要求用户重新调整视角药盒在本项目中只作为随身物品检查不进行药物诊断或服药决策。这些约束可以降低视觉模型幻觉、误导性结论和不必要的信息采集。12. 当前局限当前MVP仍存在以下限制单张图片只能覆盖当前视野无法检查背包内部或口袋中的物品被严重遮挡的物品可能无法识别外观相似的钥匙、药盒和卡包可能发生误识别默认清单暂时写在提示词中尚未实现用户级持久化配置系统只能说明“当前画面中暂未看到”不能证明物品确实没有携带识别效果受到光照、视角、清晰度和网络状态影响。因此项目定位为出门前的辅助检查工具而不是绝对可靠的物品携带证明系统。13. 后续优化方向13.1 个性化清单增加用户清单管理功能例如工作日清单钥匙、工牌、电脑、充电器 就医清单医保卡、病历、药盒、手机 买菜清单钥匙、手机、购物袋 雨天清单钥匙、雨伞、雨衣13.2 多视角连续检查引导用户依次查看玄关、桌面和背包通过多张图片合并检查结果降低单一视角遗漏。13.3 物品实例级确认结合用户预先保存的物品图片区分“看到一把钥匙”和“看到用户自己的家门钥匙”。13.4 家属协同当关键物品连续多次未确认时在用户授权后向家属发送提醒但必须避免自动上传未授权的家庭图像。13.5 检查历史记录检查时间、清单和最终确认状态为用户提供今天8点10分完成出门检查钥匙、钱包和药盒均已确认。14. 总结“安心出门”利用智能眼镜第一视角把传统的文字清单升级为面向真实环境的视觉检查。系统通过百宝箱工作流连接语音输入、意图识别、眼镜拍照插件和多模态视觉模型实现了从“用户提出检查需求”到“眼镜反馈检查结果”的完整闭环。本项目的关键设计包括保留上传图片和眼镜真机双入口用户点名物品优先否则使用默认清单上传图片与眼镜图片使用独立视觉模型节点使用“已看到、暂未看到、无法确认”三状态输出在无关输入时不调用摄像头通过提示词约束避免将“暂未看到”表达为“确定没带”。该方案结构清晰、开发成本可控适合扩展为老年人随身物品检查、通勤清单、就医清单和家庭照护辅助工具。CSDN发布信息推荐标题安心出门基于Rokid智能眼镜与支付宝百宝箱的第一视角随身物品检查助手文章摘要本文介绍“安心出门”智能眼镜随身物品检查助手的设计与实现涵盖百宝箱工作流编排、眼镜端拍照插件、多模态视觉模型、默认与自定义清单、三状态检查结果、提示词约束及真机测试方案。推荐标签AI智能体 智能眼镜 多模态大模型 工作流 计算机视觉推荐分类专栏AI智能体开发实践
安心出门：基于智能眼镜与百宝箱工作流的第一视角随身物品检查助手
发布时间：2026/7/17 3:58:12
安心出门基于智能眼镜与百宝箱工作流的第一视角随身物品检查助手本文介绍一个独立的智能眼镜应用项目——“安心出门”。系统通过眼镜获取用户当前第一视角画面结合自然语言指令和多模态视觉模型对钥匙、钱包、随身药盒等出门物品进行清单式检查并将检查结果以简短文字和语音反馈给用户。摘要老年人、轻度认知障碍人群以及日常生活节奏较快的用户在出门前经常需要反复确认钥匙、钱包、药盒等物品是否已经准备齐全。传统待办清单只能提示“应该携带什么”却不能判断物品是否真实出现在用户面前。为此本文基于智能眼镜第一视角图像、百宝箱智能体工作流和多模态视觉大模型设计并实现“安心出门”随身物品检查助手。用户既可以指定需要检查的物品也可以直接调用默认清单。系统通过意图识别、眼镜拍照、清单提取、视觉比对和结果生成完成端云协同并以“已看到、暂未看到、无法确认”三种状态返回检查结果。本文重点介绍工作流设计、眼镜端拍照插件、云端视觉模型、提示词约束、调试方法和安全边界。关键词智能眼镜AI智能体多模态大模型百宝箱工作流第一视角视觉物品检查1. 项目背景出门前反复检查随身物品是一个非常常见的生活场景。对于普通用户这可能只是偶尔忘带钥匙或雨伞对于老年人和存在轻度记忆困难的用户重复确认则可能带来明显焦虑。传统方案通常采用手机待办清单或定时提醒其本质是告诉用户“应该带什么”但无法回答下面的问题钥匙现在是否已经放在桌上钱包是否出现在准备携带的物品中用户提到的雨伞和药盒是否都能在当前视野中看到物品是真的没有出现还是因为被遮挡而无法判断智能眼镜具有第一视角、自然语音交互和随时获取真实场景的特点因此非常适合将“清单提醒”升级为“视觉检查”。“安心出门”的核心不是替用户证明物品一定没有携带而是帮助用户确认当前眼镜画面中哪些物品已经明确看到哪些暂时没有看到哪些因为遮挡或图像质量无法确认。2. 功能目标本项目采用独立智能体和独立工作流不依赖其他生活记忆类项目。当前MVP聚焦一个完整闭环用户发出检查指令 ↓ 眼镜拍摄当前视野 ↓ 提取用户检查清单 ↓ 视觉模型逐项识别与比对 ↓ 生成结构化检查结果 ↓ 眼镜端文字与语音反馈系统支持两种检查方式。2.1 默认清单检查当用户没有明确说出物品时系统使用默认清单钥匙、钱包、随身药盒例如帮我检查一下出门东西带齐了吗 帮我看看有没有忘带东西。 出门前帮我检查一下。2.2 用户指定清单当用户明确提到具体物品时系统只检查用户说出的物品不再自动追加默认清单。例如帮我看看钥匙、雨伞和水杯带齐了吗系统本次只检查钥匙、雨伞、水杯对应逻辑为用户是否说出具体物品 ├── 是使用用户指定清单 └── 否使用默认清单3. 系统总体架构系统由眼镜交互端、百宝箱工作流编排层和云端多模态理解层组成。3.1 眼镜交互端眼镜端负责接收用户自然语言指令播放拍照提示获取用户当前第一视角图片接收并播报最终检查结果。3.2 工作流编排层百宝箱工作流负责判断本次输入来自上传图片还是眼镜真机识别用户是否要执行出门检查调用眼镜拍照插件将正确的图片地址传递给视觉模型根据不同分支返回检查结果、使用说明或退出提示。3.3 云端视觉理解层视觉模型负责从用户指令中提取检查清单识别当前画面中的相关物品将物品划分为“已看到、暂未看到、无法确认”生成适合眼镜语音播报的简短结果。图1插入位置[此处插入安心出门系统总体架构图]4. 百宝箱工作流设计百宝箱默认项目已经包含开始、图片URL判断、意图识别、眼镜拍照、视觉模型、文本模型和结束节点。本项目保留默认模板的双入口结构并针对出门检查场景重新配置节点。最终工作流如下开始 ↓ 输入方式判断 ├── 图片URL不为空 │ ↓ │ 上传图片检查模型 │ ↓ │ 上传检查结果 │ └── 图片URL为空 ↓ 安心出门意图识别 ├── 出门检查 │ ↓ │ 眼镜拍摄出门物品 │ ↓ │ 眼镜检查模型 │ ↓ │ 眼镜检查结果 │ ├── 退出 │ ↓ │ 退出提示 │ └── 其他 ↓ 使用说明模型 ↓ 使用说明结果图2插入位置[此处插入百宝箱完整工作流截图]4.1 双入口设计工作流保留了上传图片和眼镜真机两条执行路径。上传图片路径用于开发调试开始 → 输入方式判断 → 上传图片检查模型 → 上传检查结果眼镜真机路径用于实际运行开始 → 输入方式判断 → 意图识别 → 眼镜拍照 → 眼镜检查模型 → 眼镜检查结果这种设计使开发者在没有佩戴眼镜时也能使用测试图片快速调试视觉提示词真机运行时则直接使用眼镜拍照插件返回的图片地址。4.2 为什么使用两个视觉模型节点上传图片和眼镜拍照的图片来源不同模型节点图片来源上传图片检查模型开始节点的图片URL眼镜检查模型眼镜拍照插件输出的data如果让同一个视觉模型同时引用两个图片变量未执行分支中的图片变量可能为空或失效增加调试难度。因此本项目使用两个配置相同、图片来源不同的视觉模型节点提高工作流稳定性。5. 意图识别设计眼镜真机路径设置三个互斥意图。5.1 出门检查用于识别检查随身物品的请求。典型表达包括帮我检查一下出门东西带齐了吗 帮我看看有没有忘带东西 钥匙、钱包和药盒带齐了吗 出门前帮我检查一下 我有没有忘带钥匙该意图命中后进入眼镜拍照节点。5.2 退出用于识别明确的结束请求例如退出 关闭 不用了 结束检查 停止退出分支不会调用摄像头。5.3 其他用于处理问候、功能咨询或与出门检查无关的输入。该分支进入文本模型向用户说明项目的正确使用方式不调用眼镜拍照插件。意图识别节点的输入必须通过变量选择器重新绑定开始 → 当前对话信息不能复制其他工作流中的变量表达式因为复制后的内部变量ID可能已经失效。6. 眼镜端拍照插件眼镜拍照节点负责获取当前真实视野。拍照提示设置为请看向准备携带的物品并保持视线稳定我正在帮您检查。插件主要输出code拍照处理状态 data图片数据地址其中视觉模型的图片输入必须绑定眼镜拍摄出门物品 → data仅仅把拍照节点与视觉模型连线只能确定执行顺序并不能保证模型获得图片真正完成图片传递的是模型图片输入中的变量引用。为降低偶发网络或设备响应失败的影响拍照插件启用失败重试最大重试次数3次 重试间隔300毫秒当无法获得图像时系统返回暂时没有获取到清晰画面请重新看向物品再说一次“帮我检查出门东西带齐了吗”。7. 多模态模型提示词设计视觉模型选用Qwen-VL-Max系列模型。提示词将任务拆分为“提取清单、观察图像、逐项判断、生成结果”四个阶段。核心提示词如下# 角色 你是“安心出门”智能眼镜随身物品检查助手。 # 用户当前指令 用户当前说的是 {{开始/当前对话信息}} # 核心任务 根据用户当前指令和输入图片检查用户准备出门时需要携带的物品。 # 清单提取规则 1. 如果用户明确说出需要检查的物品以用户说出的物品作为检查清单。 2. 如果用户没有明确说出物品只是说“帮我检查出门东西带齐了吗”采用默认清单 钥匙、钱包、随身药盒。 3. 不得擅自增加用户没有要求检查且不属于默认清单的物品。 # 判断状态 1. 已看到图片中能够清晰、可靠识别的物品。 2. 暂未看到当前图片中没有发现的物品。 3. 无法确认疑似存在但图片模糊、被遮挡或无法可靠判断。 # 安全约束 - 只能根据当前图片中的真实可见内容判断。 - 不得虚构图片中不存在的物品。 - 不得因为当前图片没有看到某物就断言用户一定没有携带。 - 必须使用“当前画面中暂未看到”不能使用“你没有带”。 - 不确定的物品必须归入“无法确认”。 - 不要描述无关环境。 - 回复控制在100字以内适合眼镜语音播报。 # 输出格式 【出门检查】 已看到…… 暂未看到…… 无法确认…… 最后补充一句简短、友好的检查提醒。7.1 三状态输出的必要性仅使用“有”和“没有”两个状态会将以下情况错误地归为“没有”钱包只露出一角药盒被衣物遮挡图像因运动而模糊钥匙和背景颜色相近物品距离过远。增加“无法确认”状态可以避免模型在证据不足时给出过度确定的结论。7.2 用户指定清单优先当用户说帮我看看钥匙、雨伞和水杯带齐了吗系统只检查钥匙、雨伞和水杯不再追加钱包或药盒。这使同一个工作流可以适应上班、买菜、就医、旅行等不同出门场景。8. 文本说明分支如果用户没有提出检查需求系统不会无意义地启动摄像头而是进入“使用说明模型”。该节点不绑定天气查询、股票查询、搜索等无关插件其提示词为你是“安心出门”智能眼镜随身物品检查助手。 本项目只负责帮助用户检查出门前需要携带的物品。 如果用户没有提出物品检查需求请简短告诉用户本项目的使用方法 “准备出门时请看向钥匙、钱包、药盒等随身物品然后说帮我检查一下出门东西带齐了吗。” 不要调用工具不要声称已经拍照回复控制在60字以内。这种设计既能避免不必要的拍照也能降低插件调用时间和隐私风险。9. 端侧与云端插件协同本项目采用端云协同方式完成任务。环节执行位置主要作用语音输入眼镜端接收用户检查指令拍照提示眼镜端引导用户保持视野稳定第一视角拍照眼镜端插件获取真实场景图片意图识别云端工作流判断是否需要执行检查清单提取云端模型提取用户指定物品或加载默认清单视觉比对云端多模态模型判断清单物品是否出现在图片中结果生成云端模型生成简短的结构化反馈文字与语音反馈眼镜端向用户播报检查结果眼镜端保持轻量主要负责感知与交互云端负责语义理解和视觉推理从而避免在端侧部署大型视觉语言模型。10. 测试方案10.1 默认清单测试场景桌面放置钥匙和药盒不放钱包。指令帮我检查一下出门东西带齐了吗预期已看到钥匙、随身药盒 暂未看到钱包 无法确认暂无10.2 用户指定清单测试场景桌面放置钥匙、雨伞和水杯。指令帮我看看钥匙、雨伞和水杯带齐了吗预期只检查钥匙、雨伞和水杯不追加默认清单。10.3 遮挡测试场景钱包大部分被衣物遮挡。指令帮我看看钱包带了吗预期钱包进入“无法确认”而不是“暂未看到”。10.4 无关输入测试输入你好。预期进入使用说明分支不调用眼镜摄像头。10.5 退出测试输入结束检查。预期直接结束不调用摄像头。10.6 建议记录的测试指标指标记录内容意图识别准确率测试语句中正确进入出门检查分支的比例清单提取准确率用户点名物品是否全部、准确提取物品识别准确率已看到物品是否识别正确不确定状态合理性遮挡或模糊物品是否进入无法确认端到端响应时间用户说完指令到结果返回的时间拍照插件成功率多次调用中成功返回图片的比例图3插入位置[此处插入眼镜第一视角测试图片]图4插入位置[此处插入百宝箱运行详情或眼镜返回结果截图]11. 隐私与安全设计第一视角设备可能拍摄到家庭环境、文件、人员和其他隐私内容因此项目设置以下约束只有用户明确发出检查指令后才调用摄像头问候、闲聊和功能咨询不会触发拍照视觉模型只分析检查清单中的物品不扩展描述无关场景当前画面没有发现某物时只能表述为“暂未看到”系统不能保证用户一定没有携带该物品拍摄失败或画面不清楚时要求用户重新调整视角药盒在本项目中只作为随身物品检查不进行药物诊断或服药决策。这些约束可以降低视觉模型幻觉、误导性结论和不必要的信息采集。12. 当前局限当前MVP仍存在以下限制单张图片只能覆盖当前视野无法检查背包内部或口袋中的物品被严重遮挡的物品可能无法识别外观相似的钥匙、药盒和卡包可能发生误识别默认清单暂时写在提示词中尚未实现用户级持久化配置系统只能说明“当前画面中暂未看到”不能证明物品确实没有携带识别效果受到光照、视角、清晰度和网络状态影响。因此项目定位为出门前的辅助检查工具而不是绝对可靠的物品携带证明系统。13. 后续优化方向13.1 个性化清单增加用户清单管理功能例如工作日清单钥匙、工牌、电脑、充电器 就医清单医保卡、病历、药盒、手机 买菜清单钥匙、手机、购物袋 雨天清单钥匙、雨伞、雨衣13.2 多视角连续检查引导用户依次查看玄关、桌面和背包通过多张图片合并检查结果降低单一视角遗漏。13.3 物品实例级确认结合用户预先保存的物品图片区分“看到一把钥匙”和“看到用户自己的家门钥匙”。13.4 家属协同当关键物品连续多次未确认时在用户授权后向家属发送提醒但必须避免自动上传未授权的家庭图像。13.5 检查历史记录检查时间、清单和最终确认状态为用户提供今天8点10分完成出门检查钥匙、钱包和药盒均已确认。14. 总结“安心出门”利用智能眼镜第一视角把传统的文字清单升级为面向真实环境的视觉检查。系统通过百宝箱工作流连接语音输入、意图识别、眼镜拍照插件和多模态视觉模型实现了从“用户提出检查需求”到“眼镜反馈检查结果”的完整闭环。本项目的关键设计包括保留上传图片和眼镜真机双入口用户点名物品优先否则使用默认清单上传图片与眼镜图片使用独立视觉模型节点使用“已看到、暂未看到、无法确认”三状态输出在无关输入时不调用摄像头通过提示词约束避免将“暂未看到”表达为“确定没带”。该方案结构清晰、开发成本可控适合扩展为老年人随身物品检查、通勤清单、就医清单和家庭照护辅助工具。CSDN发布信息推荐标题安心出门基于Rokid智能眼镜与支付宝百宝箱的第一视角随身物品检查助手文章摘要本文介绍“安心出门”智能眼镜随身物品检查助手的设计与实现涵盖百宝箱工作流编排、眼镜端拍照插件、多模态视觉模型、默认与自定义清单、三状态检查结果、提示词约束及真机测试方案。推荐标签AI智能体 智能眼镜 多模态大模型 工作流 计算机视觉推荐分类专栏AI智能体开发实践
