文章目录1. 边缘 Agent 在干什么2. 结论先行3. 最小结构4. 工具失败契约板端版5. Orin 上工具怎么分6. 和检测链路怎么接6.1 worker 侧伪代码7. 资源与降级8. 验收清单9. 常见坑10. 小结摘要端侧已经能跑检测和小模型后下一步常被说成「上 Agent」。真正难的不是再调一个 LLM而是感知事件如何触发工具、工具失败时板子上怎么收敛、哪些能力留在 Orin、哪些必须回云。本文写边缘 Agent 的最小结构、工具失败契约、Orin 上的分工以及一版可落地的验收清单。概念层失败契约见 给 Agent 加工具先确定失败边界本文落在 Jetson Orin 现场。1. 边缘 Agent 在干什么云端 Agent 常见路径是对话 → 选工具 → 调 API → 再回答。Orin 现场更常见的是相机/传感器 → 检测或规则 →可选本地小模型整理 → 调本地工具 → 告警/联动/上报LLM 不是每帧都上场。多数帧只走检测与规则只有少数事件才进入「要不要调用工具 / 要不要问模型」。和 端侧 YOLO 检测结合大模型告警、Orin端侧检测小模型解释闭环 的差别那两篇偏检测结果如何进解释与告警文案这里偏工具边界与失败收敛让板子在断网、超时、继电器卡死时仍可预期。2. 结论先行感知与动作分开检测负责「看到什么」工具负责「做什么」中间用规则门控别让模型直接驱动 GPIO。工具先写失败契约超时、权限、部分成功、是否可重试写成结构化结果。Orin 适合放本地工具落图、写库、GPIO/串口、本地队列重推理或强知识放云或更大盒。默认降级路径云超时就本地规则告警不要空转重试把板子打满。Agent 能调通 ≠ 现场能用还要限流、审计、人工确认高副作用动作。3. 最小结构层职责Orin 上常见实现感知出框、轨迹、事件TensorRT / DeepStream门控类别、区域、冷却时间、置信度规则引擎 / 小状态机策略是否调用工具、是否问 LLM本地策略服务可选小模型工具落盘、通知、IO、工单本地进程 / MCP / HTTP出口告警、人机界面、上云MQTT / HTTP / 串口推荐默认数据流检测产生event时间、camera_id、class、bbox、score门控决定pass / drop / debounce通过后进入工具调用需要自然语言时再调本地或云端模型工具返回结构化结果策略层决定重试、降级或人工不要把「每帧画框」和「每次工具调用」绑成同一频率。多路 DeepStream 已经吃紧时Agent 工具再按帧打会把 GPU 和 CPU 一起拖垮。多路合批与容量见 Orin 上用 DeepStream 跑多路检测。4. 工具失败契约板端版给 Agent 加工具先确定失败边界 写过通用字段边缘侧建议固定这些字段作用ok是否成功error_code稳定枚举便于策略分支retryable是否允许自动重试side_effectnone/possible/doneuser_message可展示的短句request_id日志关联timeout_ms超时示意{ok:false,error_code:GPIO_TIMEOUT,retryable:false,side_effect:possible,user_message:开闸指令超时已转人工确认,request_id:evt_20260817_001}板端硬规则side_effect ! none时禁止在未确认前自动重试写操作开闸、下发工单、打标云端工具超时本地告警仍要发出标记degradedtrue模型不得凭自然语言「好像失败了」自行再调一次高副作用工具适配层做参数校验校验失败映射为VALIDATION_ERROR, retryablefalse别把脏参数打到 GPIO 或数据库。5. Orin 上工具怎么分工具类型放哪说明截图落盘、写 SQLite、本地日志Orin 本地断网也要留证GPIO / 串口 / 继电器Orin 本地低延迟必须失败契约推企业微信 / 云工单本地发起云上执行超时走本地声光告警重知识问答、长上下文总结云或更大盒Orin 可做门控与摘要输入二次分类 / 属性本地可走 DLA见 Orin 上 DLA 和 GPU 怎么分工、怎么用MCP / function calling 只是工具暴露方式。边缘上更关键的是谁允许调用、失败如何返回、副作用如何标记。自建 MCP Server 之前先看能力是否真要被多个 Host 复用单板单进程用本地 tool 接口往往更简单。判断见 MCP 工具分发层自建Server。6. 和检测链路怎么接已经跑通检测或 DeepStream 时不要把 Agent 嵌进每一帧 OSD 回调里硬算。更稳的接法DeepStream / 检测进程只产出事件或写环形队列独立agent-worker消费事件worker 内做门控、工具调用、可选 LLM用冷却时间同一 camera class 的 N 秒合并防止刷屏事件示意{camera_id:cam_3,ts:1723867200.12,class:person,score:0.87,roi:gate_a,frame_path:/data/events/cam3_....jpg}frame_path本地可访问云端模型只要图时再上传默认先本地落盘避免每事件都吃上行带宽。检测结果如何整理成下游输入也可对照 端侧 YOLO 检测结合大模型告警。6.1 worker 侧伪代码# 示意事件消费与工具调用非完整项目defhandle_event(evt,tools,policy):ifnotpolicy.gate(evt):# 类别/ROI/冷却return{ok:True,skipped:True}planpolicy.plan(evt)# 要调哪些工具、要不要 LLMresults[]fornameinplan.tools:outtools[name].call(evt,timeout_msplan.timeout_ms)results.append(out)ifnotout[ok]andnotout.get(retryable,False):breakifout.get(side_effect)in(possible,done)andnotout[ok]:policy.escalate(evt,out)# 人工确认禁止自动重试breakifplan.need_llmandpolicy.cloud_ok():summarypolicy.llm_summarize(evt,results)else:summarypolicy.local_template(evt,results)policy.emit_alert(evt,results,summary)重点不在框架名字而在gate、side_effect、escalate必须存在。缺这三样上 LangChain / 自研都一样会在现场失控。7. 资源与降级Orin Nano / NX / AGX 内存与功耗差一截Agent 层同样要按板型收敛板型建议Nano规则门控 本地工具为主LLM 尽量云端或极小模型NX本地小模型可做事件摘要工具并发要限流AGX可常驻更强本地策略仍建议高副作用动作人工确认板型取舍可对照 NVIDIA Jetson Orin NX 简介、NVIDIA Jetson AGX Orin 简介。降级表建议写进配置而不是只写进提示词条件动作云 API 超时 / 断网本地告警 落盘标记 degradedGPU 占用过高暂停 LLM仅规则 工具同一事件 10 秒内重复debounce不重复调用工具工具retryablefalse停自动重试进人工队列事件队列满丢最旧并打点或拒新并告警二选一写死队列深度、单工具超时、全局并发最好在配置文件里方便现场按路数改而不是改模型提示。本地与云端如何分流也可参考 本地与云端大模型混合路由。8. 验收清单人为拔网线本地仍能落图并告警人为让「开闸」工具超时不出现二次开闸非法参数返回VALIDATION_ERROR不触达硬件多路高频事件worker 队列有上限满则策略明确日志能用request_id串起事件 → 工具 → 结果功耗档固定后再测Agent 打开前后的掉帧情况断电重启后冷却状态与「进行中写操作」可恢复或可人工清理9. 常见坑现象多见原因处理一上 Agent 就掉帧每帧调工具 / 调 LLM事件化 冷却重复开闸 / 重复工单超时后盲着重试side_effect 禁自动重试断网后「什么都没发生」成功路径依赖云本地降级路径模型胡调 GPIO无门控、无权限表白名单工具 规则门控日志无法复盘只有自然语言错误结构化失败契约工具偶发成功一半未标记side_effectpossible写操作分「预检/提交」两步10. 小结Orin 上的边缘 Agent核心不是「板子上再塞一个聊天机器人」而是感知事件经门控后安全地调用本地工具并在失败时按契约降级。检测链路继续用 TensorRT / DeepStreamAgent 层管工具、副作用与断网行为。先把失败契约和降级表跑通再考虑 MCP 分发、更强本地模型或上 Thor。顺序反了现场只会得到一个会说话但不收敛的 Demo。