Human-in-the-Loop 到 Agent Governance2026 企业 AI 人机监督全框架Agent 人机治理详解HITL/HOTL/HOOTL 区别、治理体系与合规落地Agentic Enterprise 底层逻辑从人机在环到组织全域治理不是 AI 取代人类是人类角色彻底变了Agent 治理深度解读想象这样一个场景。一家制造企业的采购 Agent 自主完成供应商比价、拟定采购订单、匹配历史合同条款最终发起一笔300万美元原材料付款申请。财务主管点开手机弹窗23秒一键批准全程无核验、无研判、无风险校验。这就是当下绝大多数企业Human-in-the-Loop人在环中的真实现状审批流程在场人类监督缺位HITL彻底沦为合规橡皮图章。行业时序早已迭代2024年探讨Agent可用性2025年落地Agent实操2026年核心命题只剩一件事Agent自主行事出事谁负责这绝非空想哲学问题而是企业迫在眉睫的合规风控难题Forrester预警2026年内将发生AI Agent直接导致的重大数据泄露直接追责企业在岗员工Gravitee.io调研88%组织一年内发生AI Agent安全事件医疗行业风险占比高达92.7%Deloitte数据74%企业计划布局Agentic AI但仅21%搭建成熟Agent治理体系。AI Agent自主执行付款、改配置、发公文、流转业务数据错误一旦发生不可逆。曾经靠RLHF模型对齐风险的方式彻底失效表层HITL审批已经无法兜底企业风险。人机在环三种模式差异、RLHF到Agentic HITL进化逻辑、七层治理对象、五级监督成熟度搭建完整Human Oversight人类监督框架落地四大支柱Agent Governance智能体治理体系。看懂人机角色迁移搞定权责闭环才敢规模化落地企业AI Agent。本文扩展阅读资料包后台回复HITL ,获取资源。Agent时代的人类角色危机当 AI Agent 开始替你付款、发邮件、修改系统配置时大家是否想过如果它做错了谁来买单2026 年AI Agent 技术迎来爆发式增长企业纷纷拥抱这场生产力革命但一个比 Agent 能不能做事 更致命的问题正在浮出水面。AI的三次进化从回答到执行要理解今天的问题需要先理解 AI 的演进脉络这是老生常谈的话题不过这里需要再简单说一下。图片第一阶段ChatGPT 时代。 AI 是一个对话框。你问它答。输出是文字、是建议、是草稿但最终落地靠人。AI 的边界就是生成内容四个字。这个阶段最大的风险是幻觉幻觉的后果是错误信息而错误信息在人类审阅前不会变成任何行动。第二阶段Copilot 时代。 AI 进入具体工具嵌入 Office、CRM、IDE成为贴身助手。它开始理解上下文给出更精准的建议。人类依然在主导AI 依然在辅助。这个阶段的人机关系是清晰的人是决策者AI 是建议者。第三阶段Agent 时代。 Agent 不再停留在建议层。它开始规划任务、分解步骤、调用工具、执行操作最终完成目标。它查询数据库、发起 API 调用、修改系统配置、处理付款、发送邮件、触发下游工作流。这是 AI 第一次真正拥有了行动能力。从回答问题到执行任务这一步的跨越比从计算器到 ChatGPT 更深刻。它改变的不只是 AI 的能力边界更改变了人类在流程中的位置。Agent第一次让错误变得不可逆传统 AI 的失败是生成了错误内容。这是一个可见的失败人类可以在执行前发现并纠正。Agent 的失败是执行了错误操作。付款发出去了数据删除了邮件发出了订单提交了系统配置改了。这是一个经常性不可逆的失败。Strata.io 在 2026 年 5 月的研究中描述了这种变化AI Agent 会自主规划、决策并执行多步骤任务极少需要人工输入。它们查询 API、修改基础设施、处理付款、发送通讯并触发下游工作流。这意味着人类干预的窗口收缩到了几秒钟失败的后果是即时的。几秒钟。这是人类可以介入的窗口。Elementum AI的模拟测试数据更能说明问题AI Agent 在多步骤任务中的失败率接近 70%这些失败有一个共同因素就是没有结构化的人类监督来管控 Agent 实际做了什么。企业真正担心的从来不是Agent不会做在与一些企业交流时有一个很有意思的发现阻碍 Agent 落地的很少是技术能力问题更多是治理信心问题。企业管理者们不是在问Agent 能不能完成这个任务他们在问的是Agent 做错了谁来负责Agent 访问了不该访问的数据怎么办下次合规审计我怎么向监管机构解释 Agent 的决策过程这三个问题指向同一个核心企业真正担心的不是 Agent 不会做而是 Agent 做错以及做错了之后问责链在哪里。Deloitte 在 2026 年的调研给了一个残酷的数字74% 的组织计划在未来两年内采用 Agentic AI但其中只有 21% 目前拥有成熟的 AI Agent 治理模型。五个要上 Agent 的企业里有四个还没想清楚出了事怎么办。这不是技术问题是治理赤字。一个无法绕开的问题所以本文的核心问题很简单Agent 越来越聪明人类还在哪里这个问题的答案不是人类正在被取代也不是人类要把权力收回来。真正的答案是人类的位置正在发生深刻的结构性变化。那些没有看清这种变化、没有主动设计这种变化的企业将在 2026 年以后付出真实的代价。从RLHF到Agentic HITL人类反馈体系的进化RLHF 曾解决了生成式 AI 的对齐问题但当 AI 进化为拥有行动能力的 Agent 时训练阶段的人类反馈已无法管控运行时的不可逆风险。图片RLHF写在模型灵魂里的人类印记聊 Human-in-the-Loop 之前先聊一个更上游的概念RLHFReinforcement Learning from Human Feedback基于人类反馈的强化学习。这是 ChatGPT 能说人话的核心秘密之一。RLHF 的逻辑很直接模型训练期间让人类评估员对 AI 输出进行打分模型基于这些人类偏好信号调整参数最终让输出更符合人类期望。OpenAI 在 2022 年发表的论文《Training language models to follow instructions with human feedback》系统阐述了这一方法它也是 InstructGPT 和 ChatGPT 的理论基础之一。简单说RLHF 是把人类判断力烤进模型权重的过程。训练阶段结束这部分人类反馈就固化在模型参数里运行时不再需要人类实时参与。RLHF 解决了 Generative AI 时代最核心的对齐问题让 AI 说出人类想听的话。但在 Agent 时代这远远不够。为什么RLHF在Agent时代失效了RLHF 的本质是训练阶段的人类反馈。它塑造的是 AI 的说话方式而不是 AI 的行动边界。Agent 时代的新问题发生在训练完成之后的运行时Runtime。Agent 在运行时面对的是真实企业的复杂流程、动态数据、突发异常和业务边界情况。更重要的是它的每一步行动都会产生真实的、有时不可逆的后果。Forrester 分析师 Craig Le Clair 将这种变化描述得很准确生成式 AI 的失败模式是可见的用人类在环中相对容易缓解但 Agentic AI 从生成并审查转变为规划、行动并可能自主失败。训练阶段烤进去的人类偏好管不了 Agent 运行时的自主行动。这就是 RLHF 在 Agent 时代遇到的根本性局限。Agentic HITLHuman重新进入运行时解决方案的方向很清晰把人类的判断力从训练阶段延伸到运行时。这就是 Agentic HITLHuman-in-the-Loop的核心逻辑。它不是一个新技术而是一种架构设计原则在 Agent 工作流的关键节点强制插入人类判断和决策的环节。Agent 可以规划、可以分析、可以提出方案但在触碰特定阈值之前它必须等待人类的确认才能继续执行。这个设计回答了一个根本性问题AI 什么时候可以自己做决定什么时候必须先问人。从 RLHF 到 Agentic HITL背后是一个认知的升级人类对 AI 的监督不能只发生在训练阶段更必须渗透到每一次真实业务执行的关键时刻。一条清晰的进化链把人类反馈机制的演进拉通来看会形成一条逻辑清晰的链条阶段机制人类参与时机核心价值大模型训练RLHF训练阶段对齐人类偏好Copilot 部署人工确认每次输出后把关建议质量单 Agent 运行HITL关键决策节点控制执行风险多 Agent 协作HOTL异常与例外监督自主系统Agentic EnterpriseHuman-in-Command策略与治理层掌控整体方向这不是一条线性替代的链条而是能力的叠加。更高级别的 Agentic 系统依然需要下层的 RLHF 对齐同时叠加更精细的运行时监督机制。理解这条链是理解整个 Human Oversight 体系的基础。Human家族的崛起一份概念图谱围绕人类在 AI 系统中的位置业界已经产生了一批重要概念。它们之间的关系经常被混淆这里做一次系统梳理。图片HITL、HOTL、HOOTL三种基本形态Human-in-the-LoopHITL人在环中最经典的模式。人类是工作流程的必要组成部分Agent 在执行关键操作前必须暂停并等待人类审批获得确认后才能继续。核心特点Agent 不能单独完成完整流程人类批准是执行的前提条件。典型场景财务付款审批、合同条款确认、高风险操作授权。Human-on-the-LoopHOTL人在环上Agent 可以自主运行完整流程但人类在外层持续监控只在检测到异常或超出预设边界时介入。这个模式更像汽车的辅助驾驶系统平时车自己开人类在旁边看着出现异常立刻接管。核心特点人类不在关键路径上但监控覆盖全程干预能力随时就绪。Human-out-of-the-LoopHOOTL人在环外完全自主没有人类干预。系统按照预设规则和参数自动运行人类只在设计阶段参与运行期间不介入。这个模式效率最高风险也最大适用场景有严格边界规则清晰、后果可控、失败可恢复。典型场景云基础设施自动扩缩容、防火墙规则自动更新。三种模式的关系可以用一个坐标来描述HITL 极度安全但效率较低HOOTL 极度高效但风险较高HOTL 是中间的平衡点。绝大多数企业的 Agentic 系统在不同场景下会混合使用这三种模式。延伸概念四个重要的运行时机制在 HITL、HOTL、HOOTL 的基本框架之上还有四个重要的运行时机制需要单独讨论。Human Override人工强制接管 在 Agent 执行过程中人类可以随时强制暂停并接管控制权无论 Agent 当前状态如何。这是一个必须存在的底层能力是任何 Agentic 系统的安全底线。一个数字让人警醒Writer 的调研显示超过三分之一的组织承认如果出现流氓 AI Agent他们无法将其关闭。没有 Override 能力的 Agentic 系统就像一辆没有刹车的自动驾驶汽车。Human Escalation人工升级 Agent 在执行过程中基于预设的触发规则主动将控制权移交给人类。关键在于主动是 Agent 自己识别出自己不适合继续处理并请求人类介入。好的 Escalation 设计能区分Agent 能处理和Agent 不该处理这两种截然不同的情况。Human-in-Control人类掌控 比 HITL 更宏观的概念指在整个系统层面人类始终保持对 AI 系统整体方向和边界的实质性控制。它不要求人类参与每一个操作但要求人类能够在任何时刻重新定义系统的目标和约束。Human-in-Command人类统领 当前语境下最高层次的人类监督形态出现在多 Agent 协作的 Agentic Enterprise 场景中。在这个层次人类的角色已经从审批者彻底转型为统领者设定整体战略意图、定义治理边界、评估 Agent 劳动力的整体表现、确保 Agent 行为与组织价值观一致。Human Oversight Framework一个完整的认知体系把上述所有概念整合起来王吉伟频道将其定义为 Human Oversight Framework人类监督框架它包含三个层次运行时监督层即 HITL、HOTL、HOOTL定义人类在具体流程中的介入方式干预机制层即 Human Override、Human Escalation定义人类在异常情况下的响应能力控制与治理层即 Human-in-Control、Human-in-Command定义人类对整个 Agentic 系统的战略性掌控。三个层次共同构成了企业在 Agentic 时代保持人类监督的完整能力栈。有一点需要特别强调这套框架的意义不在于限制 Agent而在于确保 Agent 的自主性能够安全地发挥价值。一套设计良好的 Human Oversight Framework是 Agentic Enterprise 的信任基础设施而不是效率的绊脚石。HITL到底在治理什么这是本文最核心的一章。理解了治理对象才能理解治理的深度和复杂度。治理对象的七层升维很多人对 HITL 的理解停留在在审批链上放一个人。这个理解的问题在于把治理对象想得太简单了。从最小粒度开始把 HITL 的治理对象一层一层展开会发现它的复杂性远超预期。第一层Agent。 最基本的治理单元。每个 Agent 应该有最小权限原则就像企业里每个员工只能访问其岗位所需的系统和数据。Forrester 的建议很直接将每个 Agent 视为有治理的身份给它唯一的凭证、最小权限、完整日志记录以及一个管理其生命周期的具名负责人不允许无主的自主性。第二层Agent Skill智能体技能。 Agent 通过调用 Skills 来完成任务一个 Skill 可能对应一个 API 调用、一个数据库查询、一个系统操作。HITL 需要对高风险 Skill 的调用进行专项管控。财务付款 Skill 和信息查询 Skill需要完全不同等级的监督设计。第三层Agentic Process智能体流程。 多个 Agent 行动组合起来形成一个有业务意义的流程。流程层面的 HITL关注的是流程的关键决策点和风险控制点在哪里哪些节点需要强制性的人工确认。第四层Agentic Workflow智能体工作流。 多个 Agentic Process 串联或并行形成完整的业务工作流。这个层面的 HITL 挑战在于工作流的复杂性往往超过单一流程错误可能在流程间传导放大。第五层Agentic BPM智能体业务流程管理。 企业开始用 Agent 管理和优化整体业务流程BPM 系统本身也开始具备 Agentic 能力。这个层面的治理需要覆盖流程设计本身的合理性而不只是执行层的操作安全。第六层Agentic ERP / Agentic CRM。 当 Agent 深度嵌入核心业务系统治理的复杂度大幅上升。Agentic ERP 中的采购 Agent 错误操作可能引发供应链连锁反应Agentic CRM 中的客户数据处理失误可能造成大规模合规风险。这一层的 HITL必须与系统的业务逻辑深度整合而不能只是表层的审批弹窗。第七层Agentic Enterprise智能体企业。 当企业整体运营深度依赖 Agent 劳动力治理的性质发生根本变化从流程控制升级为组织治理。HITL的五种触发机制HITL 不是每一步都审批那样会消灭 Agent 的所有价值。Board of Innovation 指出了这种误区的代价企业的默认反应是在每个自主行动上叠加人工审批这种本能恢复了 Agentic AI 本该消除的管理开销。如果审批率达到 95% 以上该检查点就变成了确认剧场。好的 HITL 设计是基于规则的精准触发让人类在最需要的地方介入。金额阈值触发 最直接的机制。小额操作自动执行大额操作逐级审批。阈值的设定需要结合企业的风险偏好和合规要求同时随着 Agent 的历史表现动态调整。置信度触发 Agent 基于概率推理做决策当置信度低于阈值时触发升级。通常的实践是置信度高于 95% 自动执行80% 到 95% 抽样审核低于 80% 强制人工审批。风险等级触发 不同操作类型对应不同风险等级。数据查询是低风险数据修改是中风险数据删除是高风险内部通讯是低风险客户通讯是中风险合规报告是高风险。HITL 框架应当明确每个风险等级对应的监督方式。数据敏感度触发 根据操作涉及的数据类型决定是否介入。公开数据可以自动处理客户个人数据需要审核财务核心数据需要审批涉及合规监管的数据必须人工把关。异常检测触发 当 Agent 的行为模式显著偏离正常范围时系统自动发出警报并触发人类介入。这是一种意外情况识别机制捕获的是规则未能预先定义的风险场景。成熟度模型企业在哪里我们可以把企业的 Agentic AI 监督成熟度划分为五级Level名称特征典型状态L1Human Driven人工主导AI 辅助信息获取传统企业起点L2AI AssistedAI 生成建议人工做决定Copilot 深度用户L3Human-in-the-LoopAgent 执行关键节点人工审批目前多数先进企业L4Human-on-the-LoopAgent 自主人类监控和例外处理少数数字化成熟企业L5Human-out-of-the-LoopAgent 完全自治人类只做策略设计特定场景的极端情形根据目前的行业现状绝大多数在推进 Agentic AI 的企业在未来三到五年内会停留在 L3 到 L4 之间而不是直接跳到 L5。图片Forrester 在《2026 年 Agentic AI 状况》报告中也指出了这种情况79% 的企业说已经采用AI Agent但真正在生产环境稳定运行的只有 11%。那 68% 的差距很大程度上就卡在治理和监督体系的缺位上。核心判断Human监督的不是模型而是数字员工到这里可以给出本文一个关键的论断Human-in-the-Loop 的本质不是在监督一个语言模型而是在监督一个越来越自主的数字员工。这个视角的转变极其重要。当你把 Agent 看作模型调用你关心的是模型的输出质量。当你把 Agent 看作数字员工你关心的是它的权限范围、行为记录、决策可解释性、责任归属以及它的入职条件和离职流程。Okta 2026 年的安全报告揭示了这个类比被忽视的后果近三分之二的组织对 AI Agent 采用的安全控制比对人类员工更弱。企业给人类员工设置了详细的权限管理、访问日志和行为审计却对一个能直接操作 ERP 系统的 Agent 放任不管。这是一个危险的双重标准也是当前 Agentic AI 安全事件频发的根本原因之一。从HITL到Agent Governance一次必要的跃迁HITL 守住了单个 Agent 的执行底线但要管控复杂的多 Agent 协作网络必须构建覆盖全生命周期的 Agent 治理体系。HITL只是起点不是终点HITL 是一个重要且必要的起点但它解决不了规模化之后的所有问题。当企业同时运行几十个、几百个乃至上千个 Agent 实例当这些 Agent 形成复杂的多 Agent 协作网络当 Agent 的决策和操作速度超过人类单点审批的响应能力HITL 的局限性开始显现。SiliconAngle 在 2026 年 1 月发表了一篇很有争议性的文章《Human-in-the-loop 已经触墙是时候让 AI 监督 AI 了》。文章的核心论点是AI 系统每秒做出数百万个决策横跨欺诈检测、交易、个性化、物流、网络安全和自主 Agent 工作流。在这种规模和速度下人类能够逐一有效监督 AI 决策的想法不再现实这是一种令人宽慰的虚构。这个观点不是错的但它描述的是一个极端场景。更准确的判断是HITL 在单个流程层面依然有效且必要但在企业整体 Agent 体系的层面它必须升级为 Agent Governance。就像传统企业中财务审批管控单笔交易但企业还需要财务制度、合规体系、审计框架来管控整个财务体系一样。HITL 是前者Agent Governance 是后者。两者缺一不可。Agent Governance的四大支柱王吉伟频道将 Agent Governance 体系归纳为四大支柱。支柱一Guardrails护栏机制Guardrails 是预先定义 Agent 行为边界的机制包括它能做什么、不能做什么、在什么条件下必须停止。好的 Guardrails 设计是分层的技术层面有 API 调用限制和工具使用限制业务层面有操作权限边界和数据访问范围伦理层面有内容生成规范和决策公平性要求。新加坡 IMDA 在其 Agentic AI 治理框架MGF中将提前评估和限制风险列为首要原则本质上就是 Guardrails 的设计哲学不是等风险发生了再处置而是在 Agent 部署前就把它的行动空间界定清楚。这份框架于 2026 年 1 月在达沃斯世界经济论坛发布是全球第一个专门为 Agentic AI 设计的治理框架已于 2026 年 5 月更新至 1.5 版纳入了超过 60 家组织的反馈。支柱二Authorization授权管理每个 Agent 必须有明确定义的身份、权限和访问范围遵循最小权限原则。这不仅是技术设置更是治理逻辑谁授权了这个 Agent它可以访问哪些系统它能代表企业做出什么级别的决策当前企业最普遍的 Agent 风险之一正是 Shadow Operations员工自行创建 Agent 并通过 API 密钥授予过高访问权限IT 部门和安全团队完全不知情。这是 Shadow IT 问题在 Agentic 时代的升级版后果更严重一个拥有宽泛访问权的未受监督 Agent可以破坏关键系统或触发未授权操作将看似的生产力捷径变成运营负债。支柱三Audit Trail行为审计追踪每个 Agent 的每一次重要决策和操作都应该有完整、可查、不可篡改的日志记录。这有三个核心价值事后复盘时能还原 Agent 的决策过程满足监管机构的合规审查要求建立 Agent 行为的基线以便识别异常偏差。EU AI Act 第 14 条将从 2026 年 8 月 2 日起强制执行要求高风险 AI 系统具备人类监督能力其中就包括可解释性和可审计性的具体要求。距离生效已不足两个月这不再是选项而是硬性合规要求。2026 年仅在美国就提出了超过 40 项新的 AI 监管提案监管的收紧是不可逆的趋势。支柱四Risk Management风险管理Agent Governance 中的风险管理需要超越传统 IT 风险的框架。它要覆盖 AI 特有的风险类型幻觉风险、偏见风险、过度自主风险以及 Agent 间相互影响产生的系统性风险。这里要单独讨论一个被系统性低估的风险技能萎缩Skill Atrophy。新加坡 MGF 在 1.5 版更新中将其明确列为业务连续性风险随着 Agent 承担基础任务员工的核心操作知识可能退化。如果 Agent 故障或不可用员工是否仍然有能力手动完成关键业务流程这不是哲学问题。Cognitive World 的研究用认知债务来描述这种退化无摩擦的 AI 驱动流程可以在提高效率的同时掏空人类能力。随着人们停止参与任务的执行他们的认知肌肉会退化这种退化直接削弱了他们做出好选择的能力。McKinsey 将此定义为 Agentic 企业必须直面的组织风险而不是一个渐进式的副作用。Agent Governance全景图综合以上四大支柱加上 Human Oversight Framework完整的 Agent Governance 体系呈现如下图片这个框架与 Gartner 提出的 AI TRiSMAI Trust, Risk, and Security Management在精神上高度吻合但更具体地指向了 Agentic AI 场景下的特定挑战。Allianz 风险晴雨表显示AI 在 2026 年已跃升至全球商业风险的第二位从 2025 年的第十位大幅跃升这是当年排名中最大的跳跃。Agent Governance 的紧迫性正在从技术讨论升级为企业战略议题。Agent Governance将成为Agent时代的ERP这里要提出一个核心判断Agent Governance 将成为 Agent 时代最重要的企业基础设施其战略地位类似于传统企业时代的 ERP 系统。这个类比为什么成立ERP 解决的问题是企业规模扩大后如何保证各部门的业务数据一致、流程可控、合规可审计。在 ERP 出现之前企业用 Excel 和人工协调规模一大就乱。ERP 出现之后提供了一套跨部门的信息和流程治理基础设施。Agent Governance 解决的问题是Agent 规模扩大后如何保证所有 Agent 的行为在授权范围内、决策可追溯、风险可控制、责任归属清晰。在 Agent Governance 出现之前企业用分散的 HITL 审批点和碎片化的安全措施规模一大就失控。Agent Governance 出现之后提供了跨 Agent 的行为治理基础设施。更关键的是就像今天没有 ERP 的规模企业无法正常运营未来没有 Agent Governance 的 Agentic Enterprise 也将无法安全地依赖 Agent 劳动力。这不是做了更好的锦上添花而是不做就会出问题的基础设施投资。Gartner 预测2026 年底之前将发生超过 2000 起AI 致死索赔源于自主系统的安全失败。现在来看这并不是预言而是一道正在逼近的账单。Human不会消失但会升级AI Agent 正在接管越来越多的执行工作但这并不意味着人类的退场而是人类角色从 操作者向 治理者 的必然升级。一个警示一份反面教材说到人类角色的变化无论如何绕不开 Klarna 这个案例。2024 年Klarna 推出 AI 客服系统单月处理 230 万次对话CEO Sebastian Siemiatkowski 宣布这相当于 700 名客服人员的工作量并开始大规模削减人员。这成为AI 替代人类故事里被引用最多的案例也一度成为 CEO 们追捧的模板。2025 年Klarna 开始悄悄重新招聘人类客服。2026 年CEO 公开承认激进的 AI 取代措施导致服务质量显著下降提出了一个耐人寻味的新原则客户永远应该能找到一个人类。Fast Company 对此做出了非常精准的总结Klarna 公开经历的是许多领导者私下遇到的。AI 本身无法修复一个损坏的工作流没有人的 AI 也无法承载品牌的信任。Verizon 的 CX 报告数字支撑了这个论断AI 驱动交互的客户满意度为 60%人类主导交互为 88%。这 28 个百分点的差距是 Klarna 教训的量化版本。SurveyMonkey 的另一项研究发现79% 的受访者强烈倾向于与人类而非 AI Agent 互动进行客服即使速度和服务质量相同。Klarna 案例的真正教训不是I 不行而是用 AI 替代人类 和 用 AI 赋能人类 是两条截然不同的路。第一条路的终点往往是 Klarna 式的翻车。第二条路的终点才是真正的 Agentic Enterprise。人类角色的三次迁移在 Agentic Enterprise 的演进过程中人类在组织中的角色经历了三次明显的迁移。第一阶段Operator操作者。 在传统 IT 和 RPA 时代人类是系统的操作者直接执行任务AI 是辅助工具。人类通过点击、填写、审核来完成工作价值来自执行能力。第二阶段Supervisor监督者。 在 Copilot 到单 Agent 时代Agent 开始承担大量执行工作人类转型为监督者关注异常、审批关键决策、处理 Agent 无法自主解决的例外场景。价值从执行能力转向判断能力。第三阶段Governor治理者。 在多 Agent 协作和 Agentic Enterprise 时代人类进一步升级为治理者设定整体战略意图、定义 Agent 劳动力的边界和规则、建立问责体系、确保 Agent 行为与组织价值观和合规要求一致。价值从判断能力转向设计能力和价值判断能力。这三个阶段不是完全替代而是重心的转移。即使在 Agentic Enterprise 阶段部分场景依然需要人类直接操作但人类最核心的价值已经从我能做什么转向我能设计什么、我能判断什么、我能负责什么。Hyperscience CEO 对这种转变给出了实践层面的描述这是人类“在环上”的模式设定护栏、治理决策、确保自动化在规模上准确、可负担、可解释和可信。这就是 Agentic 系统真正实现企业就绪的方式。双轨制劳动力Human Workforce Agent Workforce未来的企业组织将呈现一种双轨制结构Human Workforce人类劳动力和 Agent Workforce智能体劳动力并行存在各自承担不同类型的工作在治理框架下协同运转。图片两类劳动力的分工遵循一个简单的原则Agent Workforce 承担规模化、重复性、规则明确、可量化评估的工作Human Workforce 承担需要价值判断、需要信任背书、需要创造性、需要负责任决策的工作。两者的关键接口正是 Human Oversight Framework它定义了在什么条件下、用什么方式把工作从 Agent 交接给人类或者把控制权从人类移交给 Agent。McKinsey 对这种双轨制劳动力结构的管理提出了明确警告企业必须防止组织技能萎缩随着 Agent 承担基础任务人类员工的核心能力可能退化。这需要刻意的培训投入和工作机会设计来对冲而不是放任 Agent 蚕食员工的操作知识。这个警告在新加坡 IMDA 的官方治理框架里已经成为具体的治理要求组织应识别核心能力并提供充分的培训和工作接触机会确保员工保留基础技能。Agentic Enterprise的未来运行公式综合全文的讨论这里设计一个 Agentic Enterprise 的运行公式图片Agent Governance Human-in-Command Agentic Enterprise三个要素缺一不可。• Agent 提供规模化的执行能力将人类从重复性工作中解放出来这是所有效率增益的来源• Governance 提供行为框架和治理基础设施确保 Agent 在授权范围内安全运作这是所有可信赖性的来源• Human-in-Command 提供战略方向、价值判断和终极责任是整个系统的压舱石这是所有合法性的来源。只有 Agent 没有 Governance结果是 Klarna。只有 Governance 没有 Human-in-Command结果是有规则但没有方向。只有 Human-in-Command 没有足够强大的 Agent结果是用了新名词的旧模式。结语在工业时代人类管理机器在软件时代人类管理系统而在 Agent 时代人类将第一次开始管理数字员工。Human-in-the-Loop 不是 Agent 能力不足时的补丁而是 Agentic Enterprise 的起点。RLHF 把人类智慧烤进了模型权重HITL 把人类判断力嵌入了运行时流程而 Agent Governance 将把人类的价值观和组织意志转化为整套 Agentic 系统的行为边界。六国政府网络安全机构已经联合发声新加坡发布了全球首个 Agentic AI 治理框架EU AI Act 的人类监督条款将在 2026 年 8 月 2 日强制生效。监管层面的讨论已经形成共识产业层面的落地实践才刚刚开始。有一个事实需要正视AI 安全风险在 2026 年已经跃升为全球商业风险排名第二的议题从上一年的第十位大幅跃升。这不是一个小步迈进这是一次断崖式的认知升级。这是一个明确的信号Agent Governance 的时代正在到来领先的企业已经开始行动了。学习资源推荐如果你想更深入地学习大模型以下是一些非常有价值的学习资源这些资源将帮助你从不同角度学习大模型提升你的实践能力。一、全套AGI大模型学习路线AI大模型时代的学习之旅从基础到前沿掌握人工智能的核心技能因篇幅有限仅展示部分资料需要点击文章最下方名片即可前往获取二、640套AI大模型报告合集这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示因篇幅有限仅展示部分资料需要点击文章最下方名片即可前往获取三、AI大模型经典PDF籍随着人工智能技术的飞速发展AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型如GPT-3、BERT、XLNet等以其强大的语言理解和生成能力正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。因篇幅有限仅展示部分资料需要点击文章最下方名片即可前往获取四、AI大模型商业化落地方案作为普通人入局大模型时代需要持续学习和实践不断提高自己的技能和认知水平同时也需要有责任感和伦理意识为人工智能的健康发展贡献力量。
从 Human-in-the-Loop 到 Agent Governance，理解 Agent 时代的人类角色
发布时间：2026/7/27 2:25:52
Human-in-the-Loop 到 Agent Governance2026 企业 AI 人机监督全框架Agent 人机治理详解HITL/HOTL/HOOTL 区别、治理体系与合规落地Agentic Enterprise 底层逻辑从人机在环到组织全域治理不是 AI 取代人类是人类角色彻底变了Agent 治理深度解读想象这样一个场景。一家制造企业的采购 Agent 自主完成供应商比价、拟定采购订单、匹配历史合同条款最终发起一笔300万美元原材料付款申请。财务主管点开手机弹窗23秒一键批准全程无核验、无研判、无风险校验。这就是当下绝大多数企业Human-in-the-Loop人在环中的真实现状审批流程在场人类监督缺位HITL彻底沦为合规橡皮图章。行业时序早已迭代2024年探讨Agent可用性2025年落地Agent实操2026年核心命题只剩一件事Agent自主行事出事谁负责这绝非空想哲学问题而是企业迫在眉睫的合规风控难题Forrester预警2026年内将发生AI Agent直接导致的重大数据泄露直接追责企业在岗员工Gravitee.io调研88%组织一年内发生AI Agent安全事件医疗行业风险占比高达92.7%Deloitte数据74%企业计划布局Agentic AI但仅21%搭建成熟Agent治理体系。AI Agent自主执行付款、改配置、发公文、流转业务数据错误一旦发生不可逆。曾经靠RLHF模型对齐风险的方式彻底失效表层HITL审批已经无法兜底企业风险。人机在环三种模式差异、RLHF到Agentic HITL进化逻辑、七层治理对象、五级监督成熟度搭建完整Human Oversight人类监督框架落地四大支柱Agent Governance智能体治理体系。看懂人机角色迁移搞定权责闭环才敢规模化落地企业AI Agent。本文扩展阅读资料包后台回复HITL ,获取资源。Agent时代的人类角色危机当 AI Agent 开始替你付款、发邮件、修改系统配置时大家是否想过如果它做错了谁来买单2026 年AI Agent 技术迎来爆发式增长企业纷纷拥抱这场生产力革命但一个比 Agent 能不能做事 更致命的问题正在浮出水面。AI的三次进化从回答到执行要理解今天的问题需要先理解 AI 的演进脉络这是老生常谈的话题不过这里需要再简单说一下。图片第一阶段ChatGPT 时代。 AI 是一个对话框。你问它答。输出是文字、是建议、是草稿但最终落地靠人。AI 的边界就是生成内容四个字。这个阶段最大的风险是幻觉幻觉的后果是错误信息而错误信息在人类审阅前不会变成任何行动。第二阶段Copilot 时代。 AI 进入具体工具嵌入 Office、CRM、IDE成为贴身助手。它开始理解上下文给出更精准的建议。人类依然在主导AI 依然在辅助。这个阶段的人机关系是清晰的人是决策者AI 是建议者。第三阶段Agent 时代。 Agent 不再停留在建议层。它开始规划任务、分解步骤、调用工具、执行操作最终完成目标。它查询数据库、发起 API 调用、修改系统配置、处理付款、发送邮件、触发下游工作流。这是 AI 第一次真正拥有了行动能力。从回答问题到执行任务这一步的跨越比从计算器到 ChatGPT 更深刻。它改变的不只是 AI 的能力边界更改变了人类在流程中的位置。Agent第一次让错误变得不可逆传统 AI 的失败是生成了错误内容。这是一个可见的失败人类可以在执行前发现并纠正。Agent 的失败是执行了错误操作。付款发出去了数据删除了邮件发出了订单提交了系统配置改了。这是一个经常性不可逆的失败。Strata.io 在 2026 年 5 月的研究中描述了这种变化AI Agent 会自主规划、决策并执行多步骤任务极少需要人工输入。它们查询 API、修改基础设施、处理付款、发送通讯并触发下游工作流。这意味着人类干预的窗口收缩到了几秒钟失败的后果是即时的。几秒钟。这是人类可以介入的窗口。Elementum AI的模拟测试数据更能说明问题AI Agent 在多步骤任务中的失败率接近 70%这些失败有一个共同因素就是没有结构化的人类监督来管控 Agent 实际做了什么。企业真正担心的从来不是Agent不会做在与一些企业交流时有一个很有意思的发现阻碍 Agent 落地的很少是技术能力问题更多是治理信心问题。企业管理者们不是在问Agent 能不能完成这个任务他们在问的是Agent 做错了谁来负责Agent 访问了不该访问的数据怎么办下次合规审计我怎么向监管机构解释 Agent 的决策过程这三个问题指向同一个核心企业真正担心的不是 Agent 不会做而是 Agent 做错以及做错了之后问责链在哪里。Deloitte 在 2026 年的调研给了一个残酷的数字74% 的组织计划在未来两年内采用 Agentic AI但其中只有 21% 目前拥有成熟的 AI Agent 治理模型。五个要上 Agent 的企业里有四个还没想清楚出了事怎么办。这不是技术问题是治理赤字。一个无法绕开的问题所以本文的核心问题很简单Agent 越来越聪明人类还在哪里这个问题的答案不是人类正在被取代也不是人类要把权力收回来。真正的答案是人类的位置正在发生深刻的结构性变化。那些没有看清这种变化、没有主动设计这种变化的企业将在 2026 年以后付出真实的代价。从RLHF到Agentic HITL人类反馈体系的进化RLHF 曾解决了生成式 AI 的对齐问题但当 AI 进化为拥有行动能力的 Agent 时训练阶段的人类反馈已无法管控运行时的不可逆风险。图片RLHF写在模型灵魂里的人类印记聊 Human-in-the-Loop 之前先聊一个更上游的概念RLHFReinforcement Learning from Human Feedback基于人类反馈的强化学习。这是 ChatGPT 能说人话的核心秘密之一。RLHF 的逻辑很直接模型训练期间让人类评估员对 AI 输出进行打分模型基于这些人类偏好信号调整参数最终让输出更符合人类期望。OpenAI 在 2022 年发表的论文《Training language models to follow instructions with human feedback》系统阐述了这一方法它也是 InstructGPT 和 ChatGPT 的理论基础之一。简单说RLHF 是把人类判断力烤进模型权重的过程。训练阶段结束这部分人类反馈就固化在模型参数里运行时不再需要人类实时参与。RLHF 解决了 Generative AI 时代最核心的对齐问题让 AI 说出人类想听的话。但在 Agent 时代这远远不够。为什么RLHF在Agent时代失效了RLHF 的本质是训练阶段的人类反馈。它塑造的是 AI 的说话方式而不是 AI 的行动边界。Agent 时代的新问题发生在训练完成之后的运行时Runtime。Agent 在运行时面对的是真实企业的复杂流程、动态数据、突发异常和业务边界情况。更重要的是它的每一步行动都会产生真实的、有时不可逆的后果。Forrester 分析师 Craig Le Clair 将这种变化描述得很准确生成式 AI 的失败模式是可见的用人类在环中相对容易缓解但 Agentic AI 从生成并审查转变为规划、行动并可能自主失败。训练阶段烤进去的人类偏好管不了 Agent 运行时的自主行动。这就是 RLHF 在 Agent 时代遇到的根本性局限。Agentic HITLHuman重新进入运行时解决方案的方向很清晰把人类的判断力从训练阶段延伸到运行时。这就是 Agentic HITLHuman-in-the-Loop的核心逻辑。它不是一个新技术而是一种架构设计原则在 Agent 工作流的关键节点强制插入人类判断和决策的环节。Agent 可以规划、可以分析、可以提出方案但在触碰特定阈值之前它必须等待人类的确认才能继续执行。这个设计回答了一个根本性问题AI 什么时候可以自己做决定什么时候必须先问人。从 RLHF 到 Agentic HITL背后是一个认知的升级人类对 AI 的监督不能只发生在训练阶段更必须渗透到每一次真实业务执行的关键时刻。一条清晰的进化链把人类反馈机制的演进拉通来看会形成一条逻辑清晰的链条阶段机制人类参与时机核心价值大模型训练RLHF训练阶段对齐人类偏好Copilot 部署人工确认每次输出后把关建议质量单 Agent 运行HITL关键决策节点控制执行风险多 Agent 协作HOTL异常与例外监督自主系统Agentic EnterpriseHuman-in-Command策略与治理层掌控整体方向这不是一条线性替代的链条而是能力的叠加。更高级别的 Agentic 系统依然需要下层的 RLHF 对齐同时叠加更精细的运行时监督机制。理解这条链是理解整个 Human Oversight 体系的基础。Human家族的崛起一份概念图谱围绕人类在 AI 系统中的位置业界已经产生了一批重要概念。它们之间的关系经常被混淆这里做一次系统梳理。图片HITL、HOTL、HOOTL三种基本形态Human-in-the-LoopHITL人在环中最经典的模式。人类是工作流程的必要组成部分Agent 在执行关键操作前必须暂停并等待人类审批获得确认后才能继续。核心特点Agent 不能单独完成完整流程人类批准是执行的前提条件。典型场景财务付款审批、合同条款确认、高风险操作授权。Human-on-the-LoopHOTL人在环上Agent 可以自主运行完整流程但人类在外层持续监控只在检测到异常或超出预设边界时介入。这个模式更像汽车的辅助驾驶系统平时车自己开人类在旁边看着出现异常立刻接管。核心特点人类不在关键路径上但监控覆盖全程干预能力随时就绪。Human-out-of-the-LoopHOOTL人在环外完全自主没有人类干预。系统按照预设规则和参数自动运行人类只在设计阶段参与运行期间不介入。这个模式效率最高风险也最大适用场景有严格边界规则清晰、后果可控、失败可恢复。典型场景云基础设施自动扩缩容、防火墙规则自动更新。三种模式的关系可以用一个坐标来描述HITL 极度安全但效率较低HOOTL 极度高效但风险较高HOTL 是中间的平衡点。绝大多数企业的 Agentic 系统在不同场景下会混合使用这三种模式。延伸概念四个重要的运行时机制在 HITL、HOTL、HOOTL 的基本框架之上还有四个重要的运行时机制需要单独讨论。Human Override人工强制接管 在 Agent 执行过程中人类可以随时强制暂停并接管控制权无论 Agent 当前状态如何。这是一个必须存在的底层能力是任何 Agentic 系统的安全底线。一个数字让人警醒Writer 的调研显示超过三分之一的组织承认如果出现流氓 AI Agent他们无法将其关闭。没有 Override 能力的 Agentic 系统就像一辆没有刹车的自动驾驶汽车。Human Escalation人工升级 Agent 在执行过程中基于预设的触发规则主动将控制权移交给人类。关键在于主动是 Agent 自己识别出自己不适合继续处理并请求人类介入。好的 Escalation 设计能区分Agent 能处理和Agent 不该处理这两种截然不同的情况。Human-in-Control人类掌控 比 HITL 更宏观的概念指在整个系统层面人类始终保持对 AI 系统整体方向和边界的实质性控制。它不要求人类参与每一个操作但要求人类能够在任何时刻重新定义系统的目标和约束。Human-in-Command人类统领 当前语境下最高层次的人类监督形态出现在多 Agent 协作的 Agentic Enterprise 场景中。在这个层次人类的角色已经从审批者彻底转型为统领者设定整体战略意图、定义治理边界、评估 Agent 劳动力的整体表现、确保 Agent 行为与组织价值观一致。Human Oversight Framework一个完整的认知体系把上述所有概念整合起来王吉伟频道将其定义为 Human Oversight Framework人类监督框架它包含三个层次运行时监督层即 HITL、HOTL、HOOTL定义人类在具体流程中的介入方式干预机制层即 Human Override、Human Escalation定义人类在异常情况下的响应能力控制与治理层即 Human-in-Control、Human-in-Command定义人类对整个 Agentic 系统的战略性掌控。三个层次共同构成了企业在 Agentic 时代保持人类监督的完整能力栈。有一点需要特别强调这套框架的意义不在于限制 Agent而在于确保 Agent 的自主性能够安全地发挥价值。一套设计良好的 Human Oversight Framework是 Agentic Enterprise 的信任基础设施而不是效率的绊脚石。HITL到底在治理什么这是本文最核心的一章。理解了治理对象才能理解治理的深度和复杂度。治理对象的七层升维很多人对 HITL 的理解停留在在审批链上放一个人。这个理解的问题在于把治理对象想得太简单了。从最小粒度开始把 HITL 的治理对象一层一层展开会发现它的复杂性远超预期。第一层Agent。 最基本的治理单元。每个 Agent 应该有最小权限原则就像企业里每个员工只能访问其岗位所需的系统和数据。Forrester 的建议很直接将每个 Agent 视为有治理的身份给它唯一的凭证、最小权限、完整日志记录以及一个管理其生命周期的具名负责人不允许无主的自主性。第二层Agent Skill智能体技能。 Agent 通过调用 Skills 来完成任务一个 Skill 可能对应一个 API 调用、一个数据库查询、一个系统操作。HITL 需要对高风险 Skill 的调用进行专项管控。财务付款 Skill 和信息查询 Skill需要完全不同等级的监督设计。第三层Agentic Process智能体流程。 多个 Agent 行动组合起来形成一个有业务意义的流程。流程层面的 HITL关注的是流程的关键决策点和风险控制点在哪里哪些节点需要强制性的人工确认。第四层Agentic Workflow智能体工作流。 多个 Agentic Process 串联或并行形成完整的业务工作流。这个层面的 HITL 挑战在于工作流的复杂性往往超过单一流程错误可能在流程间传导放大。第五层Agentic BPM智能体业务流程管理。 企业开始用 Agent 管理和优化整体业务流程BPM 系统本身也开始具备 Agentic 能力。这个层面的治理需要覆盖流程设计本身的合理性而不只是执行层的操作安全。第六层Agentic ERP / Agentic CRM。 当 Agent 深度嵌入核心业务系统治理的复杂度大幅上升。Agentic ERP 中的采购 Agent 错误操作可能引发供应链连锁反应Agentic CRM 中的客户数据处理失误可能造成大规模合规风险。这一层的 HITL必须与系统的业务逻辑深度整合而不能只是表层的审批弹窗。第七层Agentic Enterprise智能体企业。 当企业整体运营深度依赖 Agent 劳动力治理的性质发生根本变化从流程控制升级为组织治理。HITL的五种触发机制HITL 不是每一步都审批那样会消灭 Agent 的所有价值。Board of Innovation 指出了这种误区的代价企业的默认反应是在每个自主行动上叠加人工审批这种本能恢复了 Agentic AI 本该消除的管理开销。如果审批率达到 95% 以上该检查点就变成了确认剧场。好的 HITL 设计是基于规则的精准触发让人类在最需要的地方介入。金额阈值触发 最直接的机制。小额操作自动执行大额操作逐级审批。阈值的设定需要结合企业的风险偏好和合规要求同时随着 Agent 的历史表现动态调整。置信度触发 Agent 基于概率推理做决策当置信度低于阈值时触发升级。通常的实践是置信度高于 95% 自动执行80% 到 95% 抽样审核低于 80% 强制人工审批。风险等级触发 不同操作类型对应不同风险等级。数据查询是低风险数据修改是中风险数据删除是高风险内部通讯是低风险客户通讯是中风险合规报告是高风险。HITL 框架应当明确每个风险等级对应的监督方式。数据敏感度触发 根据操作涉及的数据类型决定是否介入。公开数据可以自动处理客户个人数据需要审核财务核心数据需要审批涉及合规监管的数据必须人工把关。异常检测触发 当 Agent 的行为模式显著偏离正常范围时系统自动发出警报并触发人类介入。这是一种意外情况识别机制捕获的是规则未能预先定义的风险场景。成熟度模型企业在哪里我们可以把企业的 Agentic AI 监督成熟度划分为五级Level名称特征典型状态L1Human Driven人工主导AI 辅助信息获取传统企业起点L2AI AssistedAI 生成建议人工做决定Copilot 深度用户L3Human-in-the-LoopAgent 执行关键节点人工审批目前多数先进企业L4Human-on-the-LoopAgent 自主人类监控和例外处理少数数字化成熟企业L5Human-out-of-the-LoopAgent 完全自治人类只做策略设计特定场景的极端情形根据目前的行业现状绝大多数在推进 Agentic AI 的企业在未来三到五年内会停留在 L3 到 L4 之间而不是直接跳到 L5。图片Forrester 在《2026 年 Agentic AI 状况》报告中也指出了这种情况79% 的企业说已经采用AI Agent但真正在生产环境稳定运行的只有 11%。那 68% 的差距很大程度上就卡在治理和监督体系的缺位上。核心判断Human监督的不是模型而是数字员工到这里可以给出本文一个关键的论断Human-in-the-Loop 的本质不是在监督一个语言模型而是在监督一个越来越自主的数字员工。这个视角的转变极其重要。当你把 Agent 看作模型调用你关心的是模型的输出质量。当你把 Agent 看作数字员工你关心的是它的权限范围、行为记录、决策可解释性、责任归属以及它的入职条件和离职流程。Okta 2026 年的安全报告揭示了这个类比被忽视的后果近三分之二的组织对 AI Agent 采用的安全控制比对人类员工更弱。企业给人类员工设置了详细的权限管理、访问日志和行为审计却对一个能直接操作 ERP 系统的 Agent 放任不管。这是一个危险的双重标准也是当前 Agentic AI 安全事件频发的根本原因之一。从HITL到Agent Governance一次必要的跃迁HITL 守住了单个 Agent 的执行底线但要管控复杂的多 Agent 协作网络必须构建覆盖全生命周期的 Agent 治理体系。HITL只是起点不是终点HITL 是一个重要且必要的起点但它解决不了规模化之后的所有问题。当企业同时运行几十个、几百个乃至上千个 Agent 实例当这些 Agent 形成复杂的多 Agent 协作网络当 Agent 的决策和操作速度超过人类单点审批的响应能力HITL 的局限性开始显现。SiliconAngle 在 2026 年 1 月发表了一篇很有争议性的文章《Human-in-the-loop 已经触墙是时候让 AI 监督 AI 了》。文章的核心论点是AI 系统每秒做出数百万个决策横跨欺诈检测、交易、个性化、物流、网络安全和自主 Agent 工作流。在这种规模和速度下人类能够逐一有效监督 AI 决策的想法不再现实这是一种令人宽慰的虚构。这个观点不是错的但它描述的是一个极端场景。更准确的判断是HITL 在单个流程层面依然有效且必要但在企业整体 Agent 体系的层面它必须升级为 Agent Governance。就像传统企业中财务审批管控单笔交易但企业还需要财务制度、合规体系、审计框架来管控整个财务体系一样。HITL 是前者Agent Governance 是后者。两者缺一不可。Agent Governance的四大支柱王吉伟频道将 Agent Governance 体系归纳为四大支柱。支柱一Guardrails护栏机制Guardrails 是预先定义 Agent 行为边界的机制包括它能做什么、不能做什么、在什么条件下必须停止。好的 Guardrails 设计是分层的技术层面有 API 调用限制和工具使用限制业务层面有操作权限边界和数据访问范围伦理层面有内容生成规范和决策公平性要求。新加坡 IMDA 在其 Agentic AI 治理框架MGF中将提前评估和限制风险列为首要原则本质上就是 Guardrails 的设计哲学不是等风险发生了再处置而是在 Agent 部署前就把它的行动空间界定清楚。这份框架于 2026 年 1 月在达沃斯世界经济论坛发布是全球第一个专门为 Agentic AI 设计的治理框架已于 2026 年 5 月更新至 1.5 版纳入了超过 60 家组织的反馈。支柱二Authorization授权管理每个 Agent 必须有明确定义的身份、权限和访问范围遵循最小权限原则。这不仅是技术设置更是治理逻辑谁授权了这个 Agent它可以访问哪些系统它能代表企业做出什么级别的决策当前企业最普遍的 Agent 风险之一正是 Shadow Operations员工自行创建 Agent 并通过 API 密钥授予过高访问权限IT 部门和安全团队完全不知情。这是 Shadow IT 问题在 Agentic 时代的升级版后果更严重一个拥有宽泛访问权的未受监督 Agent可以破坏关键系统或触发未授权操作将看似的生产力捷径变成运营负债。支柱三Audit Trail行为审计追踪每个 Agent 的每一次重要决策和操作都应该有完整、可查、不可篡改的日志记录。这有三个核心价值事后复盘时能还原 Agent 的决策过程满足监管机构的合规审查要求建立 Agent 行为的基线以便识别异常偏差。EU AI Act 第 14 条将从 2026 年 8 月 2 日起强制执行要求高风险 AI 系统具备人类监督能力其中就包括可解释性和可审计性的具体要求。距离生效已不足两个月这不再是选项而是硬性合规要求。2026 年仅在美国就提出了超过 40 项新的 AI 监管提案监管的收紧是不可逆的趋势。支柱四Risk Management风险管理Agent Governance 中的风险管理需要超越传统 IT 风险的框架。它要覆盖 AI 特有的风险类型幻觉风险、偏见风险、过度自主风险以及 Agent 间相互影响产生的系统性风险。这里要单独讨论一个被系统性低估的风险技能萎缩Skill Atrophy。新加坡 MGF 在 1.5 版更新中将其明确列为业务连续性风险随着 Agent 承担基础任务员工的核心操作知识可能退化。如果 Agent 故障或不可用员工是否仍然有能力手动完成关键业务流程这不是哲学问题。Cognitive World 的研究用认知债务来描述这种退化无摩擦的 AI 驱动流程可以在提高效率的同时掏空人类能力。随着人们停止参与任务的执行他们的认知肌肉会退化这种退化直接削弱了他们做出好选择的能力。McKinsey 将此定义为 Agentic 企业必须直面的组织风险而不是一个渐进式的副作用。Agent Governance全景图综合以上四大支柱加上 Human Oversight Framework完整的 Agent Governance 体系呈现如下图片这个框架与 Gartner 提出的 AI TRiSMAI Trust, Risk, and Security Management在精神上高度吻合但更具体地指向了 Agentic AI 场景下的特定挑战。Allianz 风险晴雨表显示AI 在 2026 年已跃升至全球商业风险的第二位从 2025 年的第十位大幅跃升这是当年排名中最大的跳跃。Agent Governance 的紧迫性正在从技术讨论升级为企业战略议题。Agent Governance将成为Agent时代的ERP这里要提出一个核心判断Agent Governance 将成为 Agent 时代最重要的企业基础设施其战略地位类似于传统企业时代的 ERP 系统。这个类比为什么成立ERP 解决的问题是企业规模扩大后如何保证各部门的业务数据一致、流程可控、合规可审计。在 ERP 出现之前企业用 Excel 和人工协调规模一大就乱。ERP 出现之后提供了一套跨部门的信息和流程治理基础设施。Agent Governance 解决的问题是Agent 规模扩大后如何保证所有 Agent 的行为在授权范围内、决策可追溯、风险可控制、责任归属清晰。在 Agent Governance 出现之前企业用分散的 HITL 审批点和碎片化的安全措施规模一大就失控。Agent Governance 出现之后提供了跨 Agent 的行为治理基础设施。更关键的是就像今天没有 ERP 的规模企业无法正常运营未来没有 Agent Governance 的 Agentic Enterprise 也将无法安全地依赖 Agent 劳动力。这不是做了更好的锦上添花而是不做就会出问题的基础设施投资。Gartner 预测2026 年底之前将发生超过 2000 起AI 致死索赔源于自主系统的安全失败。现在来看这并不是预言而是一道正在逼近的账单。Human不会消失但会升级AI Agent 正在接管越来越多的执行工作但这并不意味着人类的退场而是人类角色从 操作者向 治理者 的必然升级。一个警示一份反面教材说到人类角色的变化无论如何绕不开 Klarna 这个案例。2024 年Klarna 推出 AI 客服系统单月处理 230 万次对话CEO Sebastian Siemiatkowski 宣布这相当于 700 名客服人员的工作量并开始大规模削减人员。这成为AI 替代人类故事里被引用最多的案例也一度成为 CEO 们追捧的模板。2025 年Klarna 开始悄悄重新招聘人类客服。2026 年CEO 公开承认激进的 AI 取代措施导致服务质量显著下降提出了一个耐人寻味的新原则客户永远应该能找到一个人类。Fast Company 对此做出了非常精准的总结Klarna 公开经历的是许多领导者私下遇到的。AI 本身无法修复一个损坏的工作流没有人的 AI 也无法承载品牌的信任。Verizon 的 CX 报告数字支撑了这个论断AI 驱动交互的客户满意度为 60%人类主导交互为 88%。这 28 个百分点的差距是 Klarna 教训的量化版本。SurveyMonkey 的另一项研究发现79% 的受访者强烈倾向于与人类而非 AI Agent 互动进行客服即使速度和服务质量相同。Klarna 案例的真正教训不是I 不行而是用 AI 替代人类 和 用 AI 赋能人类 是两条截然不同的路。第一条路的终点往往是 Klarna 式的翻车。第二条路的终点才是真正的 Agentic Enterprise。人类角色的三次迁移在 Agentic Enterprise 的演进过程中人类在组织中的角色经历了三次明显的迁移。第一阶段Operator操作者。 在传统 IT 和 RPA 时代人类是系统的操作者直接执行任务AI 是辅助工具。人类通过点击、填写、审核来完成工作价值来自执行能力。第二阶段Supervisor监督者。 在 Copilot 到单 Agent 时代Agent 开始承担大量执行工作人类转型为监督者关注异常、审批关键决策、处理 Agent 无法自主解决的例外场景。价值从执行能力转向判断能力。第三阶段Governor治理者。 在多 Agent 协作和 Agentic Enterprise 时代人类进一步升级为治理者设定整体战略意图、定义 Agent 劳动力的边界和规则、建立问责体系、确保 Agent 行为与组织价值观和合规要求一致。价值从判断能力转向设计能力和价值判断能力。这三个阶段不是完全替代而是重心的转移。即使在 Agentic Enterprise 阶段部分场景依然需要人类直接操作但人类最核心的价值已经从我能做什么转向我能设计什么、我能判断什么、我能负责什么。Hyperscience CEO 对这种转变给出了实践层面的描述这是人类“在环上”的模式设定护栏、治理决策、确保自动化在规模上准确、可负担、可解释和可信。这就是 Agentic 系统真正实现企业就绪的方式。双轨制劳动力Human Workforce Agent Workforce未来的企业组织将呈现一种双轨制结构Human Workforce人类劳动力和 Agent Workforce智能体劳动力并行存在各自承担不同类型的工作在治理框架下协同运转。图片两类劳动力的分工遵循一个简单的原则Agent Workforce 承担规模化、重复性、规则明确、可量化评估的工作Human Workforce 承担需要价值判断、需要信任背书、需要创造性、需要负责任决策的工作。两者的关键接口正是 Human Oversight Framework它定义了在什么条件下、用什么方式把工作从 Agent 交接给人类或者把控制权从人类移交给 Agent。McKinsey 对这种双轨制劳动力结构的管理提出了明确警告企业必须防止组织技能萎缩随着 Agent 承担基础任务人类员工的核心能力可能退化。这需要刻意的培训投入和工作机会设计来对冲而不是放任 Agent 蚕食员工的操作知识。这个警告在新加坡 IMDA 的官方治理框架里已经成为具体的治理要求组织应识别核心能力并提供充分的培训和工作接触机会确保员工保留基础技能。Agentic Enterprise的未来运行公式综合全文的讨论这里设计一个 Agentic Enterprise 的运行公式图片Agent Governance Human-in-Command Agentic Enterprise三个要素缺一不可。• Agent 提供规模化的执行能力将人类从重复性工作中解放出来这是所有效率增益的来源• Governance 提供行为框架和治理基础设施确保 Agent 在授权范围内安全运作这是所有可信赖性的来源• Human-in-Command 提供战略方向、价值判断和终极责任是整个系统的压舱石这是所有合法性的来源。只有 Agent 没有 Governance结果是 Klarna。只有 Governance 没有 Human-in-Command结果是有规则但没有方向。只有 Human-in-Command 没有足够强大的 Agent结果是用了新名词的旧模式。结语在工业时代人类管理机器在软件时代人类管理系统而在 Agent 时代人类将第一次开始管理数字员工。Human-in-the-Loop 不是 Agent 能力不足时的补丁而是 Agentic Enterprise 的起点。RLHF 把人类智慧烤进了模型权重HITL 把人类判断力嵌入了运行时流程而 Agent Governance 将把人类的价值观和组织意志转化为整套 Agentic 系统的行为边界。六国政府网络安全机构已经联合发声新加坡发布了全球首个 Agentic AI 治理框架EU AI Act 的人类监督条款将在 2026 年 8 月 2 日强制生效。监管层面的讨论已经形成共识产业层面的落地实践才刚刚开始。有一个事实需要正视AI 安全风险在 2026 年已经跃升为全球商业风险排名第二的议题从上一年的第十位大幅跃升。这不是一个小步迈进这是一次断崖式的认知升级。这是一个明确的信号Agent Governance 的时代正在到来领先的企业已经开始行动了。学习资源推荐如果你想更深入地学习大模型以下是一些非常有价值的学习资源这些资源将帮助你从不同角度学习大模型提升你的实践能力。一、全套AGI大模型学习路线AI大模型时代的学习之旅从基础到前沿掌握人工智能的核心技能因篇幅有限仅展示部分资料需要点击文章最下方名片即可前往获取二、640套AI大模型报告合集这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示因篇幅有限仅展示部分资料需要点击文章最下方名片即可前往获取三、AI大模型经典PDF籍随着人工智能技术的飞速发展AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型如GPT-3、BERT、XLNet等以其强大的语言理解和生成能力正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。因篇幅有限仅展示部分资料需要点击文章最下方名片即可前往获取四、AI大模型商业化落地方案作为普通人入局大模型时代需要持续学习和实践不断提高自己的技能和认知水平同时也需要有责任感和伦理意识为人工智能的健康发展贡献力量。
