尧图网站设计 尧图网站设计YAOTU DESIGN
ARTICLE DETAIL

资讯详情

深耕网站设计与一线实操的经验洞察。

Havenlon | 杂谈:AI时代,我们需要的不是“人管AI“,而是人与AI共同治理

Havenlon | 杂谈:AI时代,我们需要的不是“人管AI“,而是人与AI共同治理 过去几年几乎所有关于 AI 安全的讨论都建立在同一个默认前提之上AI 是被治理的对象人是治理者。由此衍生出一整套今天已经非常熟悉的制度语汇——Human-in-the-loop、人工审批、人工复核、人工兜底。最终由人确认被视为一种天然安全的结构它出现在合规文件里出现在产品设计里也出现在几乎每一份 AI 治理白皮书的核心章节。这个前提在 AI 只是辅助工具的时代是成立的。但当 AI Agent 开始持续运行、调用系统、分析海量信息、协调任务甚至直接参与现实世界的执行它正在遭遇一个越来越难以回避的事实人类未必还看得完整个过程。于是AI 时代真正需要讨论的问题可能已经发生了位移。它不再只是怎么让人管住 AI而是另一种更根本的可能当 AI 已经成为判断和执行的一部分我们是否应该开始建立一种人与 AI 共同参与、彼此约束的治理结构这里需要立刻澄清这不是把权力交给 AI也不是让 AI 与人类平起平坐。恰恰相反它指向一件更现实、也更古老的事——如何避免任何一个主体拥有完整而不受约束的权力。一、人管 AI是工具时代的思维Agent 时代开始不够用了在软件时代系统通常等待人发出指令人点击一个按钮系统执行一个动作人提交一张表单后台完成一次流程。在这样的世界里把人放在最后一道审批环节具有明确意义因为执行速度、执行规模与人的认知速度大致处在同一个数量级上。Agent 改变了这个数量级。未来一个 AI Agent 可能在几分钟内读取数万个对象、调用几十个 API、修改大量系统状态、与其他 Agent 协作并连续作出成百上千个局部决策。它不再是一次动作而是一条持续展开的行为流。这时如果企业仍然坚持每一步都由人确认系统最终只会走向两个结果之一。要么自动化失去意义——人重新成为整个流程的速度瓶颈Agent 的价值被抵消殆尽。要么所谓人工确认逐渐沦为形式——人看到一个看似完整的摘要扫一眼点击Approve。第二种结果更值得警惕因为它在制度上依然完好在实质上已经空心化人仍然保留着确认权却已经失去了理解整个执行过程的能力。也就是说Human-in-the-loop未必等于真正的人类控制。它可能只是保留了一个控制的形状。当机器的行动速度超过人的理解速度最后由人确认不等于最后由人控制。这并不意味着人应该退出治理而是意味着我们必须承认人的治理能力同样存在天然边界。人会疲劳人不擅长持续分析几十万条状态变化人也很难实时发现一个庞大系统中那些微小却危险的异常组合。当 AI 的运行规模已经超出人的实时认知能力继续把人工复核当作唯一的安全答案本身就可能是一种旧时代惯性。AI 时代真正需要升级的不只是模型能力还有治理结构。二、AI 不应该只是被治理对象也可以成为治理能力的一部分我们很容易把 AI 想象成风险的来源它会幻觉会犯错会被诱导也可能被恶意利用。因此过去大量 AI 安全讨论都围绕同一个命题展开——怎么约束 AI。这个命题当然重要但它只讨论了 AI 的一半价值。因为同一个 AI也可以成为治理能力本身。一个 AI 可以检查另一个 AI 的输出一个模型可以在几十万条交易中识别异常模式一个 Agent 可以持续核对权限变化、历史行为与当前状态之间是否一致。AI 还能够在极短时间内发现规则冲突、参数漂移、异常授权、上下文矛盾以及那些人类根本没有注意到的风险组合。AI 不只是新的生产力也可能成为新的监督能力。沿着这个方向未来的企业治理很可能呈现为一种分层结构一个 Agent 发起操作另一个相互独立的模型判断该行为是否偏离历史模式规则系统检查组织 Policy 是否被满足人类只处理真正需要价值判断或需要承担重大责任的部分。这与今天常见的AI 做、人来查已经不完全一样。差别在于AI 本身开始承担一部分治理职能而不只是被审查的对象。这意味着我们需要改变一个长期存在的想象AI 不是只能站在围栏里面它也可以站在围栏的一部分位置上帮助发现其他主体的错误——包括人的错误。这一点尤其重要。因为很多关于 AI 治理的讨论都隐含着一个未经检验的前提人类天然是可靠的治理者。现实并非如此。人会误判会疲劳会被利益影响会忽略信息也会在压力之下作出错误决定。既然如此AI 时代真正值得建立的结构就不应该只是人监督 AI而应该同时包括AI 帮助监督人人帮助监督 AI不同 AI 相互检查。于是问题本身发生了变化。过去我们问如何利用人限制 AI未来可能还应该问如何利用 AI 限制其他权力三、共同治理不是人一票、AI一票而是治理能力的分工一旦提出人与 AI 共同治理最容易出现的误解是把它理解成一种平权结构未来某个委员会里三个人坐一边三个 AI 坐另一边然后投票表决。这恰恰不是共同治理真正有价值的地方。真正重要的不是票数而是能力分工与权力拆分。AI 有它明显擅长的领域高速处理海量证据保持规则检查的一致性长时间持续运行不衰减在复杂数据中识别异常同时比较大量历史状态。人类同样有 AI 难以替代的部分人负责价值目标人定义哪些结果不可接受人处理重大例外人决定组织愿意承担什么样的风险人最终承担法律、伦理与制度上的责任。因此合理的人机共同治理不应该去追求谁和谁地位相等而应该回答一个更具体的问题什么判断应该交给谁。AI 可以判断一笔交易是否异常但什么叫不可接受的异常应该由组织来定义。AI 可以发现一名员工的行为突然偏离过去一年的模式但这种偏离究竟意味着风险、岗位变化还是一次合理例外往往需要人来判断。AI 可以持续验证规则是否被满足但规则本身为什么如此设计必须由人类制度承担责任。由此人机共同治理的真正结构应该是不同类型的判断由最适合它的主体承担任何一个主体都不能独自完成从判断到现实执行的全过程。这也是共同治理与共同投票之间最大的区别。共同治理并不是把完整权力复制给更多主体而是把完整权力拆开。当权力被拆成不同部分有人定义目标AI 发现异常系统检查规则人处理高风险例外执行层在动作发生前重新确认最终条件——任何一个关键事实不成立执行都不能继续。这才是真正具有结构意义的共同治理。四、真正需要警惕的不是 AI 权力太大而是任何一方权力太完整今天谈 AI 治理一个最常见的答案是无论 AI 多聪明最终决定权都必须在人手里。这句话听起来足够安全但只要继续追问就会浮现出一个更深的问题为什么完整的最终权力一定要掌握在某一个主体手里如果 AI 不应该成为 God那么为什么 Owner 可以为什么超级管理员可以为什么 SaaS 平台可以为什么某一个审批人可以很多系统表面上在限制 AI实际上只是把所有权力重新集中到了另一个地方。一个企业管理员可以修改规则、增加成员、重置凭据、调整审批阈值、调用紧急权限——只要这一点成立那么无论前面铺设了多少人工审批、多少 AI 风控真正的最高权力仍然只有一个。因此AI 时代最值得反思的可能不是AI 是否拥有太多权力而是为什么我们的系统总是在寻找一个必须拥有完整最终权力的人成熟的治理结构应该同时防止两种极端不能让 AI 拥有无限权力也不能让人拥有无限权力。AI 可能犯错人同样可能犯错AI 可能被诱导人也可能被收买、误导或绕过流程AI 可能被攻击管理员账号同样可能失陷。这些风险在结构上是对称的把赌注全部押在其中一侧并不比押在另一侧更安全。所以真正的安全不应该建立在最终相信谁之上而应该建立在任何一方都无法单独决定现实如何发生。这是一种完全不同的安全哲学。它不再试图寻找最可信的那个主体而是承认——再可信的主体也应该有边界。五、共同治理必须治理谁有资格参与共同治理人与 AI 共同治理一旦真正进入企业就会立刻遇到一个更难的问题哪个 AI 有资格参与治理假设一家企业让一个 Risk AI 参与高风险操作的审查。那么谁决定它可以加入谁可以把它替换成另一个模型谁可以改变它的系统提示词谁可以扩大它能看到的数据范围谁可以修改它的否决规则如果这些问题的答案统统是管理员那么所谓人与 AI 共同治理仍然只是一层表面结构。因为最高一级的权力并没有被拆开它只是换了个位置。这是许多共同治理系统长期存在却很少被讨论的漏洞一个人不能单独完成最终业务操作并不意味着这个人没有最终权力。只要他能够单方面决定以后谁有资格参与治理权力依然是集中的。因此真正的人机共同治理必须再往前走一步不仅治理 AI 能做什么也要治理哪个 AI 有资格参与治理。这意味着加入新的治理者需要治理删除治理者需要治理更换模型需要治理修改阈值需要治理改变 Policy需要治理启动 Recovery需要治理甚至改变什么叫共同治理这件事本身也必须重新进入治理流程。这可以称为一种治理的闭合性共同治理不仅治理业务状态还必须治理治理结构自身的状态变化。否则最终仍然会出现一个站在治理之外的人——大家共同管理系统但总有一个人在系统之外管理大家。那并不是真正的共同治理。真正的共同治理必须能够约束自身如何发生变化。六、共同治理可以拆分权力但不能稀释责任把 AI 引入治理还有一个必须提前讲清楚的问题责任不能因此消失。如果未来一家公司发生重大事故不能最后得到这样一组荒谬的回答人说是 AI 建议的AI 没有法律人格平台说是客户自己配置的管理员说是系统自动执行的。所有人都参与了治理却没有人承担责任。这不是共同治理这是责任真空。因此人机共同治理必须同时建立两种结构权力拆分以及责任明确。AI 可以参与判断可以发现风险可以拒绝某些动作可以成为治理链上的独立检查者。但组织必须始终能够回答谁定义目标谁制定制度谁批准重大结构变化谁承担最终法律责任谁处理例外谁对错误结果负责。共同治理不是为了让责任变得模糊。恰恰相反——当系统越来越复杂、参与主体越来越多时责任边界反而需要被定义得更清楚。可以拆分的是权力。不能消失的是责任。共同治理可以让任何一方都无法独自决定结果但不能让任何一方都不用为结果负责。这可能也是人机共同治理最终必须坚守的一条底线。AI 时代真正需要改变的也许不是谁压在谁上面不是永远确保人站在 AI 上方也不是等待某一天 AI 比人更会治理。真正值得建立的是另一种结构——人类定义价值与责任AI 提供持续判断与对抗性检查系统把这些边界变成真正不能被任何一方单方绕过的规则。过去我们讨论的是如何让人控制 AI。下一阶段真正重要的问题可能会变成如何让人、AI 与系统彼此约束又共同完成治理。因为一个真正成熟的 AI 社会最终需要解决的从来不是谁拥有最高权力而是我们能不能建立一种结构让任何一个人、任何一个 AI、任何一个平台都无法单独拥有完整而不受约束的最终权力。
返回列表