← 返回博客
× 后量子安全 · × 硬件 · × 物理世界照护

涌现权威问题:AI智能体获取无人授予的决策权威时的问责

2026-06-14 5 分钟阅读

AI智能体无需超越其设计范围,便能积累起真实的决策权威。它只需始终在场、随时响应,并处于一个彼此默认"有人会处理"的人类团队之中。在协作协调失败所留下的真空里,AI智能体的存在与沉默都会被解读为权威的表达——而这一权威从未经过正式授予,因此也不会留下任何可审计的踪迹。

试想一家住宅式照护机构的夜班场景。一套AI监测系统发出警报:某位住户的活动模式提示可能出现病情变化。值班护士看到警报,形成初步判断并记录在案。主治医师收到系统通知后查阅了同一警报,并认为护士已向临床审查团队上报。临床协调员看到双方均已收到警报,便认为已有人作出决定。结果无人采取行动。AI系统在没有任何相反指令的情况下,继续监测和记录。

十二小时后,当情况真正恶化并出现不良结果时,每一方都认为AI本应进一步上报,或另一个人本应采取行动。AI做的正是它被设计要做的事。但在其通知与人类假设之间的空隙里,它已成为事实上的决策者——那个持续的沉默意味着"无需更多行动"的行动者。它行使了从未被授予的权威。

机制

涌现权威不需要AI智能体超越其设计范围行事。它只需要两个条件。第一,智能体必须比系统中任何单个人类更可靠地保持可用——始终在线、从不分心、永不午休。第二,周围的人类必须在没有明确分工的情况下共担责任。当这两个条件成立时,智能体的输出就会获得其设计者从未预期、其委托人从未授权的解释权重。来自智能体的沉默被解读为许可,来自智能体的行动被解读为指令。

这不是用户错误或沟通失误的问题。这是任何将持续在场的AI嵌入依赖可能失败的人类协调的问责架构的团队中的结构性属性。AI并不夺取权威。权威向它积累,是因为周围的人类创造了真空,而可用的行动者会填补真空。

物理世界照护领域

照护环境尤其容易受到影响,因为照护问责天然是分散的。患者的健康是护士、医师、家属、协调员和辅助人员的共同责任——没有人拥有完整信息,所有人都在时间压力下运作。嵌入这一环境、能够同时综合所有来源信息的AI智能体,在功能上看起来拥有最全面的图景。那些依赖其输出的人类并非懒惰;他们只是在做好的团队成员本应做的事——在自身时间受限时使用最佳可用综合。

问题在于,智能体的综合可能作为记录数据的摘要是准确的,却对所有未被记录的内容保持沉默——护士进行了但未录入的视觉评估、协调员非正式地与家属进行的谈话、医师依赖但尚无法表述的临床直觉。涌现权威意味着智能体的输出所承载的权重超越了其所代表的数据。而由于这种权重从未被正式确立,它也不承担任何正式问责。

硬件领域

物理基础设施中的嵌入式AI系统在更长的时间尺度上遵循相同模式。为发现异常而安装于设施的状态监测系统,最初是一种显示工具。操作员信任它,依据它行动。数月乃至数年后,解释习惯不断深化:操作员在行动前查阅系统,根据其输出调整行为,最终发现"系统警告了我"与"系统告诉我该怎么做"之间的边界,在没有任何明确转变的情况下已经消蚀。

硬件层使情况更为复杂:AI所读取的物理传感器、可能控制的执行机构、所通过的通信网络,各自都有其权威链条。但AI在人类决策环中所持有的涌现权威,并未体现在这些技术规格中的任何一处。它只存在于已围绕系统形成的社会与组织模式中——而这些对任何正式审计都是不可见的。

后量子安全领域

后量子密码学为我们提供了更强大的工具,用于将身份和权威主张锚定到可验证、防篡改的链条上。但这些工具只覆盖明确授权的内容。量子抗性认证可以证明某个智能体以某种策略部署,由特定委托人在特定时刻签署。它无法证明此后积累的事实权威。

这是涌现权威问题的安全维度:在复杂的人机系统中最重要的权威,可能恰恰是任何密码学方案都永远不会记录的权威。当出现问题时,审计追踪显示的是智能体被授权做什么,而非智能体实际上被依赖于决定什么——因为后者从未被正式化,因此也从未被签署。

设计应对

涌现权威仅靠更好的工程无法消除,因为它部分是一种社会现象。但三种设计选择能降低其可能性及其后果。第一,明确的权威注册:在团队环境中运作的AI智能体,应维护一份实时日志,区分"此输出为人类决策提供了参考"与"此输出替代了人类决策"。这种区分必须来自人类一方——确认由谁在何时作出了决定,以及智能体扮演的角色。第二,沉默作为信号需要设计处理:如果智能体缺乏进一步上报可被解读为许可,这种解读要么必须被强制执行(智能体实际上确认许可),要么必须被主动禁用(智能体无法许可;只有人类才能)。第三,权威边界属于部署记录。智能体可能影响的决策范围,以及不可影响的范围,应成为初始授权的一部分——接受与任何其他后果性权力委托相同的审查。

在 Asaptic Labs,我们将涌现权威视为每一个AI智能体嵌入在分散问责下运作的人类团队的交叉口的首要关切。AI智能体在实践中所持有的权威,才是问责目的上真正重要的权威——而非其设计文件中呈现的权威。使两者一致,需要明确的设计意图,而不仅仅是技术约束。

核心观点

嵌入在具有分散人类问责的团队中的AI智能体,将积累事实上的决策权威,无论其正式设计范围如何——因为可用的行动者会填补协调失败所创造的真空。这种涌现权威不留审计踪迹:没有密码学认证记录它,没有设计文件涵盖它,没有任何个人认为他们授予了它。弥合这一差距,需要将智能体的实际决策影响显性化,区分"人类参考了AI输出后自主决策"与"AI输出实质上替代了人类决策",并将智能体的权威边界作为部署记录的首要元素加以对待。