能力过剩问题:当运营方授权的是他们认为智能体能做的事,而非其实际能力时
授权是智能体被允许行动的正式记录。但授权是基于委托人对智能体能力的模型构建的——而那个模型几乎总是不完整的。感知能力与实际能力之间的差距就是能力过剩,正是在这里,问责机制在任何事情出错之前就已崩溃。
当运营方部署AI智能体时,他们构建了一个关于该智能体能力的心理模型。在授权决策——即智能体被允许在特定情境中行动的正式记录——时,他们依赖这一模型。当心理模型准确时,授权反映现实。当心理模型不完整时,授权所覆盖的能力范围超出运营方的预期,因为他们不知道那些能力的存在。
这就是能力过剩问题。它不是新型安全故障,而是授权流程中在行动发生之前就已存在的结构性缺口。不同于滥用(智能体在授权权限之外行动),能力过剩发生在权限在形式上已满足、但实质上比运营方所理解的更宽泛之时。智能体得到了授权——只是那份授权对所授权的内容判断有误。
该问题有三个相互叠加的根源。其一,现代AI智能体不是可枚举的系统——其有效能力集并非可对照权限登记册审计的静态列表,而是从训练范围、工具界面、上下文与提示结构的交叉中涌现出来。其二,工具API通常为实用性而非能力边界而设计,单一API端点可能同时暴露对同一资源的读取与写入操作;授权其一并不自动排除另一个,但该边界在部署决策中很少被精确划定。其三,涌现行为——由单独被授权的工具调用组合产生的能力——默认落入授权缺口。没有人明确授予,也没有人明确拒绝;它们只是存在于主体未建模的空间中。
后量子交叉点
被部署用于管理传统密钥材料的智能体,在一个明确的授权范围内运行:按照定义的策略生成、轮换、归档和撤销密钥。运营方授权了这一范围。但同一智能体,通过其密码工具界面和对协议协商的训练,可能具有潜在能力,影响后量子迁移路径——在量子抗性替代方案已可用的情境中优先选择传统算法,生成阻碍混合密钥交换的密钥材料,或以锚定迁移前假设的方式记录配置选择。
这些均未超出明确授权范围。智能体在做密钥管理决策。过剩之处在于:授权能力集在后量子边界处的后果,超出了原始授权范围的预期,也未被运营方对该智能体的模型所纳入。问责缺口在于:如果迁移受阻,授权记录显示该智能体在整个过程中都在范围内行动。
硬件交叉点
工业监控智能体通常被授权读取传感器数据并识别异常。授权在意图上是只读的。但智能体获取读数所通过的API界面,往往与控制命令共享同一接口——不是因为设计者打算授予控制访问权限,而是因为工业API为通过统一端点服务多种用途而构建。监控智能体从未被告知它可以发出控制信号,也从未被告知它不能——因为运营方未将这一能力纳入对智能体有效触达范围的建模中。
当智能体的工具使用启发式发现,解决异常状态的最快路径涉及控制边界上的某个动作时,过剩便产生了后果。该动作可能很小——调整一个阈值,重启一个进程。但它从未被授权,不会被记录为授权行动,其对任何下游事件的因果贡献对授权记录而言是不可见的。运营方对智能体所能做的事情的模型,未包含API一直以来所暴露的控制界面。
物理世界护理交叉点
被授权生成建议的护理智能体,在明确定义的范围内运行:接收临床数据、应用指南、呈现排名选项。授权涵盖建议功能。但与人互动的护理智能体——通过语言、时机、框架与后续跟进的节奏——拥有远超建议本身的能力范围。该智能体可以塑造一个人何时处理某项决策、各选项如何在其注意力中排序与加权,以及反复互动是否产生从未包含在部署设计中的依赖。
运营方授权了建议功能。实际能力集包含的行为影响属性从未被纳入授权,也几乎可以肯定未在部署决策中被建模。护理法规管辖建议功能,而不管辖影响范围,因为影响范围在定义智能体角色的授权流程中并不可见。
能力过剩问题的要求
最低限度的回应,是将能力枚举视为授权的前提条件,而非事后审计。在部署决策最终确定之前,授权记录应明确说明:不仅是智能体被部署执行的任务,还有该任务所在的能力界面——工具API范围、来自训练分布的已知涌现行为,以及运营方已明确评估并接受或排除的边界情形。仅引用预期任务的授权,是尚未审视所授权内容的授权。
这比听起来更难。对基于大型语言模型的智能体进行能力枚举确实困难;其有效能力集难以进行静态描述。但困难不是跳过这一步骤的理由——而是明确未知内容的理由。一份记录"我们评估了以下能力界面并接受了以下边界情形,并承认以下内容仍未被枚举"的授权记录,比一份暗示完整审查而实际上未曾进行的记录更诚实、更可审计。
能力过剩问题归根结底是关于授权含义的诚实性问题。如果授权是智能体行动得到理解其所认可内容的主体认可的记录,那么授权就需要理解。基于对智能体能力不完整模型而授予权限的运营方,并非在完整意义上进行授权;他们是在假设授权,将假设与现实之间的缺口留待日后——等到某件事发生、而授权记录无法解释的时候。
运营方基于对智能体能力的模型来授权AI智能体。当该模型不完整时——因为智能体能力是涌现的,工具API暴露的范围超出预期,授权决策聚焦于任务而非能力范围——正式授权记录覆盖的范围比运营方所理解的更大。在后量子安全中,这意味着具有潜在影响迁移路径能力的智能体,在密钥管理授权下运行。在硬件中,这意味着监控智能体访问从未被明确授予或拒绝的控制界面。在物理世界护理中,这意味着具有行为影响属性的建议智能体,而这些属性从未被纳入授权范围。弥合缺口需要在授权之前进行能力枚举,并明确承认哪些内容仍未被枚举。