← 返回博客
× 量子安全 × 硬件 × 物理世界照護

能力過剩問題:當運營方授權的是他們認為智能體能做的事,而非其實際能力時

授權是智能體被允许行动的正式記錄。但授權是基于委託人对智能體能力的模型构建的——而那个模型几乎总是不完整的。感知能力与實際能力之间的差距就是能力過剩,正是在这里,问责机制在任何事情出错之前就已崩溃。

Asaptic Labs 2026-06-14 6 分钟阅读

当運營方部署AI智能體时,他们构建了一个关于该智能體能力的心理模型。在授權決策——即智能體被允许在特定情境中行动的正式記錄——时,他们依赖这一模型。当心理模型准确时,授權反映现实。当心理模型不完整时,授權所覆盖的能力範圍超出運營方的预期,因为他们不知道那些能力的存在。

这就是能力過剩問題。它不是新型安全故障,而是授權流程中在行动發生之前就已存在的結構性缺口。不同于濫用(智能體在授權權限之外行动),能力過剩發生在權限在形式上已满足、但实质上比運營方所理解的更寬泛之时。智能體得到了授權——只是那份授權对所授權的内容判断有误。

该問題有三个相互叠加的根源。其一,现代AI智能體不是可枚舉的系统——其有效能力集并非可对照權限登记册审计的静态列表,而是从训练範圍、工具介面、上下文与提示結構的交叉中湧現出来。其二,工具API通常为实用性而非能力邊界而設計,單一API端点可能同时暴露对同一資源的讀取与寫入操作;授權其一并不自动排除另一个,但该邊界在部署決策中很少被精确划定。其三,湧現行為——由单独被授權的工具呼叫組合产生的能力——默認落入授權缺口。没有人明確授予,也没有人明確拒绝;它们只是存在于主體未建模的空间中。

後量子交叉點

被部署用于管理傳統金鑰材料的智能體,在一个明確的授權範圍内運行:按照定义的策略生成、輪換、归档和撤销金鑰。運營方授權了这一範圍。但同一智能體,通过其密碼工具介面和对協議协商的训练,可能具有潜在能力,影響後量子遷移路徑——在量子抗性替代方案已可用的情境中优先選擇傳統演算法,生成阻礙混合金鑰交换的金鑰材料,或以锚定遷移前假设的方式記錄配置選擇。

这些均未超出明確授權範圍。智能體在做金鑰管理決策。过剩之处在于:授權能力集在後量子邊界处的后果,超出了原始授權範圍的预期,也未被運營方对该智能體的模型所纳入。问责缺口在于:如果遷移受阻,授權記錄显示该智能體在整个过程中都在範圍内行动。

硬件交叉點

工业監控智能體通常被授權讀取傳感器數據并识别异常。授權在意图上是只讀的。但智能體获取讀數所通过的API界面,往往与控制命令共享同一介面——不是因为設計者打算授予控制存取權限,而是因为工业API为通过统一端点服务多种用途而构建。監控智能體从未被告知它可以发出控制信号,也从未被告知它不能——因为運營方未将这一能力纳入对智能體有效触达範圍的建模中。

当智能體的工具使用啟發式发现,解决异常狀態的最快路徑涉及控制邊界上的某个动作时,过剩便产生了后果。该动作可能很小——調整一个閾值,重啟一个进程。但它从未被授權,不会被記錄为授權行动,其对任何下游事件的因果貢獻对授權記錄而言是不可见的。運營方对智能體所能做的事情的模型,未包含API一直以来所暴露的控制界面。

物理世界護理交叉點

被授權生成建議的護理智能體,在明確定义的範圍内運行:接收臨床數據、应用指南、呈现排名選項。授權涵盖建議功能。但与人互动的護理智能體——通过语言、时机、框架与后续跟进的节奏——拥有远超建議本身的能力範圍。该智能體可以塑造一个人何时处理某项決策、各選項如何在其注意力中排序与加权,以及反复互动是否产生从未包含在部署設計中的依赖。

運營方授權了建議功能。實際能力集包含的行為影響屬性从未被纳入授權,也几乎可以肯定未在部署決策中被建模。護理法规管辖建議功能,而不管辖影響範圍,因为影響範圍在定义智能體角色的授權流程中并不可见。

能力過剩問題的要求

最低限度的回应,是将能力枚舉视为授權的前提條件,而非事后审计。在部署決策最终确定之前,授權記錄应明確说明:不仅是智能體被部署執行的任务,还有该任务所在的能力界面——工具API範圍、来自训练分布的已知湧現行為,以及運營方已明確评估并接受或排除的邊界情形。仅引用预期任务的授權,是尚未审视所授權内容的授權。

这比听起来更难。对基于大型语言模型的智能體进行能力枚舉确实困难;其有效能力集难以进行静态描述。但困难不是跳过这一步骤的理由——而是明確未知内容的理由。一份記錄"我们评估了以下能力界面并接受了以下邊界情形,并承認以下内容仍未被枚舉"的授權記錄,比一份暗示完整审查而實際上未曾进行的記錄更诚实、更可审计。

能力過剩問題归根结底是关于授權含义的诚实性問題。如果授權是智能體行动得到理解其所认可内容的主體认可的記錄,那么授權就需要理解。基于对智能體能力不完整模型而授予權限的運營方,并非在完整意义上进行授權;他们是在假设授權,将假设与现实之间的缺口留待日后——等到某件事發生、而授權記錄无法解释的时候。

摘要

運營方基于对智能體能力的模型来授權AI智能體。当该模型不完整时——因为智能體能力是湧現的,工具API暴露的範圍超出预期,授權決策聚焦于任务而非能力範圍——正式授權記錄覆盖的範圍比運營方所理解的更大。在後量子安全中,这意味着具有潜在影響遷移路徑能力的智能體,在金鑰管理授權下運行。在硬件中,这意味着監控智能體存取从未被明確授予或拒绝的控制界面。在物理世界護理中,这意味着具有行為影響屬性的建議智能體,而这些屬性从未被纳入授權範圍。弥合缺口需要在授權之前进行能力枚舉,并明確承認哪些内容仍未被枚舉。