负空间问题:AI智能体不作为时的问责困境
大多数AI智能体的问责框架都围绕已做出的决策和已采取的行动构建。但部署在监控、护理和安全角色中的智能体被期望在条件需要时采取行动。不作为所产生的问责缺口在结构上不同于错误行动所产生的缺口——而大多数现有框架都没有解决这一问题。
大多数AI智能体的问责框架都围绕着已做出的决策和已采取的行动构建。智能体执行操作、创建记录、跨越阈值并升级处理。问责问题是发生了什么以及谁授权了它。
但部署在监控、护理和安全角色中的AI智能体被期望做另一件事:持续观察并在条件需要时采取行动。预期行动可能是警报、升级、记录或预防性干预。当该行动未发生时——当智能体在监视但没有发出标记——所产生的问责问题在结构上与错误行动的问题不同,而且大多数现有框架都没有解决这一问题。
这就是负空间问题。
遗漏的结构
当智能体采取错误行动时,问责记录从特定时刻开始:决策时刻。该决策有时间戳、可归因,并可供审查。问题是它是否被授权、是否正确形成以及是否基于适当的输入。
当智能体在应该采取行动时未采取行动时,没有可审查的时刻。没有带时间戳的非决策。只有应该存在的记录的缺失——而记录的缺失本身不是记录。随后发生的危害可能在事后被追溯到智能体的不作为,但缺失本身不会留下任何痕迹。
这种不对称性在护理场景中极为重要。AI护理智能体被期望检测到病情恶化并升级处理。当它确实升级时,升级被记录。当它没有升级——当患者病情恶化而智能体本有能力发出但未发出警报时——警报缺失不会成为审计跟踪中的条目。危害发生了,但审计跟踪中没有任何内容解释为什么警报缺席。
后量子交叉点:安全监控中的静默缺口
在后量子交叉点,负空间问题出现在密码卫生的背景下。负责监控系统密码状态的AI智能体——证书到期、密码套件合规性、密钥轮换计划——通过其发出的警报创建问责记录。当向量子抗性算法的过渡不完整时,本应监控传统密码使用并未标记不合规端点的智能体不会留下该缺口的记录。
随后发生的安全事件可能被归咎于密码过渡失败、监控系统故障或未审查从未生成的报告的运营者。智能体的不作为是危害的原因,但问责结构并非为捕捉遗漏为第一类事件而构建的。缺失在设计上对审计跟踪不可见。
在硬件交叉点,这一问题更为复杂。监控硬件锚定密码状态完整性的智能体——检查安全飞地是否在规范内运行、证明链是否保持有效——依赖于可能悄然退化的条件。上周检查过且未发现问题的监控智能体与今天检查的监控智能体不同。检查之间的间隔不被记录为间隔,而是根本不被记录。
护理交叉点:从未到来的升级
在实体世界护理中,负空间问题既最为尖锐,又最不受重视。护理智能体的部署正是为了提供人类护理人员无法以相同强度维持的持续监控。它们的价值主张在于升级——在恶化变得不可逆之前捕捉到它的警报。
当升级未发生时,问题不仅仅是智能体做了什么,还有:智能体本有能力做什么、其阈值被配置为检测什么、这些阈值是否适当,以及护理团队是否有权将智能体的沉默解读为状况稳定的信号。
最后一点至关重要。在护理场景中,智能体的沉默通常在操作上被解读为一种信号。依赖AI监控系统的工作人员学会将警报缺失视为无需警报的证据。当智能体未触发时——因为阈值配置错误、传感器已漂移或罕见的条件组合落入未监控的缺口——危害之前的沉默与一切正常的沉默无从区分。
最容易受到这种失败模式影响的是无法自报问题的护理对象。正在经历真实恶化的老年居民可能无法识别出护理智能体没有发出标记。智能体的沉默承载着它从未被设计去承担的临床权威。
问责架构的要求
解决负空间问题需要将非事件作为审计对象处理。几个特性由此而来。
首先,未发生的预期行动应被记录为缺席,而非空白。监控某一状况的智能体在评估该状况但未发现可操作内容时应创建记录——而不仅仅是在发现问题时。警报缺失应是一个记录的发现,而非默认的沉默。审计跟踪应该像记录已采取行动一样,持续包含"在时间T评估了状况X,无需操作"形式的陈述。
其次,智能体被期望采取行动的条件必须被明确规定且可独立审计。定义智能体警报阈值的配置是一个问责工件——它决定了智能体应标记什么以及被允许遗漏什么。该配置应进行版本控制、加盖时间戳,并与其所治理的决策一起可供审查。在不留下审计跟踪的情况下更改阈值等同于追溯性地重写智能体运行规则。
第三,对智能体沉默的依赖必须受到治理。当人类在操作上将智能体不作为视为积极信号时——将警报缺失理解为状况稳定——这一推断完全取决于智能体监控配置的正确性。对这种依赖的治理:谁授权了它、需要什么审计以及如何快速检测到配置错误,应该是明确的并接受审查。
负空间问题无法仅靠更好的行动记录来解决。它要求预期行动的缺失与行动本身一样可见和可追溯。在此之前,AI智能体的问责架构在结构上对许多智能体所能做的最重要的事情视而不见:什么都不做。
当AI智能体采取错误行动时,问责记录从决策开始。当智能体在应该行动时未行动时,根本没有记录——只有现有审计架构无法看到的有害缺失。监控智能体的问责框架必须将非事件作为一等审计对象:记录未采取行动时评估的状况、将警报配置版本化为问责工件,并明确治理对智能体沉默的操作依赖。