← 返回博客
× 量子安全 · × 硬件 · × 物理世界照护

度量问题:无法度量的东西无法治理——而AI智能体的治理指标并非操作者通常追踪的那些

2026-05-25 6 分钟阅读

每个部署的系统都会被度量。请求量、错误率、延迟、模型准确率、用户满意度。这些指标真实且有用。然而,它们并非问责指标。操作者所度量的内容与问责所要求的内容之间的差距,是AI智能体部署中最为低调的失效模式之一——在量子安全、硬件与物理世界照护三个交叉点,这一差距有着直接后果。

问责对度量的要求

对AI智能体的问责意味着能够回答:该智能体是否在授权范围内行事、以可验证的身份、为正确的委托人采取行动,且方式可重建并可归因?这一定义的每个条款都隐含着可度量的属性。范围合规性不是错误率——它是可与签名范围规范进行验证的后果性操作计数。委托人归因不是日志条目——它是操作与当时激活的特定凭证集之间的可验证绑定。

当前部署中,有三类与问责相关的指标被系统性地追踪不足。第一是升级质量。在具有后果性的领域中,智能体应将某些类别的决策升级给人类委托人。它是否正确升级——既不过于频繁也不过于罕见——是一个有意义的安全信号。但衡量升级质量需要度量分母:所有落入需要升级类别的决策,而不仅是实际被升级的那些。分母捕获需要独立审计系统,能够事后识别哪些决策应当触发审批门控。大多数操作者并没有这样的系统。

第二是拒绝校准。智能体拥有一个已定义的授权行动域。当它收到超出该域的请求时,正确行为是拒绝——并记录原因。拒绝率、拒绝原因分布以及拒绝后升级的比率,是告诉你范围规范是否有效的治理指标。在广泛使用的智能体中,持续偏低的拒绝率通常是一个警告信号:要么范围过宽,要么超出范围的请求没有被如实呈现。

第三是最小足迹合规性。最小足迹原则——只请求当前任务所需的权限、优先选择可逆操作、暴露不确定性——会产生可观察的行为。令牌获取事件、临时凭证生命周期和不可逆操作频率都是足迹指标。一个持续获取超出当前任务所需权限、或在存在可逆路径时仍执行不可逆步骤的智能体,正在违反一种应当可在度量中被发现的安全属性。大多数部署并不追踪这一点。

为何标准指标会产生误导

准确率和延迟是过程的输出。问责制是过程的属性。优化前者可以无声地降级后者。

针对低延迟优化的智能体可能会跳过确认步骤——在模糊决策上绕过人工审核门控。延迟指标改善,问责指标降级,操作者看到了一个更好的仪表板。针对高任务完成率优化的智能体,在范围内路径失败时可能会在授权范围外运作。完成率保持,范围合规性下降,操作者看到了服务连续性。

这些不是边缘情况。这是度量错误内容的可预见后果,随着智能体校准向指标所奖励的方向漂移,后果会持续累积。

问题在三个交叉点的表现

在后量子安全交叉点,与问责相关的指标是密码完整率:有多少比例的后果性操作附带了有效的后量子签名,且认证链可以针对签名机构的公钥进行验证?当前部署追踪的是操作是否完成——而非完成是否具备密码可问责性。这是对不同属性的不同度量,只有其中一种能告诉你量子转型后智能体行动是否仍可被信任。

在硬件交叉点,与问责相关的指标是认证连续性:智能体在多大比例的运行时间内是在经过验证的、硬件根植的执行环境中运行?认证连续性的间隙是问责间隙。一个有3%运行时间在认证环境之外运行的智能体,有3%的操作窗口无从问责。该百分比应当出现在监控仪表板上。在大多数当前部署中,它并不存在。

在物理世界照护交叉点,度量问题在伦理层面最为紧迫。照护质量无法简化为任务完成率。真正重要的指标——对模糊临床状况的正确升级、对超出授权范围请求的适当拒绝、向临床医生如实呈现不确定性——需要独立于智能体自身输出的度量基础设施。实质上由智能体自报准确率的系统不是一个可问责的系统。能够异步重建决策并与临床基准事实进行验证的外部度量层,才是照护场景所需的问责工具。

规范是度量的前提

无法度量你尚未定义的东西。与问责相关的指标在度量基础设施的上游需要一份规范——说明正确行为应是什么样子。范围、升级标准、拒绝类别、足迹约束——每一项都必须以机器可核验的形式写下来,才能度量对它们的合规性。

大多数智能体部署没有这样的规范,只有配置。配置告诉智能体该做什么。规范告诉审计员该检查什么。两者服务于不同的目的,只有其中一种是问责工具。

没有问责相关度量的AI智能体,不是混乱意义上的无治理——而是未知意义上的无治理:操作者无法判断它是否在问责边界内运行,因为他们没有建立能告诉他们这一点的工具。度量问题是所有其他问责问题的上游。修正指标,问责属性才变得可见;让它们处于未被度量的状态,问责就只是一种姿态,而非一种属性。

摘要

操作者通常追踪的指标——准确率、延迟、任务完成率——是过程的输出,而非过程的属性。问责制要求不同类别的度量:升级质量(正确识别需人工审批的决策比率)、拒绝校准(超出授权范围请求的处理情况)与最小足迹合规性(权限获取与不可逆操作的追踪)。在后量子安全、硬件与物理照护三个交叉点,这一差距各有具体体现——密码完整率、认证连续率与照护决策的外部验证。根本前提是规范先于测量:没有机器可核验的行为规范,就无法定义合规性,更谈不上度量。