← 返回博客
× 后量子安全 × 硬件 × 物理世界照护

认知权威问题:AI智能体成为真相来源时的问责

AI智能体被设计为决策支持工具。随着时间推移,对其输出的信任往往会挤出能够发现其错误的独立核验实践。智能体默认成为真相来源——依赖人类监督的问责架构则失去了行使监督的能力。

Asaptic Labs 2026-06-14 5 分钟阅读

几乎所有高风险场景中AI智能体的治理框架都将人类监督置于核心位置:智能体提供建议,人来决策;智能体标记异常,人来调查;智能体呈现推荐,人来批准或拒绝。这一监督模式出发点良好、结构合理。然而它没有考虑到的是:持续依赖智能体会逐渐侵蚀监督所需的独立认知能力。

这种侵蚀并不剧烈,而是以完全合理的方式逐步发生:智能体更快、处理的数据比任何个人都多,而且——最重要的是——它通常是正确的。每次核验智能体输出并发现其正确,核验步骤就越发像一种形式。最终它真的成为了形式。问责架构依然写着"人类监督",但操作现实是:智能体已成为真相来源,而流程中的人类不再拥有有效质疑它所需的工具、习惯或机构知识。这就是认知权威问题。

在后量子安全交叉点

密码算法的选择是深度专业知识领域,极少有组织将其作为内部核心能力加以维持。随着AI辅助工具成为评估算法就绪度、迁移时间表和遗留系统暴露风险的实际手段,依赖这些工具的团队往往不再发展独立评估其输出所需的判断力。智能体推荐一个迁移序列,团队就照做——不是因为他们评估了建议并认同,而是因为他们没有独立的异议依据。

这种问责失败是潜在的而非即时的。当智能体的建议反映的是训练数据的分布而非当前技术共识时——当它系统性地低估新兴漏洞类别或高估已弃用方案时——组织内没有人处于能够注意到这一点的位置。本可发现错误的独立核验能力,在智能体表现良好期间被逐步降优先级。等到差距变得重要时,已无法快速弥补。问责框架中有一个流程中的人,但这个人已经失去了流程本身。

在硬件交叉点

硬件安全依赖于认证:对设备是否正在运行其声称运行的软件和配置的独立检查。AI辅助认证智能体能够以人工检查无法匹敌的规模和速度评估设备健康状况。完全依赖它们的操作理由令人信服。然而问责问题在于:随着人工检查的萎缩,认证智能体成为唯一的检查手段——当智能体本身是错误来源时,便不再有可用的验证路径。

这在超出智能体训练分布的故障模式上最为关键:新型攻击面、未预料的硬件交互、智能体未被设计来评估的配置模式。这些恰恰是独立人工验证最能提供不可替代价值的情况,也恰恰是人工验证能力被最彻底取代的情况。将认证能力让渡给AI智能体的组织,在智能体正常运作的每一天并不更不安全。然而在智能体遗漏了一个训练有素的人眼本可发现的问题的那一天,它反而更加脆弱——因为那双眼睛已不复存在。

在物理世界照护交叉点

认知权威问题在照护场景中最为尖锐,因为后果最为直接,而核验能力最难维持。临床判断依赖于通过多年督导实践积累的模式识别、触觉评估和情境解读能力。一个监测生命体征、标记异常并呈现护理建议的AI智能体,在规模和速度上是临床医生无法对每位在管患者独立复现的。实际结果是:临床人员审查智能体输出,而非形成独立评估。

对于常规病例,这是高效且适当的。问责缺口在边缘情况下打开:不符合智能体训练分布的患者表现、具有完整背景的人类从业者会以不同权重处理的细微症状组合、智能体护理建议与患者未记录病史之间的交互。在这些情况下,问责架构需要人类临床判断——但流程中的人类一直在审查智能体输出,而非运用临床判断,而两者并不相同。智能体并非被设计来取代临床权威,而是默认成为了认知权威。

保持质疑的能力

认知权威问题没有简单的技术解决方案。它在一定程度上是组织性的:独立核验的能力必须被刻意维持,而不仅仅是名义上保留。要求人类对AI建议进行签署的问责框架,还必须要求能够做出有意义签署的人类继续存在——这意味着机构必须在AI智能体最具能力的领域投资于人类专业知识,而非将该专业知识视为需要被替代的成本。

它也是架构性的:流程中人类的最重要功能不是批准正确的智能体输出,而是发现智能体出错的边缘情况。这意味着问责架构必须创造条件——工作量、对原始数据的访问、对异议的机构空间——使得有意义的质疑依然可能。一个在功能上阻止核验的监督结构根本不是监督结构,而是附着在真相来源上的审计轨迹——而当真相来源失效时,这一区别最为重要。

核心观点

被设计为决策支持工具的AI智能体,随着依赖程度加深和独立核验能力萎缩,往往成为事实上的真相来源。问责架构保留了流程中的人类,但这个人失去了有效质疑智能体输出所需的能力——技能、习惯、机构知识。解决认知权威问题需要在AI智能体最被依赖的领域刻意维持人类专业知识和独立核验能力。