组织遗忘问题：AI部署侵蚀评估AI决策所需机构知识时的问责危机

每一套AI问责框架都建立在一个未言明的假设之上：承担监督职责的人能够识别出AI系统的错误。这个假设在部署时看起来显而易见——构建系统的工程师理解它，批准使用的领域专家能发现不合理的输出，运营团队见过足够多的原始数据，能够识别模型产生的异常。监督在上线时并非空洞的。

改变的是此后发生的事情。

随着AI智能体接管一项任务——标记异常、起草照护评估、批准访问请求、识别硬件缺陷——原本执行这项任务的人类停止了亲手实践。他们停下来，不是因为被移出了流程，而是因为流程不再像以前那样需要他们。他们审查输出，批准建议，仍然承担正式责任。但那些在过去积累起独立评估能力的每日实践，已不再进行。使监督具有实质意义的专业知识，正被对执行监督所用界面的熟悉感悄然取代。

数月之后，再经过数年，机构便失去了问责架构赖以存在的基础。这种失去并不戏剧化，不是通过突然的崩溃，而是通过真实判断被审查输出缓慢替代而发生。当AI系统产生某类原本应该被监督流程捕获的错误时，监督流程中已不再有人能够捕获它。

为何这与技能退化在结构上不同

这个问题的个体层面——依赖机器人辅助的外科医生失去手术操作技能、依赖自动化系统的飞行员失去手动驾驶能力——已有充分记录。组织层面的版本在结构上截然不同，且更为危险。

个体技能退化影响一个人的能力，可以通过个人再培训来解决。当一个组织失去评估AI系统所需的机构性知识时，多种情况同时成立。这种知识是分布式的：没有单一个体持有全部，也没有哪个人的退化可以解释其缺失。这种损失是不可见的：组织继续执行监督，其指标——审查率、审批时间、上报次数——没有显示任何下降。这种知识不易重建：它存在于那些不再实践基础任务的人的累积判断中，重建它需要重新建立其缺席已经关闭的实践渠道。这种损失是自我强化的：对AI输出进行批判性评估的机构能力越弱，这些输出越被视为权威，进而进一步降低对独立评估的需求，进而进一步侵蚀评估能力。

由此产生的问责缺口，不在于监督的正式结构存在漏洞，而在于正式结构与其实际内容之间的鸿沟。机构拥有监督流程，流程在执行中，执行者具有正式资质。但本应让他们识别系统性错误的知识，已经退化到无法捕获流程本应捕获之错误的程度。

后量子安全交叉点

在安全领域，组织遗忘问题有着特定且严峻的形式。密码系统需要机构性知识才能得到正确评估：评估一个实现是否安全、密钥仪式是否以足够的严格性执行、认证链是否有效、向抗量子算法的迁移是否真正消除了其设计要解决的漏洞。这种知识存在于少数人身上，通过多年接触正确与有缺陷的实现而建立起来。

当一个组织部署AI工具自动化密码审计、证书验证或安全态势评估时，原本执行这些功能的密码学家会逐渐将注意力转移。AI产生输出；他们审查输出。如果AI的输出看起来合理——与以往结果一致、没有明显异常、格式正确——审查便会简短结束。独立验证AI评估是否正确（而非仅仅与以往输出一致）的能力，需要的恰恰是AI部署使之不再必要的那种实践。

其结果是一个正式进行密码监督、却实际上无法检测自身安全态势中系统性错误的组织——包括一次名义上完成、实则密码学上不充分的后量子算法迁移所引入的错误。AI评估迁移已完成。审查者发现评估合理。组织内没有人具备验证评估是否正确的能力。

硬件交叉点

硬件验证是最容易出现组织遗忘的领域之一。评估芯片设计是否安全、固件认证是否有效、硬件信任根是否正确实现——这些能力需要对设计流程及出错时产生的故障模式持续接触。自动化设计验证、安全分析和供应链认证的AI系统，在人类判断最难以维持的关键节点上降低了对人类判断的需求。

硬件生命周期带来了特定的时间风险。今年部署AI验证工具的组织，五年后会发现还记得手动验证是什么样子的工程师已临近退休或已离职。他们的机构性知识——哪些错误呈现何种特征、哪些规格常被误读、哪些供应商引入哪些异常——无法以可恢复的形式转移到AI系统的审计追踪中。它存在于持有者身上，当他们离开时，它便消失了。AI继续产生验证输出。组织继续审查它们。意识到审查已变得毫无意义的能力，已经先行丧失。

物理世界照护交叉点

在照护环境中，组织遗忘问题多了一个维度：其福祉依赖于AI评估准确性的人，往往最难以识别并报告这些评估存在的错误。

部署AI评估居民健康状况、标记病情恶化并生成照护计划的照护机构，会逐渐将临床判断的工作从训练有素的照护人员转移到审查AI输出的任务上。使临床判断成为可能的知识——通过多年观察病情如何微妙地呈现而习得的知识：药物引起的倦怠与感染起病的倦怠之间的差别、有经验的护士在实践中积累的规律——并未记录在AI的输入特征中。它存在于那些通过接触完整临床表现范围而建立起这种知识的人身上。

随着AI输出成为临床决策的主要载体，积累这种判断力所需的直接观察时间减少了。本应发展这种能力的员工转而审查输出，而非实践基础技能。当AI出现系统性错误——对一类未被训练识别的病情恶化信号进行错误分类时——机构可能已不再具备识别该分类错误的临床专业知识。居民无法自行报告错误。员工审查着他们缺乏专业知识去质疑的输出。监督结构在形式上完整，在实质上空洞。

问责设计的回应

组织遗忘问题没有简单的解决方案，但有一个可操作的结构性回应。高风险领域AI部署的问责架构，应将机构评估能力视为需要主动维护的资源，而非劳动力的固有属性。

这在实践中意味着几件事。首先，高风险AI决策的监督流程应包括定期演练，指定的审查者在不查看AI输出的情况下独立评估一批AI决策样本，然后比较结果。这不是对AI系统的审计，而是对负责监督的人员评估能力的审计。如果他们独立判断与AI输出之间的差距在扩大，而他们已无法识别差距的哪一侧是正确的，监督架构便已开始失效。

其次，支撑评估能力的机构性知识应被视为需要接班规划的组织资产。当在AI部署前建立专业知识的人员退休或离职时，关于从哪里获得替代评估能力的问题，需要在他们离开之前而非之后得到回答。

第三，高风险领域AI部署的授权文件应明确标识其所依赖的评估能力——哪种专业知识、由谁持有、以何种最低数量——并规定如果该能力降至有意义监督所需的阈值以下，部署将如何处理。

负责任的AI部署，不是拥有最严格正式监督结构的部署，而是其监督结构在设计时就假设执行监督者的能力会退化——并在退化使问责变为不可能之前，采取了明确措施来预防、检测和响应这种退化的部署。