組織遺忘問題：AI部署侵蝕評估AI決策所需機構知識時的問責危機

每一套AI問責框架都建立在一個未言明的假設之上：承擔監督職責的人能夠識別出AI系統的錯誤。這個假設在部署時看起來顯而易見——構建系統的工程師理解它，批准使用的領域專家能發現不合理的輸出，運營團隊見過足夠多的原始數據，能夠識別模型產生的異常。監督在上線時並非空洞的。

改變的是此後發生的事情。

隨著AI智能體接管一項任務——標記異常、起草照護評估、批准存取請求、識別硬體缺陷——原本執行這項任務的人類停止了親手實踐。他們停下來，不是因為被移出了流程，而是因為流程不再像以前那樣需要他們。他們審查輸出，批准建議，仍然承擔正式責任。但那些在過去積累起獨立評估能力的每日實踐，已不再進行。使監督具有實質意義的專業知識，正被對執行監督所用界面的熟悉感悄然取代。

數月之後，再經過數年，機構便失去了問責架構賴以存在的基礎。這種失去並不戲劇化，不是透過突然的崩潰，而是透過真實判斷被審查輸出緩慢替代而發生。當AI系統產生某類原本應該被監督流程捕獲的錯誤時，監督流程中已不再有人能夠捕獲它。

為何這與技能退化在結構上不同

這個問題的個體層面——依賴機器人輔助的外科醫生失去手術操作技能、依賴自動化系統的飛行員失去手動駕駛能力——已有充分記錄。組織層面的版本在結構上截然不同，且更為危險。

個體技能退化影響一個人的能力，可以透過個人再培訓來解決。當一個組織失去評估AI系統所需的機構性知識時，多種情況同時成立。這種知識是分散式的：沒有單一個體持有全部，也沒有哪個人的退化可以解釋其缺失。這種損失是不可見的：組織繼續執行監督，其指標——審查率、審批時間、上報次數——沒有顯示任何下降。這種知識不易重建：它存在於那些不再實踐基礎任務的人的累積判斷中，重建它需要重新建立其缺席已經關閉的實踐管道。這種損失是自我強化的：對AI輸出進行批判性評估的機構能力越弱，這些輸出越被視為權威，進而進一步降低對獨立評估的需求，進而進一步侵蝕評估能力。

由此產生的問責缺口，不在於監督的正式結構存在漏洞，而在於正式結構與其實際內容之間的鴻溝。機構擁有監督流程，流程在執行中，執行者具有正式資質。但本應讓他們識別系統性錯誤的知識，已經退化到無法捕獲流程本應捕獲之錯誤的程度。

後量子安全交叉點

在安全領域，組織遺忘問題有著特定且嚴峻的形式。密碼系統需要機構性知識才能得到正確評估：評估一個實現是否安全、金鑰儀式是否以足夠的嚴格性執行、認證鏈是否有效、向抗量子演算法的遷移是否真正消除了其設計要解決的漏洞。這種知識存在於少數人身上，透過多年接觸正確與有缺陷的實現而建立起來。

當一個組織部署AI工具自動化密碼審計、憑證驗證或安全態勢評估時，原本執行這些功能的密碼學家會逐漸將注意力轉移。AI產生輸出；他們審查輸出。如果AI的輸出看起來合理——與以往結果一致、沒有明顯異常、格式正確——審查便會簡短結束。獨立驗證AI評估是否正確（而非僅僅與以往輸出一致）的能力，需要的恰恰是AI部署使之不再必要的那種實踐。

其結果是一個正式進行密碼監督、卻實際上無法檢測自身安全態勢中系統性錯誤的組織——包括一次名義上完成、實則密碼學上不充分的後量子演算法遷移所引入的錯誤。AI評估遷移已完成。審查者發現評估合理。組織內沒有人具備驗證評估是否正確的能力。

硬體交叉點

硬體驗證是最容易出現組織遺忘的領域之一。評估晶片設計是否安全、韌體認證是否有效、硬體信任根是否正確實現——這些能力需要對設計流程及出錯時產生的故障模式持續接觸。自動化設計驗證、安全分析和供應鏈認證的AI系統，在人類判斷最難以維持的關鍵節點上降低了對人類判斷的需求。

硬體生命週期帶來了特定的時間風險。今年部署AI驗證工具的組織，五年後會發現還記得手動驗證是什麼樣子的工程師已臨近退休或已離職。他們的機構性知識——哪些錯誤呈現何種特徵、哪些規格常被誤讀、哪些供應商引入哪些異常——無法以可恢復的形式轉移到AI系統的審計追蹤中。它存在於持有者身上，當他們離開時，它便消失了。AI繼續產生驗證輸出。組織繼續審查它們。意識到審查已變得毫無意義的能力，已經先行喪失。

物理世界照護交叉點

在照護環境中，組織遺忘問題多了一個維度：其福祉依賴於AI評估準確性的人，往往最難以識別並報告這些評估存在的錯誤。

部署AI評估居民健康狀況、標記病情惡化並生成照護計劃的照護機構，會逐漸將臨床判斷的工作從訓練有素的照護人員轉移到審查AI輸出的任務上。使臨床判斷成為可能的知識——透過多年觀察病情如何微妙地呈現而習得的知識：藥物引起的倦怠與感染起病的倦怠之間的差別、有經驗的護士在實踐中積累的規律——並未記錄在AI的輸入特徵中。它存在於那些透過接觸完整臨床表現範圍而建立起這種知識的人身上。

隨著AI輸出成為臨床決策的主要載體，積累這種判斷力所需的直接觀察時間減少了。本應發展這種能力的員工轉而審查輸出，而非實踐基礎技能。當AI出現系統性錯誤——對一類未被訓練識別的病情惡化信號進行錯誤分類時——機構可能已不再具備識別該分類錯誤的臨床專業知識。居民無法自行報告錯誤。員工審查著他們缺乏專業知識去質疑的輸出。監督結構在形式上完整，在實質上空洞。

問責設計的回應

組織遺忘問題沒有簡單的解決方案，但有一個可操作的結構性回應。高風險領域AI部署的問責架構，應將機構評估能力視為需要主動維護的資源，而非勞動力的固有屬性。

這在實踐中意味著幾件事。首先，高風險AI決策的監督流程應包括定期演練，指定的審查者在不查看AI輸出的情況下獨立評估一批AI決策樣本，然後比較結果。這不是對AI系統的審計，而是對負責監督的人員評估能力的審計。如果他們獨立判斷與AI輸出之間的差距在擴大，而他們已無法識別差距的哪一側是正確的，監督架構便已開始失效。

其次，支撐評估能力的機構性知識應被視為需要接班規劃的組織資產。當在AI部署前建立專業知識的人員退休或離職時，關於從哪裡獲得替代評估能力的問題，需要在他們離開之前而非之後得到回答。

第三，高風險領域AI部署的授權文件應明確標識其所依賴的評估能力——哪種專業知識、由誰持有、以何種最低數量——並規定如果該能力降至有意義監督所需的閾值以下，部署將如何處理。

負責任的AI部署，不是擁有最嚴格正式監督結構的部署，而是其監督結構在設計時就假設執行監督者的能力會退化——並在退化使問責變為不可能之前，採取了明確措施來預防、偵測和回應這種退化的部署。