几乎所有高风险場景中AI智能體的治理框架都將人類監督置於核心位置:智能體提供建議,人來決策;智能體標记異常,人來調查;智能體呈現推荐,人來批准或拒絕。這一監督模式出發点良好、結構合理。然而它没有考慮到的是:持續依賴智能體會逐漸侵蚀監督所需的獨立認知能力。
這种侵蚀並不劇烈,而是以完全合理的方式逐步發生:智能體更快、處理的資料比任何個人都多,而且——最重要的是——它通常是正確的。每次核驗智能體輸出並發現其正確,核驗步骤就越發像一种形式。最终它真的成為了形式。問責架構依然寫著"人類監督",但操作現實是:智能體已成為真相來源,而流程中的人類不再拥有有效質疑它所需的工具、習慣或機構知識。這就是認知權威問題。
在後量子安全交叉点
密碼演算法的選擇是深度專業知識领域,极少有組織將其作為内部核心能力加以維持。隨著AI輔助工具成為評估演算法就緒度、遷移時間表和遗留系統暴露风险的實际手段,依賴這些工具的團隊往往不再發展獨立評估其輸出所需的判断力。智能體推荐一個遷移序列,團隊就照做——不是因為他們評估了建議並認同,而是因為他們没有獨立的异議依據。
這种問責失敗是潛在的而非即時的。當智能體的建議反映的是訓練資料的分佈而非當前技術共識時——當它系統性地低估新兴漏洞類別或高估已棄用方案時——組織内没有人處於能够注意到這一点的位置。本可發現错誤的獨立核驗能力,在智能體表現良好期間被逐步降優先级。等到差距變得重要時,已無法快速弥補。問責框架中有一個流程中的人,但這個人已經失去了流程本身。
在硬件交叉點
硬件安全依賴於認證:對設備是否正在運行其声稱運行的軟件和配置的獨立检查。AI輔助認證智能體能够以人工检查無法匹敌的規模和速度評估設備健康状况。完全依賴它們的操作理由令人信服。然而問責問題在於:隨著人工检查的萎縮,認證智能體成為唯一的检查手段——當智能體本身是错誤來源時,便不再有可用的驗證路徑。
這在超出智能體訓練分佈的故障模式上最為关键:新型攻擊面、未預料的硬件交互、智能體未被設計來評估的配置模式。這些恰恰是獨立人工驗證最能提供不可替代价值的情况,也恰恰是人工驗證能力被最徹底取代的情况。將認證能力让渡给AI智能體的組織,在智能體正常運作的每一天並不更不安全。然而在智能體遗漏了一個訓練有素的人眼本可發現的問題的那一天,它反而更加脆弱——因為那雙眼睛已不複存在。
在物理世界照護交叉点
認知權威問題在照护場景中最為尖銳,因為後果最為直接,而核驗能力最难維持。臨床判断依賴於通過多年督導實踐積累的模式識別、觸覺評估和情境解讀能力。一個監測生命體徵、標记異常並呈現照護建議的AI智能體,在規模和速度上是臨床醫生無法對每位在管患者獨立複現的。實际結果是:臨床人員審查智能體輸出,而非形成獨立評估。
對於常規病例,這是高效且適當的。問責缺口在邊緣情况下打開:不符合智能體訓練分佈的患者表現、具有完整背景的人類從業者會以不同權重處理的細微症状組合、智能體照護建議與患者未記錄病史之間的交互。在這些情况下,問責架構需要人類臨床判断——但流程中的人類一直在審查智能體輸出,而非運用臨床判断,而两者並不相同。智能體並非被設計來取代臨床權威,而是預設成為了認知權威。
保持質疑的能力
認知權威問題没有简单的技術解決方案。它在一定程度上是組織性的:獨立核驗的能力必须被刻意維持,而不仅仅是名義上保留。要求人類對AI建議進行簽署的問責框架,還必须要求能够做出有意義簽署的人類繼續存在——這意味著機構必须在AI智能體最具能力的领域投資於人類專業知識,而非將該專業知識视為需要被替代的成本。
它也是架構性的:流程中人類的最重要功能不是批准正確的智能體輸出,而是發現智能體出错的邊緣情况。這意味著問責架構必须創造條件——工作量、對原始資料的访問、對异議的機構空間——使得有意義的質疑依然可能。一個在功能上阻止核驗的監督結構根本不是監督結構,而是附著在真相來源上的審計軌跡——而當真相來源失效時,這一區別最為重要。
被設計為決策支援工具的AI智能體,隨著依賴程度加深和獨立核驗能力萎縮,往往成為事實上的真相來源。問責架構保留了流程中的人類,但這個人失去了有效質疑智能體輸出所需的能力——技能、習慣、機構知識。解決認知權威問題需要在AI智能體最被依賴的领域刻意維持人類專業知識和獨立核驗能力。