知情覆蓋問題

每個設計良好的 AI 智能體系統都包含一個人工覆蓋機制。覆蓋是安全閥——人類可以拒絕智能體的建議、替換自己的判斷，並承擔由此產生的行動的問責。這種設計特徵是正確且必要的。問題不在於覆蓋機制的存在。問題在於，它們幾乎總是在沒有轉移履行該問責所需信息的情況下轉移了問責。

覆蓋只有在背後的理解下才有意義。一個點擊「覆蓋」的人，是因為界面呈現了令人困惑的建議、時間壓力或者默認為自己的先前偏好而沒有參與智能體的推理，並沒有行使人類判斷。他們產生了說明人類判斷被行使的文件記錄。問責記錄在形式上是正確的；問責功能已經失敗。

知情覆蓋需要甚麼

要使覆蓋代表真正的問責轉移，必須滿足三個條件：人類必須理解智能體推薦了甚麼以及為甚麼；人類必須理解接受覆蓋後會發生甚麼——不是一般意義上的，而是針對當前決策的具體內容；人類必須能夠承擔不同於智能體所會產生的結果的責任。

這些條件中沒有一個能通過覆蓋按鈕的存在自動滿足。它們需要深思熟慮的設計。智能體必須以覆蓋者可以評估的形式呈現其推理。界面必須抵制快速、不加反思的拒絕。系統必須區分審查後輸入的覆蓋和未參與情況下輸入的覆蓋。

後量子交叉口

處理密碼基礎設施的遷移智能體基於少數操作員能夠獨立評估的技術評估提出建議。覆蓋遷移建議的操作員——接受更高風險的配置、延遲棄用、保留舊算法——正式承擔了隨之而來的風險責任。但如果建議沒有以操作員能夠評估的方式解釋，那麼問責轉移就是空洞的。

此處的知情覆蓋問題與可讀性問題相互疊加：審計記錄僅顯示人類批准了覆蓋是不夠的。記錄必須反映人類是否理解了他們在批准甚麼。

硬件交叉口

機隊管理智能體跨大量設備推薦配置更改、固件更新和設備退役。當操作員覆蓋建議時，覆蓋具有在機隊中傳播的物理後果。機隊操作的規模創造了知情覆蓋問題的複雜版本：一個每天產生一百個覆蓋請求的系統，正在產生不可能是知情的問責轉移。

物理世界照護

在照護環境中，覆蓋問題最為尖銳，因為問責轉移最具後果性。覆蓋智能體臨床建議的照護專業人員承擔了對結果的臨床責任。這是恰當的；專業問責是設計意圖。但只有在專業人員擁有足夠信息來行使臨床判斷時才有效。

照護覆蓋問題也朝另一個方向延伸。當智能體出錯時未能覆蓋的專業人員，同樣做出了一個有問責意義的選擇——審計追蹤可能將其記錄為被動接受而非主動批准。

覆蓋設計的含義

覆蓋機制不是用戶體驗細節。它是系統的問責架構與其設計涉及的人類接觸的點。幾個設計選擇決定了這種接觸是否真實：行動前解釋、深思熟慮的摩擦、覆蓋原因捕獲，以及非覆蓋平等。

知情覆蓋問題最終提醒我們，問責不是通過控制點的存在產生的。它是由理解自己在控制甚麼、行使了真正判斷並可以對結果負責的人產生的。