預防行動問題：AI智能體阻止了可能未發生之事時的問責困境

在大多數問責框架中，結果是評估的錨點。導致傷害的決策會受到審查；沒有導致傷害的決策則不會。問責程序從後果追溯到原因，確定發生了什麼，以及不同的選擇是否會改變結果。

部署在預測和預防角色中的AI智能體打破了這種邏輯。一個對病人發出早期干預標記的照護智能體、一個基於行為異常對設備實施隔離的硬件安全智能體、一個基於預測漏洞預先輪換加密金鑰的遷移智能體——每一個都在feared後果發生之前採取行動。如果行動成功，後果就不會發生。預防本身成為證據。而這種證據無法與風險從未真實存在的反事實相區別。

這就是預防行動問題。它不是反事實問責問題的變體——後者詢問的是如果智能體在不良事件發生後採取不同行動會發生什麼。它是一個更根本的先決問題：當預防成功時，合理干預和不必要干預看起來完全相同。

為什麼預防會破壞評估信號

考慮一個照護智能體，它識別出一名顯示出惡化早期跡象的病人，並向照護團隊發出升級信號。升級觸發了及時干預。病人病情穩定了。系統看起來已經發揮作用。但評估問題——這次升級是否有必要？——需要知道如果沒有干預，惡化是否會發生。這是不可觀察的。唯一的觀察是干預發生的那個。

在傳統臨床監督中，從業者積累了關於哪些表現可靠地預示惡化、哪些不會的機構知識。這種知識建立在許多案例之上，包括那些惡化未被升級而其過程可以被觀察的案例。預防性AI智能體產生了不同的數據分佈：當智能體發出標記而臨床醫生干預時，自然過程被打斷。隨著時間推移，一個過度標記的智能體會生成一個數據集，其中惡化從未跟隨其標記的表現——因為干預阻止了它。預測記錄看起來優秀，恰恰是因為干預使預測變得無法驗證。

在硬件交叉點

一個基於與韌體入侵一致的行為特徵對設備實施隔離的機群管理智能體，以不同的風險級別產生相同的證據問題。如果隔離被實施且可疑入侵沒有擴散，智能體獲得預防的功勞。如果設備實際上並未被入侵——如果行為特徵是誤報——隔離與成功攔截看起來完全相同。這種差異在結果數據中是不可見的。

在規模上，過度隔離不是中性錯誤。被隔離的設備不可用；服務連續性受損；運營團隊調查占用了應該指向真實威脅的容量的誤報。但問責信號不會揭示這一點。智能體看起來運行正常。評估預防性隔離閾值是否經過正確校準，需要一種單獨的證據方法——一種在隔離最終解除時追蹤被隔離設備結果、並將其與保留的對照群體進行比較的方法。很少有機群管理部署保持這種規範。

在後量子交叉點

預防性金鑰輪換——在任何確認的利用之前，基於預測的算法漏洞廢棄加密金鑰——具有類似的結構。一個建議預先輪換使用被認為易受新興量子計算能力攻擊的算法金鑰的遷移智能體，正在對未來破解時間線做出預測。如果輪換發生而預測的破解沒有在該時間線上實現，輪換要麼是正確的預防措施，要麼是不必要的。結果是無法區分的。

複合問題是，預防性金鑰輪換具有真實且即時的運營成本：停機、兼容性風險、驗證開銷、遷移複雜性。收益是推測性的且長期的。一個僅根據即時運營中斷來評估預防行動的問責框架，會系統性地低估它。一個根據預防的傷害來評估它的框架看不到預防。兩者都不產生可靠的信號。

問責架構的要求

預防行動問題無法通過更好的結果追蹤來解決——因為結果結構就是問題所在。它需要的是問責對象的轉變：從結果到決策時刻的決策質量。

一個能夠為其預測質量承擔責任的預防性智能體——不是其結果的準確性，而是證據基礎、風險估計的校準，以及所應用閾值的適當性——可以獨立於feared後果是否會發生而被評估。這要求智能體產生結構化的決策記錄：什麼證據觸發了標記，應用了什麼閾值，考慮了什麼替代閾值，以及預測來自什麼基礎率。

這也要求關於影子群體的機構規範：當干預應用於一個群體時，維持一個沒有干預的可比群體，是校準閾值是否合理的唯一方法。這具有真實的倫理分量——允許影子群體的一些成員面對預防行動旨在防止的風險，不是中性的。但沒有它，預防性智能體在一個成功自我證明而錯誤不可見的閉環中運作。

預防傷害是目標。但如果預防破壞了評估行動是否有必要所需的證據，問責框架就不是在治理智能體——而是在敘述它。