數位孿生問責缺口:當模型錯誤而日誌乾淨時
AI 智能體根據其世界模型而非世界本身做決策。當模型與現實發生偏離時,日誌中的每個決策都是正確的,而傷害似乎不歸任何人負責。
每個與物理世界互動的AI智能體都維護著一個關於該世界的模型。這不是比喻意義上的模型——而是具體的內部表示,智能體將其視為每個決策的基準事實。照護AI以結構化狀態追蹤患者的健康軌跡:用藥計畫、生命體徵基線、行為模式、臨床病史。硬體管理智能體追蹤元件磨損、熱特性、校準狀態和負載歷史。金鑰管理系統追蹤哪些憑證處於啟用狀態、哪些憑證有效、哪些信任錨可以依賴。
在每種情況下,智能體從不直接感知世界,而是感知其關於世界的模型。它做出的決策——何時升級照護關注點、何時安排預防性維護、何時要求重新身份驗證——都是關於模型狀態的決策,而非關於物理狀態的決策。這種間接性是必要且不可避免的;任何即時系統都無法繞過抽象化。但它創造了一個在智能體問責格局中與其他所有失敗模式截然不同的問責缺口:當模型出錯而智能體無從知曉時所打開的缺口。
這一缺口的獨特之處
數位孿生問責缺口不是感測器故障問題。感測器故障是可檢測的:讀數停止傳來,置信區間擴大,異常標誌觸發。本文所討論的缺口更為微妙。它在模型無聲漂移時打開——當感測器讀數繼續到來且看起來合理,但它們所代表的物理現實已經以感測器無法捕獲的方式發生了變化。患者的服藥依從性下降,但智能體從間接代理更新的行為模型並未記錄這一變化。元件的疲勞沿著校準套件未被設計為檢測的失效模式積累。密碼學信任錨被悄然損害,但仍繼續產生看起來有效的簽名。
在每種情況下,智能體繼續正確地做出決策——相對於其模型而言是正確的。稽核日誌在每一步都記錄了恰當的行為。沒有任何單個決策是錯誤的。從模型狀態到行動的推理鏈是合理的。傷害不是由錯誤決策引起的,而是由智能體所持有的模型與智能體所作用的世界之間的差距引起的。而這一差距,關鍵是,不屬於任何人。智能體做了它被設計去做的事情。系統整合商建構了被規定的內容。營運商批准了部署。模型發生了漂移,而問責框架對這一漂移沒有指定的責任人。
在後量子交叉點
後量子遷移要求管理密碼基礎設施的智能體在漫長的時間跨度內維護準確的信任狀態模型。一個在簽發時有效的憑證,可能在簽發根已被棄用、被損害或被宣告不足以應對後量子威脅環境之後,仍長期留存於智能體的信任模型中。智能體的模型顯示:此憑證是可信的。而世界顯示:簽發它的根已不再可依賴。智能體在此期間做出的每個身份驗證決策在局部上都是正確的——憑證針對模型進行了驗證——但在結構上是不健全的。
這不是撤銷失敗;這是模型更新失敗。撤銷基礎設施告知智能體特定憑證何時不再應被信任。模型更新失敗是不同的:智能體被設計依賴的信任類別已經改變,但智能體關於什麼構成有效信任的模型尚未被更新以反映這一變化。在部署協議中,很少回答這樣一個問責問題:在多年密碼學過渡期間,誰負有保持智能體信任模型即時更新的義務。
在硬體交叉點
嵌入式智能體管理著透過其未被設計為直接觀察的機制退化的系統。維護智能體可能追蹤平均故障間隔時間、運行時間和計畫校準事件——所有這些其感測器都能測量——同時對透過腐蝕、微裂紋或熱循環發展的、不產生任何可測量前兆訊號的失效模式保持盲目。智能體的元件健康模型與其能觀察到的一切局部一致。元件正沿著一條模型沒有任何表示的軌跡失效。
隨後發生的傷害被事後歸因於硬體故障。但相關的失敗發生得更早:當系統在沒有記錄義務人的情況下被部署,該義務人本應隨著對該設備失效模式格局理解的深入而擴展智能體的觀察模型。智能體的模型從未真正出錯——它始終是智能體所能觀察到的內容的準確表示。它只是從未被更新為去觀察那些重要的事情。
在物理世界照護交叉點
AI照護智能體從其可存取的資料流中建構患者模型:結構化臨床記錄、感測器讀數、互動日誌、照護計畫依從性訊號。這些模型不可避免地是不完整的。患者的社會環境發生變化——家庭照護者變得不可用、住房狀況惡化、慢性壓力加劇——這些變化沒有任何臨床感測器能捕獲,沒有任何結構化記錄能編碼。照護智能體關於患者健康軌跡的模型在其先驗假設的基礎上繼續向前推進。它做出的決策——升級閾值、照護強度水準、干預時機——適合於被建模的患者,而非真實的患者。
模型與患者之間的差距不是邊緣案例。它是任何在經歷生活的人群中部署的照護AI的正常運行狀態。缺少的不是更好的感測——而是將模型視為持續義務的問責結構。必須有人對模型的準確性負責,而不僅僅是對其產生的決策的正確性負責。必須有人負責檢測當智能體所管理的患者與智能體相信其正在管理的患者之間出現實質性差異的時機。
數位孿生問責缺口的要求
彌合這一缺口需要認識到AI智能體的世界模型不是實現細節——它是一個問責面。每一個涉及物理環境或人的AI部署都應該指定一個對模型完整性負責的問責方:負責監測模型與現實之間的偏差、規定更新觸發條件,並在模型漂移超出其安全運行範圍時承擔問責的實體。記錄針對錯誤模型的正確決策的稽核日誌不是健全部署的證據——它是問責框架在第一個決策做出之前就已經不完整的證據。
AI智能體透過內部世界模型而非直接感知來管理物理環境和照護患者。當這些模型無聲地與現實發生偏離時——透過不可檢測的感測器漂移、未被捕獲的生活事件,或沒有任何更新傳播的密碼學信任格局轉變——智能體繼續產生局部正確但整體有害的決策。稽核日誌是乾淨的。沒有任何單個決策是錯誤的。問責缺口在於沒有人對模型的準確性負責。彌合它需要將世界模型本身作為問責面對待:具名的所有權、有文件記錄的更新義務,以及明確的偏差邊界,超出此邊界智能體必須推遲至人工審查。