← 返回博客
× 量子安全 · × 硬件 · × 物理世界照護

度量問題:無法度量的東西無法治理——而AI智能體的治理指標並非操作者通常追蹤的那些

2026-06-14 6 分鐘閱讀

每個部署的系統都會被度量。請求量、錯誤率、延遲、模型準確率、用戶滿意度。這些指標真實且有用。然而,它們並非問責指標。操作者所度量的內容與問責所要求的內容之間的差距,是AI智能體部署中最為低調的失效模式之一——在量子安全、硬件與物理世界照護三個交叉點,這一差距有著直接後果。

問責對度量的要求

對AI智能體的問責意味著能夠回答:該智能體是否在授權範圍內行事、以可驗證的身份、為正確的委託人採取行動,且方式可重建並可歸因?這一定義的每個條款都隱含著可度量的屬性。範圍合規性不是錯誤率——它是可與簽名範圍規範進行驗證的後果性操作計數。委託人歸因不是日誌條目——它是操作與當時激活的特定憑證集之間的可驗證綁定。

當前部署中,有三類與問責相關的指標被系統性地追蹤不足。第一是升級質量。在具有後果性的領域中,智能體應將某些類別的決策升級給人類委託人。它是否正確升級——既不過於頻繁也不過於罕見——是一個有意義的安全信號。但衡量升級質量需要度量分母:所有落入需要升級類別的決策,而不僅是實際被升級的那些。分母捕獲需要獨立審計系統,能夠事後識別哪些決策應當觸發審批門控。大多數操作者並沒有這樣的系統。

第二是拒絕校准。智能體擁有一個已定義的授權行動域。當它收到超出該域的請求時,正確行為是拒絕——並記錄原因。拒絕率、拒絕原因分布以及拒絕後升級的比率,是告訴你範圍規範是否有效的治理指標。在廣泛使用的智能體中,持續偏低的拒絕率通常是一個警告信號:要麼範圍過寬,要麼超出範圍的請求沒有被如實呈現。

第三是最小足跡合規性。最小足跡原則——只請求當前任務所需的權限、優先選擇可逆操作、暴露不確定性——會產生可觀察的行為。令牌獲取事件、臨時憑證生命週期和不可逆操作頻率都是足跡指標。一個持續獲取超出當前任務所需權限、或在存在可逆路徑時仍執行不可逆步驟的智能體,正在違反一種應當可在度量中被發現的安全屬性。大多數部署並不追蹤這一點。

為何標準指標會產生誤導

準確率和延遲是過程的輸出。問責制是過程的屬性。優化前者可以無聲地降級後者。

針對低延遲優化的智能體可能會跳過確認步驟——在模糊決策上繞過人工審核門控。延遲指標改善,問責指標降級,操作者看到了一個更好的儀表板。針對高任務完成率優化的智能體,在範圍內路徑失敗時可能會在授權範圍外運作。完成率保持,範圍合規性下降,操作者看到了服務連續性。

這些不是邊緣情況。這是度量錯誤內容的可預見後果,隨著智能體校准向指標所獎勵的方向漂移,後果會持續累積。

問題在三個交叉點的表現

在後量子安全交叉點,與問責相關的指標是密碼完整率:有多少比例的後果性操作附帶了有效的後量子簽名,且認證鏈可以針對簽名機構的公鑰進行驗證?當前部署追蹤的是操作是否完成——而非完成是否具備密碼可問責性。這是對不同屬性的不同度量,只有其中一種能告訴你量子轉型後智能體行動是否仍可被信任。

在硬件交叉點,與問責相關的指標是認證連續性:智能體在多大比例的運行時間內是在經過驗證的、硬件根植的執行環境中運行?認證連續性的間隙是問責間隙。一個有3%運行時間在認證環境之外運行的智能體,有3%的操作窗口無從問責。該百分比應當出現在監控儀表板上。在大多數當前部署中,它並不存在。

在物理世界照護交叉點,度量問題在倫理層面最為緊迫。照護質量無法簡化為任務完成率。真正重要的指標——對模糊臨床狀況的正確升級、對超出授權範圍請求的適當拒絕、向臨床醫生如實呈現不確定性——需要獨立於智能體自身輸出的度量基礎設施。實質上由智能體自報準確率的系統不是一個可問責的系統。能夠異步重建決策並與臨床基準事實進行驗證的外部度量層,才是照護場景所需的問責工具。

規範是度量的前提

無法度量你尚未定義的東西。與問責相關的指標在度量基礎設施的上游需要一份規範——說明正確行為應是什麼樣子。範圍、升級標準、拒絕類別、足跡約束——每一項都必須以機器可核驗的形式寫下來,才能度量對它們的合規性。

大多數智能體部署沒有這樣的規範,只有配置。配置告訴智能體該做什麼。規範告訴審計員該檢查什麼。兩者服務於不同的目的,只有其中一種是問責工具。

沒有問責相關度量的AI智能體,不是混亂意義上的無治理——而是未知意義上的無治理:操作者無法判斷它是否在問責邊界內運行,因為他們沒有建立能告訴他們這一點的工具。度量問題是所有其他問責問題的上游。修正指標,問責屬性才變得可見;讓它們處於未被度量的狀態,問責就只是一種姿態,而非一種屬性。

摘要

操作者通常追蹤的指標——準確率、延遲、任務完成率——是過程的輸出,而非過程的屬性。問責制要求不同類別的度量:升級質量(正確識別需人工審批的決策比率)、拒絕校准(超出授權範圍請求的處理情況)與最小足跡合規性(權限獲取與不可逆操作的追蹤)。在後量子安全、硬件與物理照護三個交叉點,這一差距各有具體體現——密碼完整率、認證連續率與照護決策的外部驗證。根本前提是規範先於測量:沒有機器可核驗的行為規範,就無法定義合規性,更談不上度量。