運行包線問題:當AI智能體必須在認證運行極限邊緣作出決策時的問責
每個部署於物理世界的自主系統,都帶有一份認證運行包線——一套已證明系統可靠運行的有界條件集合。對於無人機,包線可能規定最大風速、最低能見度、溫度範圍和載荷限制;對於無人船,它涵蓋海況、流速和與航行障礙的安全距離;對於與人協同工作的地面機器人,則包括地面坡度、照明條件、障礙密度以及其訓練感測域的邊界。包線是設計方與營運方之間的問責契約:在此範圍內運行,系統的行為即得到充分描述。
問題在於,包線是設計階段寫就的靜態文件,而世界中的條件是連續且可能持續劣化的。當自主系統在條件向認證極限劣化的環境中運行時——風速上升、能見度下降、電量儲備減少——系統在某一時刻必須決定是繼續執行還是中止任務。這一決定從來不是乾淨的「在包線內」或「在包線外」的二元判斷。它始終是一種關於與極限距離的判斷,在不確定性下作出,而系統的感測器讀數恰恰在條件接近邊界時變得最不可靠。
這正是問責缺口開啟之處。如果系統繼續運行並發生事故,事後調查將詢問:事件發生時系統是否在其認證包線內運行?這個問題聽起來可以回答,實則不然。包線以物理參數定義極限——風速以米每秒計、能見度以米計——但系統對這些參數的感知來自具有自身不確定性的感測器,而這種不確定性在包線邊緣正急劇增大。當極限為15 m/s時,風速計讀數14 m/s並不能告知實際風速究竟是13 m/s還是16 m/s。系統的讀數在認證極限內,但實際條件是否也在極限內,則是審計追蹤無法回答的問題。
這一缺口還有第二個維度。即便感測器讀數準確,關鍵問題也不是「此讀數是否在包線內」,而是「系統對自身與極限距離的了解是什麼,以及這種了解在繼續/中止決策中的權重如何」。在極限為15 m/s時以14.9 m/s繼續運行的系統,與在同一讀數下以10 m/s繼續運行的系統,作出的是完全不同的決策。前者在最糟糕的時刻賭注於感測器的精度;後者則有足夠的餘量。如果兩個系統持有相同的包線認證,且審計日誌均顯示出發時在極限內,這份記錄對二者毫無區分。
後量子安全領域的交叉使問題更為複雜。驅動繼續/中止決策的環境感測器資料——風速讀數、位置定位、深度測量——通過完整性無法想當然的通信路徑傳輸。一個傳輸被篡改讀數、將系統置於實際已超出包線時的包線內的感測器節點,是與機械極限超越截然不同的故障模式,並產生不同的問責問題。被篡改的讀數創造了乾淨的審計追蹤:系統看到14 m/s,決定繼續,並在認證極限內。要弄清這些讀數是否真實,需要一條幾乎所有現有自主系統都未維護的感測器資料監管鏈。已簽名的帶時間戳的感測器認證——硬件安全領域——是使審計追蹤有意義的基礎原語。沒有這些,包線記錄只是記錄了系統被告知的條件,而非實際條件。
人工覆蓋路徑並不能彌合這一差距。包線極限決策恰恰是操作員最可能被咨詢的情況。但做出繼續/中止決定的人類,使用的是與自主系統相同的感測器讀數、相同的天氣預報、相同的不確定性估計。將人類加入鏈條改變的是誰做決定,而不是改善底層的認識論狀況。它確實改變了一件至關重要的事——誰承擔問責。在極限附近自主繼續運行並失敗的系統,面臨的是設計問責問題。將極限條件呈現給人類操作員、由其授權繼續、隨後失敗的系統,則將設計問題轉變為了操作判斷問題。這兩者並不等同,在事後調查中這一區別具有極其重要的意義。
結構性含義是:包線問責不能依賴「在內/在外」的二元判斷。它需要持續的鄰近度日誌記錄:在每個決策時刻,系統對各包線參數的估計距離是多少,該估計的不確定性是多少,這種不確定性如何進入繼續/中止的計算?僅記錄原始感測器讀數的系統,創造的是一份可以說「在極限內」的記錄,而更誠實的答案應是「在讀數內,但實際條件以不可忽視的概率超出極限」。這一區別,正是隨著自主系統規模擴大,物理世界AI問責將被追究的地方——不在明顯超越極限的清晰案例中,而在認證包線與真實包線發生分歧的梯度地帶。
可信賴的自主系統,不是從不超越包線的系統,而是其記錄能夠在每一個接近邊緣的決策時刻清晰呈現:系統當時了解什麼、確定程度如何、以及這些資訊如何進入決策過程。這種層次的日誌記錄是設計要求,而非事後改進——等到條件劣化超過極限,已為時晚矣。
每個物理世界中的自主系統都有一個認證運行包線——一套已證明其可靠運行的條件邊界。然而包線是設計階段的靜態文件,真實條件是連續變化的。當系統在接近認證極限的條件下運行時,必須作出繼續執行或中止的判斷——而這一判斷恰恰發生於感測器不確定性最高的時刻。問責缺口在於:事故後調查通常只問「系統是否在包線內」,而非「系統對自身與極限距離的估計是什麼,不確定性如何」。感測器資料的完整性驗證(後量子簽章)是解決這一問題的基礎原語;持續的鄰近度日誌記錄——而非僅記錄原始讀數——是有意義審計追蹤的必要設計要求。