大多數面向AI智能體的問責框架都以會話為中心設計。智能體接收任務、推理、行動並產生輸出。管理該會話的授權規定了智能體可以做什麼、可以訪問哪些數據、必須咨詢哪些委託人。會話結束時,問責記錄即告完成。在被再次調用之前,智能體不再對任何事情產生影響。
持久記憶打破了這一模型。當智能體跨會話保留信息——先前交互的摘要、學習到的偏好、關於用戶或環境推斷出的上下文、對其他智能體積累的信任評估——它會將這些信息帶入未來的決策。這些未來決策受到在先前授權下、由先前調用、在先前上下文中產生的信息的影響。當前會話的授權記錄並不反映這種影響。問責鏈在會話開始之前就已斷裂。
這並非假設性架構。任何存儲對話歷史、用戶檔案、環境狀態或跨會話上下文的智能體系統都在運用持久記憶。問題的規模隨智能體的覆蓋範圍而擴大:記住偏好的個人助理尚在可控範圍內;而在數月患者交互中積累臨床上下文的護理智能體,或構建長期網絡行為模型的安全智能體,則運行在問責問題實質上更為困難的領域。
授權問題
記憶在一種授權下創建,在另一種授權下被消費。授權第一個會話的委託人並未授權該記憶的未來影響。如果委託人後來修改了智能體的授權——限制其可以處理的內容、更改可咨詢的數據源、撤銷對特定系統的訪問——積累的記憶可能反映了修訂後的授權不再允許的假設。智能體的實際權限包括其記憶中編碼的一切,而不僅僅是當前的授權文件。這一差距對於標準權限審計而言是不可見的。
當委託人發生變化時,問題更加突出。服務於護理團隊A的智能體會積累來自與團隊A交互的上下文。當團隊B接手時,智能體攜帶著由團隊A的實踐、判斷和優先事項塑造的上下文。團隊B沒有關於團隊A的交互如何影響智能體當前行為的記錄。他們繼承了一個受某個委託人影響的智能體——而那個委託人他們可能毫不知情,且其對該智能體的權限早已終止。
後量子安全交叉點
管理基礎設施安全的智能體會積累一個正常行為模型:哪些端點在通信、頻率如何、使用哪些證書。該模型是在經典密碼假設下從觀測中構建的。當網絡遷移到後量子算法時,行為指紋發生變化——新的握手模式、不同的延遲特徵、改變的證書鏈。記憶中編碼了遷移前基線的智能體最初會將量子過渡流量解讀為異常。更危險的是,它可能已編碼了信任評估——"此端點是受信任的"、"此證書鏈是規範的"——這些評估在經典假設下有效,但遷移後不再有效。記憶不會隨訓練它的算法一同過期。清除記憶通常被視為工程上的不便,而非安全要求。
硬件交叉點
在工業環境中運行的物理世界智能體會隨時間積累對該環境的模型:傳感器基線、設備行為特徵、正常運行範圍。這種積累的模型之所以有價值,恰恰是因為它需要時間來建立。但它同時也是一種風險:如果物理環境發生變化——設備更換、傳感器重新校准、運營流程修改——智能體的記憶反映的是先前的環境。根據過時的環境模型做出的決策可能產生相對於記憶是正確的、相對於當前狀態卻是危險的行動。這一問題在硬件領域更為嚴重,因為基於不正確上下文行動的後果是物理性的,且可能不可逆轉。
硬件智能體中的記憶還會產生退役問題。當物理智能體被替換或退役時,其記憶持續存在於它寫入的任何存儲中。該記憶可能包含敏感的運營數據、對人員行為模式的推斷,或與安全相關的環境觀測。智能體的退役記錄很少包括記憶審計。這些信息繼續存在,不受任何有效授權的管轄。
物理世界護理交叉點
跨會話積累臨床上下文的護理智能體面臨同時具有醫療、法律和技術性質的問責問題。它所攜帶的上下文——推斷的疼痛程度、行為模式、藥物反應、家庭互動信號——可能比臨床醫生明確創建的任何記錄都更細粒度、更具個人敏感性。它不是由臨床醫生創建的。它由智能體推斷,自動存儲,並在後續會話中被訪問,而患者並未對這一特定推斷給予明確同意。
對智能體初始部署的同意並不構成對其在部署期間創建的每一條記憶條目的同意。撤回同意或將護理轉移給其他提供者的患者,並不會自動撤銷智能體的記憶。護理記錄可能會被轉移;智能體積累的上下文很少隨之轉移,且鮮有相同的可追溯性要求。記憶持續存在,在患者已正式結束關係的會話中繼續影響決策。
記憶問題的解決要求
最低限度的回應是將記憶視為授權生命週期中的一等產物。每次記憶寫入都應攜帶溯源記錄:哪個會話創建了它、在哪種授權下、具有哪些同意範圍。每次影響決策的記憶讀取都應出現在該決策的審計記錄中。記憶內容應受到與其所概括的數據相同的訪問控制和過期規則的約束。
超越溯源,記憶還需要對其生命週期進行明確治理。委託人應能夠審計智能體記住了關於他們的哪些內容、請求刪除,並限制哪些類別的推斷可以被持久化。當授權發生變化時,系統應評估現有記憶是否與新授權一致——而不僅僅評估未來行動是否合規。
記憶問題無法通過使智能體無狀態來解決。狀態往往正是使智能體有用的東西。但智能體系統的問責架構尚未跟上已投入生產的有狀態部署的步伐。智能體所記住的與授權記錄所反映的之間的差距,正是問責被悄然喪失的地方——一個會話接一個會話,一個推斷接一個推斷,在每一個尚未明確設計其記憶治理的部署中。
持久記憶打破了大多數智能體授權框架所假設的以會話為範圍的問責模型。在一種授權下創建的記憶塑造了在另一種授權下做出的決策;修改或撤銷授權的委託人無法追溯到積累的記憶;對部署的同意並不延伸至智能體存儲的每一個推斷。在後量子安全場景中,記憶編碼了可能在算法遷移後失效的信任假設。在硬件部署中,過時的環境模型可能產生物理危險的行動,且記憶在退役後仍然存在。在護理場景中,智能體推斷的上下文可能比任何明確的臨床記錄都更敏感,卻很少受到相同的同意和可追溯性要求的約束。將記憶視為一等授權產物——具有溯源、訪問控制、過期規則和明確的生命週期治理——是縮小智能體所記住的與問責記錄所反映的之間差距的最低架構要求。