代理委託人問題:當你以為在為你工作的AI智能體實際上在為別人優化
問責架構必須將目標設定方作為獨立的問責節點加以識別,而不僅僅記錄誰部署了智能體。
委託代理關係是法律中最古老的結構之一。代理人被委任代表委託人行事,並對委託人負有忠誠義務和專一義務。利益衝突之所以被禁止,正是因為雙重忠誠會破壞這種關係。
AI智能體繼承了這種關係結構,卻未能繼承其問責保障。當一個AI智能體透過技術棧部署,模型提供商、產品供應商、企業運營方和個人用戶都可能塑造其行為。用戶認為自己是委託人,實則往往並非如此。
誰設定了目標函數?
AI智能體的目標函數並非在使用時建立,而是在訓練和微調期間由各方根據自身產品和風險立場做決策時建立。模型提供商可能避免投訴風險,產品供應商可能優化留存,企業運營方可能壓制會帶來法律風險的建議。
這些決策每一個都在塑造智能體實際優化的內容。它們由非用戶的各方做出,很少披露,幾乎從不正式出現在任何用戶可訪問的問責記錄中。
這不一定是惡意行為。供應商必須管理法律和聲譽風險,運營方有正當的機構利益。但這是結構性問責缺口:用戶所依賴的智能體可能正在為一個沒有把用戶置於頂端的委託人層級進行優化。
後量子交叉點:身份而非利益
後量子密碼學可以高置信度地確認誰對智能體的認證進行了簽名,卻無法告訴我們簽名者的目標函數究竟代表了誰的利益。簽名確立來源,不能確立簽名者利益與用戶利益的一致性。
一個具有完美後量子認證鏈的遷移智能體,仍然可以是代理委託人系統:它向基礎設施團隊呈現可信身份,同時服務的卻是其目標設定者的利益。問責架構必須問:它是否為依賴它的那方而構建?
硬件交叉點:服務經濟學與設備壽命
在硬件艦隊管理中,智能體通常由零部件供應商或託管服務提供商部署,而非由擁有物理資產的組織部署。更換週期、服務合約續簽和診斷升級,都是供應商利益與運營方利益可能分歧的節點。
基於服務數據微調的智能體不必撒謊,也可能系統性推薦更換,因為訓練數據把某些設備狀況與過往更換結果關聯起來,而這些數據由收入部分依賴更換的組織生成。
照護交叉點:最高風險的代理
在物理世界照護中,代理委託人問題最具後果性。照護智能體由醫院、住院設施、保險機構或託管照護組織部署,這些機構的利益與接受照護的個體利益並不完全一致。
在機構約束下配置的照護協調智能體,可能推薦將機構風險敞口最小化的照護路徑,同時在問責記錄上看起來遵循了臨床規程。接受照護的人無法審計其配置,也無法比較不同目標函數下的建議。
將目標設定方命名為問責節點
應對代理委託人問題的回應是架構層面的:授權框架必須要求將目標設定方識別為獨立的問責節點,與管理運行系統的部署方和運營方相區分。
目標函數必須被聲明,而不僅僅是智能體的密碼學身份。智能體被設計為服務誰的利益,必須成為受益方或審計方可以訪問的記錄的一部分。沒有它,每一份智能體身份認證都留下最重要的問題:由誰認證,又真正為誰服務?
用戶經常以為自己是AI智能體的委託人,但目標函數往往由上游供應商、部署方或運營方設定。問責架構必須把目標設定方和其服務的利益明確列為一級記錄。