← 返回博客
× 量子安全 × 硬件 × 物理世界照護

組合問題:為何安全屬性不會自動疊加

2026-06-14 5 分鐘閱讀

當工程师評估多智能體流水線的安全性時,他們通常著眼於單個智能體:這個智能體的權限範圍是否正確、凭證是否短期有效、是否經過硬件證明。他們較少思考的,是流水線本身作為一個独立的信任界面。潜在的假設是:治理良好的組件能組合成治理良好的整體。這一假設是錯誤的。

組合引入了任何單個智能體都不會出現的失效模式。一条由單獨限定範圍的智能體組成的鏈路,可能產生沒有任何單個智能體被授予的湧現權限。一条由單獨可審計步骤組成的流水線,可能產生沒有任何單条日誌記錄所能描述的結果。當組合流水線造成伤害時,"谁该對此結果负責"這一問責問題,會以一種無法令人满意、也無法真正解決的方式分散到各個組件中。這三種失效模式並非實現上的缺陷,而是組合本身的結構性屬性。

湧現權限

權限範圍被分配給智能體,而非流水線。一個被允许讀取患者記錄的協調智能體,將子任務委托給一個被允许向消息系統寫入的第二智能體。沒有任何一個智能體被授權根據醫療記錄内容向患者發送消息——但組合後的流水線可以做到這一點。执行這一組合动作的權限從未被授予任何人,而是從兩個單獨合理的授權的交集中湧現出來。

這並非病态配置,而是當兩個具有互补權限範圍的智能體在未對其交集進行顯式推理的情況下被串聯時所發生的事情。問題在於,現有權限模型是以智能體為中心的。它們回答的是"這個智能體被允许做什么",而非"這条流水線被允许產生什么"。這是兩個不同的問題,而只有第二個問題才真正約束實際結果。

不可見的副作用鏈

流水線中的每個智能體處理其輸入並產生輸出,輸出成為下一個智能體的輸入。在正確隔離的系統中,沒有單個智能體能够观察其輸出的下游後果——它已完成任務並继续前進。但下游後果恰恰是流水線實際效果所在之處。一個格式化臨床建議的智能體,對第二個智能體將如何解讀该格式,或第三個智能體將如何依據第二個智能體的解讀採取行動,沒有任何可見性。

在硬件部署中,這種鏈式結構意味著局部无害的輸出可能成為危险的輸入。一個傳感器讀數智能體輸出的數值在正常参數範圍内,但第二個智能體——基於略有不同的运营基準訓練——可能將其分類為需要處理的异常。由此產生的執行器指令,是兩個單獨正確但未共享参考框架的推理的產物。沒有任何單条日誌記錄了驱动這一結果的跨智能體解讀差距。

在照護场景中,同樣的动态適用於臨床推理鏈。分诊智能體的輸出传递給照護協調智能體後,可能產生兩個智能體單獨均不會生成的照護路径建議,且沒有任何臨床醫生對其整體進行過審查。每個單獨步骤都是合適的,組合後的輸出卻並非如此。

問責擴散

當組合流水線產生有害結果時,因果鏈是真實存在的,卻是分散的。協調智能體調用了子智能體;子智能體依據協調智能體的指令行動;指令是對任務描述的合理解释;任務描述經過運營方授權;伤害產生於所有這些步骤的交汇處,而每一個步骤單獨來看都沒有錯誤。

現有問責框架並非為這種結構而設計。它們將責任分配給智能體或部署它們的運營方,而不分配給流水線配置本身——即將這些智能體以這種顺序、這種資訊流連接在一起的組合決策。在組合被視為一項需要明確授權的行為之前,流水線層面的問責缺口將持續存在於結構層面。

設計應對

解決組合問題,需要將流水線作為独立的授權界面來對待。組合流水線應携带明確的組合契約:聲明其接受什么輸入、產生什么輸出、這些輸出代表什么組合權限,以及谁授權了這一組合。该契約應在部署時由組装流水線的權威機構簽名,而非由各組件智能體單獨簽名。

硬件根植的證明在這里以特定方式發挥作用。如果流水線中的每個智能體都必須提供经證明的身份,则組合可以被追溯:每個步骤都有簽名的溯源記錄,證明哪個智能體產生了哪個輸出。流水線運行的端到端追蹤因此成為一条簽名記錄鏈,而非一組独立日誌。重建所發生的事情成為可能,不是因為任何單個智能體記錄得足够仔细,而是因為組合协議在每次交接時強制执行了可追溯性。

這一洞察令人不安,但至關重要:安全性在默認情況下不具有組合性。單個智能體可以被正確限定範圍、經過證明並受到治理,但它們的組合仍可能是不安全的。將組合視為一項授權行為——要求明確的契約、端到端的追蹤和流水線級的範圍審查——是弥合這一缺口的架構步骤。而在實踐中,這也是大多數多智能體部署尚未採取的步骤。