← 返回博客
× 硬件 · × 物理世界照護 · × 後量子安全

傳感器衝突問題:AI智能體裁決互相矛盾的物理輸入时的問責

2026-06-14 6 分鐘閱讀

物理環境中的AI智能體不直接观察世界,而是透過傳感器輸出来表征世界。当这些輸出一致时,智能體以高置信度推進行动。当它们发生衝突——两个测量同一量的傳感器返回有意义的差异讀數,或测量同一底层狀態的不同代理傳感器指向相反方向——智能體在行动前必须進行裁決。这个裁決本身就是一个決策,往往是整个链条中最關鍵的決策。而在我们所了解的几乎所有已部署系統中,这一過程都在无需审议、无明确政策、无任何記錄的情況下发生。

傳感器衝突的形態遵循三种模式。第一是同量衝突:两个测量同一量的儀器產生不可能同时正確的讀數。第二是跨模態衝突:不同傳感器测量同一底层狀態的不同代理指標,而这些代理指標互相矛盾——例如床位佔用傳感器顯示患者在床上,動作探测器却没有偵測到运动,六小时内门傳感器也无任何活動記錄。每个讀數單獨来看都合理,组合起来却意味着截然不同的臨床狀態。第三是历史衝突:當前傳感器讀數与该傳感器前几天建立的患者基线明顯不一致,可能意味着傳感器漂移、故障,或真實的臨床變化。

問題的核心不在于傳感器衝突本身,而在于三个結構性特征的疊加。其一,裁決政策是隱性的:它不是工程师規範、審查并簽字的書面规则,而是訓練過程中產生的模态權重的湧現屬性,无法从任何設計文档中读出,事後也无法提供權威解釋。其二,衝突事件本身通常不被記錄:大多数系統仅記錄裁決后的世界狀態評估(輸出),而非導致该評估的原始衝突讀數、差异幅度与涉及模态。這使事後重建成为不可能。其三,裁決政策的責任歸屬分散到几乎无法追究的程度——訓練團隊、數據整理團隊、驗證團隊各自負責自己的环节,而没有任何人負責撰寫裁決政策,因为没有人被要求这样做。

物理世界照護背景使三个問題都更加嚴峻。最可能引发傳感器衝突的患者,恰恰也是臨床风险最高的患者:行動障礙者的移動傳感器讀數不可靠;外周循環不良者的手腕式脈搏血氧儀讀數不可靠;睡眠架構紊亂者的睡眠分期傳感器信號模糊。基於一般人群訓練的裁決政策,在部署于高风险臨床人群时,会系統性地採用錯誤的權重——而正是这些最脆弱的患者,处于傳感器可靠性最低、裁決錯誤代价最高的邊緣地带。

自主硬件系統在不同的物理領域呈现出結構上完全相同的問題:依賴圖像、測距和慣性多模态傳感器融合的自主系統,当各模态讀數衝突时,必须在行动前裁決。若裁決政策在日光條件數據上訓練,则在低光或高顆粒物環境部署时,会系統性地过度信任視覺輸入而轻视測距輸入——在最可能存在真實障碍物的操作條件下,裁決逻辑最不可靠。

實現傳感器衝突問責性,需要三项架构性变革。其一,明确可審計的裁決政策:衝突解決规则必须是帶版本控制、人工署名与正式審查的工程文件,而非隱性模型行為。其二,衝突事件獨立日志:超过定义差异閾值的每次傳感器衝突,都应作为獨立事件記錄,包含原始讀數、差异幅度、涉及模态与裁決结果;这一日志既能支援事後重建,也能提供偵測傳感器退化的監控流。其三,高风险衝突的人工升級通道:涉及安全關鍵傳感器或差异幅度超过閾值的衝突,不应被靜默解決,而应上報人工監督者并暫緩決策。

傳感器衝突問題本質上不是信號處理問題。它是治理問題:使衝突解決具有可審計性所需的基礎設施——明确政策、衝突日志、升級閾值——尚未被內置到已部署系統中,因为没有人被要求这样做。在照護AI和物理世界自主硬件中,这一缺失在最關鍵的时刻显现:当事故发生,記錄仅顯示智能體得出了什么結論,而非它選擇忽略了什么。

摘要

AI智能體透過傳感器观察物理世界,但傳感器數據衝突时,智能體必须在无需审议、通常也无需記錄的情況下做出裁決。这一裁決政策通常隱性编码于模型權重之中,而非明确書面规则;衝突事件本身通常不被記錄,仅記錄裁決后的狀態輸出;裁決政策的責任歸屬分散,没有任何工程师明确撰写了相关规则。在照護AI中,最可能引发傳感器衝突的患者——行動障礙、外周循環不良、睡眠障碍者——恰恰也是风险最高的患者,錯誤裁決的代价在此处最为高昂。应对之策需要三项架构性变革:明确可審計的裁決政策、衝突事件獨立日志,以及高风险衝突的人工升級通道。