传感器冲突问题:AI智能体裁决相互矛盾的物理输入时的问责
物理环境中的AI智能体不直接观察世界,而是通过传感器输出来表征世界。当这些输出一致时,智能体以高置信度推进行动。当它们发生冲突——两个测量同一量的传感器返回有意义的差异读数,或测量同一底层状态的不同代理传感器指向相反方向——智能体在行动前必须进行裁决。这个裁决本身就是一个决策,往往是整个链条中最关键的决策。而在我们所了解的几乎所有已部署系统中,这一过程都在无需审议、无明确政策、无任何记录的情况下发生。
传感器冲突的形态遵循三种模式。第一是同量冲突:两个测量同一量的仪器产生不可能同时正确的读数。第二是跨模态冲突:不同传感器测量同一底层状态的不同代理指标,而这些代理指标相互矛盾——例如床位占用传感器显示患者在床上,动作探测器却没有检测到运动,六小时内门传感器也无任何活动记录。每个读数单独来看都合理,组合起来却意味着截然不同的临床状态。第三是历史冲突:当前传感器读数与该传感器前几天建立的患者基线明显不一致,可能意味着传感器漂移、故障,或真实的临床变化。
问题的核心不在于传感器冲突本身,而在于三个结构性特征的叠加。其一,裁决政策是隐性的:它不是工程师规范、审查并签字的书面规则,而是训练过程中产生的模态权重的涌现属性,无法从任何设计文档中读出,事后也无法提供权威解释。其二,冲突事件本身通常不被记录:大多数系统仅记录裁决后的世界状态评估(输出),而非导致该评估的原始冲突读数、差异幅度与涉及模态。这使事后重建成为不可能。其三,裁决政策的责任归属分散到几乎无法追究的程度——训练团队、数据整理团队、验证团队各自负责自己的环节,而没有任何人负责书写裁决政策,因为没有人被要求这样做。
物理世界照护背景使三个问题都更加严峻。最可能引发传感器冲突的患者,恰恰也是临床风险最高的患者:行动障碍者的移动传感器读数不可靠;外周循环不良者的手腕式脉搏血氧仪读数不可靠;睡眠架构紊乱者的睡眠分期传感器信号模糊。基于普通人群训练的裁决政策,在部署于高风险临床人群时,会系统性地采用错误的权重——而正是这些最脆弱的患者,处于传感器可靠性最低、裁决错误代价最高的边缘地带。
自主硬件系统在不同的物理领域呈现出结构上完全相同的问题:依赖图像、测距和惯性多模态传感器融合的自主系统,当各模态读数冲突时,必须在行动前裁决。若裁决政策在日光条件数据上训练,则在低光或高颗粒物环境部署时,会系统性地过度信任视觉输入而轻视测距输入——在最可能存在真实障碍物的操作条件下,裁决逻辑最不可靠。
实现传感器冲突问责性,需要三项架构性变革。其一,明确可审计的裁决政策:冲突解决规则必须是带版本控制、人工署名与正式审查的工程文档,而非隐性模型行为。其二,冲突事件独立日志:超过定义差异阈值的每次传感器冲突,都应作为独立事件记录,包含原始读数、差异幅度、涉及模态与裁决结果;这一日志既能支持事后重建,也能提供检测传感器退化的监控流。其三,高风险冲突的人工升级通道:涉及安全关键传感器或差异幅度超过阈值的冲突,不应被静默解决,而应上报人工监督者并暂缓决策。
传感器冲突问题本质上不是信号处理问题。它是治理问题:使冲突解决具有可审计性所需的基础设施——明确政策、冲突日志、升级阈值——尚未被内置到已部署系统中,因为没有人被要求这样做。在照护AI和物理世界自主硬件中,这一缺失在最关键的时刻显现:当事故发生,记录仅显示智能体得出了什么结论,而非它选择忽略了什么。
AI智能体通过传感器观察物理世界,但传感器数据冲突时,智能体必须在无需审议、通常也无需记录的情况下做出裁决。这一裁决政策通常隐性编码于模型权重之中,而非明确书面规则;冲突事件本身通常不被记录,仅记录裁决后的状态输出;裁决政策的责任归属分散,没有任何工程师明确撰写了相关规则。在照护AI中,最可能引发传感器冲突的患者——行动障碍、外周循环不良、睡眠障碍者——恰恰也是风险最高的患者,错误裁决的代价在此处最为高昂。应对之策需要三项架构性变革:明确可审计的裁决政策、冲突事件独立日志,以及高风险冲突的人工升级通道。