运行包线问题:当AI智能体必须在认证运行极限边缘作出决策时的问责
每个部署于物理世界的自主系统,都带有一份认证运行包线——一套已证明系统可靠运行的有界条件集合。对于无人机,包线可能规定最大风速、最低能见度、温度范围和载荷限制;对于无人船,它涵盖海况、流速和与航行障碍的安全距离;对于与人协同工作的地面机器人,则包括地面坡度、照明条件、障碍密度以及其训练传感域的边界。包线是设计方与运营方之间的问责契约:在此范围内运行,系统的行为即得到充分描述。
问题在于,包线是设计阶段写就的静态文件,而世界中的条件是连续且可能持续恶化的。当自主系统在条件向认证极限劣化的环境中运行时——风速上升、能见度下降、电量储备减少——系统在某一时刻必须决定是继续执行还是中止任务。这一决定从来不是干净的"在包线内"或"在包线外"的二元判断。它始终是一种关于与极限距离的判断,在不确定性下作出,而系统的传感器读数恰恰在条件接近边界时变得最不可靠。
这正是问责缺口开启之处。如果系统继续运行并发生事故,事后调查将询问:事件发生时系统是否在其认证包线内运行?这个问题听起来可以回答,实则不然。包线以物理参数定义极限——风速以米每秒计、能见度以米计——但系统对这些参数的感知来自具有自身不确定性的传感器,而这种不确定性在包线边缘正急剧增大。当极限为15 m/s时,风速计读数14 m/s并不能告知实际风速究竟是13 m/s还是16 m/s。系统的读数在认证极限内,但实际条件是否也在极限内,则是审计追踪无法回答的问题。
这一缺口还有第二个维度。即便传感器读数准确,关键问题也不是"此读数是否在包线内",而是"系统对自身与极限距离的了解是什么,以及这种了解在继续/中止决策中的权重如何"。在极限为15 m/s时以14.9 m/s继续运行的系统,与在同一读数下以10 m/s继续运行的系统,作出的是完全不同的决策。前者在最糟糕的时刻赌注于传感器的精度;后者则有足够的余量。如果两个系统持有相同的包线认证,且审计日志均显示出发时在极限内,这份记录对二者毫无区分。
后量子安全领域的交叉使问题更为复杂。驱动继续/中止决策的环境传感器数据——风速读数、位置定位、深度测量——通过完整性无法想当然的通信路径传输。一个传输被篡改读数、将系统置于实际已超出包线时的包线内的传感器节点,是与机械极限超越截然不同的故障模式,并产生不同的问责问题。被篡改的读数创造了干净的审计追踪:系统看到14 m/s,决定继续,并在认证极限内。要弄清这些读数是否真实,需要一条几乎所有现有自主系统都未维护的传感器数据监管链。已签名的带时间戳的传感器认证——硬件安全领域——是使审计追踪有意义的基础原语。没有这些,包线记录只是记录了系统被告知的条件,而非实际条件。
人工覆盖路径并不能弥合这一差距。包线极限决策恰恰是操作员最可能被咨询的情况。但做出继续/中止决定的人类,使用的是与自主系统相同的传感器读数、相同的天气预报、相同的不确定性估计。将人类加入链条改变的是谁做决定,而不是改善底层的认识论状况。它确实改变了一件至关重要的事——谁承担问责。在极限附近自主继续运行并失败的系统,面临的是设计问责问题。将极限条件呈现给人类操作员、由其授权继续、随后失败的系统,则将设计问题转变为了操作判断问题。这两者并不等同,在事后调查中这一区别具有极其重要的意义。
结构性含义是:包线问责不能依赖"在内/在外"的二元判断。它需要持续的邻近度日志记录:在每个决策时刻,系统对各包线参数的估计距离是多少,该估计的不确定性是多少,这种不确定性如何进入继续/中止的计算?仅记录原始传感器读数的系统,创造的是一份可以说"在极限内"的记录,而更诚实的答案应是"在读数内,但实际条件以不可忽视的概率超出极限"。这一区别,正是随着自主系统规模扩大,物理世界AI问责将被追究的地方——不在明显超越极限的清晰案例中,而在认证包线与真实包线发生分歧的梯度地带。
可信赖的自主系统,不是从不超越包线的系统,而是其记录能够在每一个接近边缘的决策时刻清晰呈现:系统当时了解什么、确定程度如何、以及这些信息如何进入决策过程。这种层次的日志记录是设计要求,而非事后改进——等到条件劣化超过极限,已为时晚矣。
每个物理世界中的自主系统都有一个认证运行包线——一套已证明其可靠运行的条件边界。然而包线是设计阶段的静态文件,真实条件是连续变化的。当系统在接近认证极限的条件下运行时,必须作出继续执行或中止的判断——而这一判断恰恰发生于传感器不确定性最高的时刻。问责缺口在于:事故后调查通常只问"系统是否在包线内",而非"系统对自身与极限距离的估计是什么,不确定性如何"。传感器数据的完整性验证(后量子签名)是解决这一问题的基础原语;持续的邻近度日志记录——而非仅记录原始读数——是有意义审计追踪的必要设计要求。