孤儿设备问题:当嵌入式 AI 照护设备比其治理基础设施活得更久时,问责归于何处
物理 AI 照护设备可使用十年,而授权和监督它们的治理基础设施却建立在季度预算上。当供应商消失而设备继续运行时,问责没有制度归属。
医疗硬件拥有漫长的使用寿命。一个植入式设备可能运作十五年。一个居家监护平台,一旦被安装并获得照护团队信任,往往会持续使用到其第一代软件早已过时之后。照护对象围绕它建立日常程序。临床工作人员将它整合进工作流程。家属学会依赖它的警报。设备成为基础设施——照护环境的组成部分,而非仍处于积极评估中的产品。
叠加在这些硬件之上的 AI 治理基础设施,则不享有同等的任期预期。维护云端审计 API、同意记录系统、模型更新管道和事件报告渠道的供应商,与其他任何软件公司一样面临着相同的压力:战略转型决策、被竞争对手收购、资金耗尽、其主体管辖区内改变盈利模型的监管变化。风险投资支持的 AI 医疗软件供应商的预期寿命以年计。它所治理的设备的预期寿命以十年计。
当这两条时间线出现偏差,设备就成了孤儿。硬件继续运行。AI 智能体继续做出决策。照护对象继续接受照护。但使这些决策具有可追责性的制度基础设施——拥有实时访问权限的审计记录、有人类保管人的同意记录、事件报告渠道、密钥管理服务、原本会修补已知行为缺陷的模型更新——不复存在。
在硬件交叉点
基于硬件的 AI 智能体通过一条验证链建立其可信度:设备以密码学方式证明其软件与经过审查和授权的内容相匹配。该链条追溯至供应商维护的证书层级体系。当供应商的证书颁发机构关闭或其域名失效,验证链就断裂了。审计人员、监管机构或临床风险管理人员若询问“该设备运行的是我们授权的内容吗?”,将不再有机制来验证答案。硬件在物理层面可能未有任何改变,但其可验证身份——区分正常运行设备与被入侵设备的东西——已经消解。
在供应商关闭后发现的软件漏洞无法修补。AI 决策逻辑中的行为缺陷、密钥派生方案中的密码学弱点、模型校准中将决策偏向低成本干预的偏差——如果这些问题在供应商消失后才被识别,将在每台已部署设备上持续存在,贯穿其剩余运行寿命。设备没有更新路径。照护对象未获任何通知。临床团队没有任何补救选项。
在物理世界照护交叉点
问责缺口在照护场景中表现最为尖锐。管理用药时间、监控生命体征或协调照护转衔的 AI 智能体,在设备寿命周期内会做出数千次决策。这些决策在部署时,每一项背后都有一套治理结构:拥有支持团队的供应商、具有上市后监测义务的监管审批、持有同意记录的云端系统。当供应商解散时,此后的决策将由一个背后不再有可问责委托人的智能体做出。
照护对象不知道这已经发生。当供应商关闭非安全关键性服务时,通常没有通知义务。临床团队可能也不知道——设备持续正常运行,警报持续送达,界面上没有任何迹象表明治理基础设施已经熄灭。信息不对称是彻底的:照护对象信任设备,恰恰是因为他们相信它处于监督之下,而事实上监督已经终止。
当不良事件发生时——漏报警报、错误的剂量建议、因协调智能体不再与照护网络同步而导致的照护转衔失败——受伤方将发现没有供应商可以联系、没有支持热线可以拨打、没有事件报告可以提交。可问责方已经蒸发。设备仍在家中。伤害是真实的。救济途径是空的。
为何这在结构上是独特的
孤儿设备问题与停用问题不同,后者讨论的是如何有意退役一个智能体。它也不同于硬件生命周期问题,后者讨论的是有计划的升级和支持终止过渡。孤儿设备场景的区别在于:没有人做出结束设备治理的有意决定。设备不是被停用的——它是被遗弃的。治理基础设施不是被退役的——它只是关闭了。
这产生了现有设备安全框架不是为之设计的问责条件。监管上市后监测假设存在可以联系的制造商。产品责任原则假设存在仍然存在的被告。保修法假设存在担保方。当所有这些制度锚点同时消失时,受伤患者面临与任何制度责任真空所导致的相同的救济缺口——但在一个背景下:他家中的设备仍然携带着其原始授权的可信度标志。
治理连续性需要什么
弥合孤儿设备缺口,需要从一开始就将治理连续性视为产品安全义务。这意味着将以下内容作为任何嵌入 AI 的多年期照护设备获得监管批准的前提条件:治理延续计划——包括审计日志的托管安排、同意记录的指定保管人、即便在商业运营停止后仍能推送关键安全更新的机制,以及在治理状态发生变化时发出信号的公开注册条目。
这也意味着硬件本身应被设计为发出可验证的治理状态信号——定期验证设备的监督基础设施处于活跃状态、审计记录有可联系的保管人,以及模型尚未达到支持终止状态。无法产生该信号的设备应向临床团队标记,而不是被默默信任。治理信号中的沉默不应被视为保证。它应被视为警告。
物理 AI 照护设备有着长达十年的使用寿命;治理其 AI 层的软件供应商则寿命短得多。当供应商关闭而设备继续运行时,治理基础设施——审计记录访问权、同意记录保管、模型更新管道、事件报告——消失了,而 AI 智能体仍在持续做出重大决策。照护对象不知道监督已经终止。临床团队对已发现的缺陷没有补救路径。当不良事件发生时,受伤方找不到任何制度锚点可以寻求救济。弥合这一缺口,需要在监管审批时就将治理连续性视为产品安全义务——而不是等到供应商关灯时才去考虑。