孤兒設備問題:當嵌入式 AI 照護設備比其治理基礎設施活得更久時,問責歸於何處
物理 AI 照護設備可使用十年,而授權和監督它們的治理基礎設施卻建立在季度預算上。當供應商消失而設備繼續運行時,問責沒有制度歸屬。
醫療硬體擁有漫長的使用壽命。一個植入式設備可能運作十五年。一個居家監護平台,一旦被安裝並獲得照護團隊信任,往往會持續使用到其第一代軟體早已過時之後。照護對象圍繞它建立日常程序。臨床工作人員將它整合進工作流程。家屬學會依賴它的警報。設備成為基礎設施——照護環境的組成部分,而非仍處於積極評估中的產品。
疊加在這些硬體之上的 AI 治理基礎設施,則不享有同等的任期預期。維護雲端審計 API、同意記錄系統、模型更新管道和事件報告渠道的供應商,與其他任何軟體公司一樣面臨著相同的壓力:戰略轉型決策、被競爭對手收購、資金耗盡、其主體管轄區內改變盈利模型的監管變化。風險投資支持的 AI 醫療軟體供應商的預期壽命以年計。它所治理的設備的預期壽命以十年計。
當這兩條時間線出現偏差,設備就成了孤兒。硬體繼續運行。AI 智能體繼續做出決策。照護對象繼續接受照護。但使這些決策具有可追責性的制度基礎設施——擁有即時存取權限的審計記錄、有人類保管人的同意記錄、事件報告渠道、金鑰管理服務、原本會修補已知行為缺陷的模型更新——不復存在。
在硬體交叉點
基於硬體的 AI 智能體透過一條驗證鏈建立其可信度:設備以密碼學方式證明其軟體與經過審查和授權的內容相匹配。該鏈條追溯至供應商維護的憑證層級體系。當供應商的憑證頒發機構關閉或其網域失效,驗證鏈就斷裂了。審計人員、監管機構或臨床風險管理人員若詢問「該設備運行的是我們授權的內容嗎?」,將不再有機制來驗證答案。硬體在實體層面可能未有任何改變,但其可驗證身份——區分正常運行設備與被入侵設備的東西——已經消解。
在供應商關閉後發現的軟體漏洞無法修補。AI 決策邏輯中的行為缺陷、金鑰派生方案中的密碼學弱點、模型校準中將決策偏向低成本干預的偏差——如果這些問題在供應商消失後才被識別,將在每台已部署設備上持續存在,貫穿其剩餘運行壽命。設備沒有更新路徑。照護對象未獲任何通知。臨床團隊沒有任何補救選項。
在物理世界照護交叉點
問責缺口在照護場景中表現最為尖銳。管理用藥時間、監控生命體徵或協調照護轉銜的 AI 智能體,在設備壽命週期內會做出數千次決策。這些決策在部署時,每一項背後都有一套治理結構:擁有支援團隊的供應商、具有上市後監測義務的監管審批、持有同意記錄的雲端系統。當供應商解散時,此後的決策將由一個背後不再有可問責委託人的智能體做出。
照護對象不知道這已經發生。當供應商關閉非安全關鍵性服務時,通常沒有通知義務。臨床團隊可能也不知道——設備持續正常運行,警報持續送達,介面上沒有任何跡象表明治理基礎設施已經熄滅。資訊不對稱是徹底的:照護對象信任設備,恰恰是因為他們相信它處於監督之下,而事實上監督已經終止。
當不良事件發生時——漏報警報、錯誤的劑量建議、因協調智能體不再與照護網絡同步而導致的照護轉銜失敗——受傷方將發現沒有供應商可以聯絡、沒有支援熱線可以撥打、沒有事件報告可以提交。可問責方已經蒸發。設備仍在家中。傷害是真實的。救濟途徑是空的。
為何這在結構上是獨特的
孤兒設備問題與停用問題不同,後者討論的是如何有意退役一個智能體。它也不同於硬體生命週期問題,後者討論的是有計劃的升級和支援終止過渡。孤兒設備場景的區別在於:沒有人做出結束設備治理的有意決定。設備不是被停用的——它是被遺棄的。治理基礎設施不是被退役的——它只是關閉了。
這產生了現有設備安全框架不是為之設計的問責條件。監管上市後監測假設存在可以聯絡的製造商。產品責任原則假設存在仍然存在的被告。保修法假設存在擔保方。當所有這些制度錨點同時消失時,受傷患者面臨與任何制度責任真空所導致的相同的救濟缺口——但在一個背景下:他家中的設備仍然攜帶著其原始授權的可信度標誌。
治理連續性需要什麼
彌合孤兒設備缺口,需要從一開始就將治理連續性視為產品安全義務。這意味著將以下內容作為任何嵌入 AI 的多年期照護設備獲得監管批准的前提條件:治理延續計劃——包括審計日誌的託管安排、同意記錄的指定保管人、即便在商業營運停止後仍能推送關鍵安全更新的機制,以及在治理狀態發生變化時發出信號的公開登記條目。
這也意味著硬體本身應被設計為發出可驗證的治理狀態信號——定期驗證設備的監督基礎設施處於活躍狀態、審計記錄有可聯絡的保管人,以及模型尚未達到支援終止狀態。無法產生該信號的設備應向臨床團隊標記,而不是被默默信任。治理信號中的沉默不應被視為保證。它應被視為警告。
物理 AI 照護設備有著長達十年的使用壽命;治理其 AI 層的軟體供應商則壽命短得多。當供應商關閉而設備繼續運行時,治理基礎設施——審計記錄存取權、同意記錄保管、模型更新管道、事件報告——消失了,而 AI 智能體仍在持續做出重大決策。照護對象不知道監督已經終止。臨床團隊對已發現的缺陷沒有補救路徑。當不良事件發生時,受傷方找不到任何制度錨點可以尋求救濟。彌合這一缺口,需要在監管審批時就將治理連續性視為產品安全義務——而不是等到供應商關燈時才去考慮。