依賴創生問題:當 AI 護理智能體改變能動性平衡時的問責
被部署來支持獨立性的 AI 護理智能體,可能隨時間吸收護理對象不再實踐的功能。當智能體變化或失敗時,護理對象並不會回到原來的位置,而是回到某些維度上更脆弱的位置。
AI護理智能體的部署理由幾乎無一例外地訴諸於「獨立性」。目標是讓護理對象在家中生活更長時間,賦予其更多自主權,減少對人類照護者的依賴——尤其是在通過支持仍可自行處理的任務方面。智能體是對能力的補充,而非替代。
這一框架在部署之初是準確的。但它不會永遠保持準確。
一個持續處理某項功能的AI護理智能體——追蹤用藥時間、監測行動模式、標記營養缺口、管理社交日程——隨著時間推移,將減少護理對象主動實踐該功能的頻率。這並非設計缺陷,而是持續可靠的協助所帶來的必然結果。
為何功能性依賴是結構性結果,而非副作用
使AI護理智能體有效的同一機制,也創造了依賴:它們吸收了對重要任務的可靠管理,使使用者不再需要直接管理這些任務。對於本就能力受限的護理對象而言,這種吸收很少被作為風險加以監控,而是被視為既定目標本身。
所創生的依賴是功能性的。護理對象可能在認知和身體層面仍具備智能體所處理功能的能力,但他們停止了實踐,停止了對自身判斷的信任,並可能失去了使其能夠獨立恢復該功能的信息基礎設施——追蹤習慣、維繫中的聯繫人、已建立的日常程序。如果智能體被移除或大幅修改,護理對象無法回到原來的狀態,而是回到某種程度上比註冊時更為脆弱的處境。
這與自動化萎縮問題不同,後者關注的是監督負責人失去檢查智能體工作能力的問題。這裡關注的是護理對象自身的功能自主性——該系統名義上服務於其人的實踐能力的侵蝕。
硬件基礎設施問題
嵌入式AI護理設備創造了這一動態的特定版本。當設備成為家庭護理環境中持久存在的環境層——感知、警報、管理——它開始像供暖和自來水一樣作為基礎設施運作。設備故障不再是服務中斷,而是對日常程序已圍繞設備存在而構建起來的當事人而言,是一次福祉事件。
這種轉變的問責結構在部署時幾乎從未建立起來。護理智能體作為可選工具被治理。只要護理對象在原則上可以在沒有設備的情況下生活,它就被視為補充品。而設備已變得不可或缺的那個時刻——當護理對象在實踐中無法安全運作時——通常沒有被標記、沒有被正式記錄,也沒有反映在任何同意記錄或護理計劃中。這是逐漸發生的,而治理框架無法識別「逐漸」。
變化時刻的問責缺口
依賴創生問題在變化時刻最為明顯:設備停產、軟件平台關閉、基礎模型被棄用,或固件更新大幅改變了智能體的行為配置。
在那一刻,問責問題紛至沓來。誰負責管理已在功能上依賴該智能體的護理對象的過渡?護理系統中誰知曉這種依賴?誰能從部署記錄中重建智能體一直在做什麼,以及護理對象需要什麼才能通過其他方式替代這些功能?
如果答案是「無人被指定」、「依賴從未被記錄」,以及「記錄無法支持這種重建」,那麼護理系統就已創造了一種重大脆弱性——且沒有任何結構性機制來治理它。智能體作為補充被引入;它成了基礎設施;問責從未更新以反映這一轉變。
正確的架構需要什麼
治理依賴軌跡,需要將其視為部署中被追蹤的維度,而非落在系統定義範圍之外的偶然結果。
這意味著定期評估智能體已吸收哪些功能,以及護理對象不再主動實踐哪些功能——並將該評估作為護理記錄條目對待,而非非正式的觀察。這意味著構建將依賴審計作為長期部署結構性要求(而非可選良好實踐)的護理過渡協議。這意味著確保停用或修改事件在設計上觸發對護理對象應對變化所需支持的評估。
這還要求對幾乎每個護理AI部署所宣稱的內容保持理智上的誠實:智能體支持獨立性。只有當部署被積極監控著這樣的風險——即支持隨時間推移已創造了一種未被規劃、未被治理、直到系統發生某些變化才會顯現的依賴形式——時,「支持獨立性」才是一個有意義的主張。
在Asaptic Labs,我們認為正確的框架不是「智能體在部署時是否支持獨立性」,而是「護理關係(包括其依賴軌跡)是否在部署生命週期的每個節點都受到治理」。這一問題需要不同的工具化、不同的問責分配,以及對長期AI護理部署對其服務對象實際產生的影響有更為誠實的闡述。
AI護理智能體被部署為對護理對象能力的補充。隨著時間推移,它們吸收了護理對象不再實踐的功能。當智能體發生變化或失敗時,護理對象可能處於比部署時更為依賴的處境。問責要求將依賴軌跡視為被追蹤、被記錄的護理維度——具備結構化的過渡協議,並定期審計智能體已吸收的功能——而非落在治理框架之外的偶然結果。