喪失行為能力下的同意問題:當AI智能體必须代替無法表達同意的人行事時的問責困境
AI智能體的標準問責模型假設主體層次結構終止于一個有能力的人類:一個可以確認授權內容、撤銷不再適當的權限并對其認為不準確的記錄提出異議的人。當出現問題時,層次結構頂部的有能力人類是最终參考点。這种模型在大多数智能體部署中不會崩溃。它在一類情況中比任何其他情況都更徹底地崩溃:當受智能體決策直接影響最多的人在作出這些決策時喪失了行為能力。
行為能力喪失在物理世界中有多种形式——鎮靜、無意識、急性認知障礙,或伴隨某些長期狀況而出現的決策能力逐漸永久減退。在所有這些情況下,當事人無法實時行使其同意权。管理這一領域的法律和倫理框架是围绕人類代理人構建的:一個了解照護對象、能夠根據其已知價值觀對變化情況進行解釋并能夠對在不确定性下作出的判断決定承擔个人責任的指定人。AI智能體不是這种意義上的代理人。它對参数空間執行逻辑。當参数空間不能覆蓋其面临的情況時,差距必须透過判断以外的方式來解決。
在後量子安全交叉点
預立醫療指示——在預期未來喪失行為能力時表達一個人照護偏好的文件——是照護系統中最具影響力的問責文件之一。使用后量子密碼保证存储它们提供了一個强有力的屬性:記錄在未被檢測到的情況下無法被修改,并且该保证對任何未來的密碼分析能力都是持久的。這是應具备的正確屬性,但不是在行為能力喪失情況下同意問題中最重要的屬性。
后量子簽名的預立醫療指示證明文件自簽署以來未發生變化。它不能證明簽署時簽署者的意圖與其當前臨床狀態、當前價值觀或智能體正在處理的具體決策相符。診斷前书寫的指示不是診斷后的指示。在對預後的某种理解下表達的照護偏好可能與在修订預後下當事人會選择的內容有實質性差異。完整性保证適用于书面文件。文件與情況之間的解釋差距是人類判断問題,每當智能體在與文件條件不完全匹配的場景中依據預先授權行事時,它都會遇到這個問題。
在硬件交叉点
在有失能个人的照護環境中運行的智能體經常依賴硬件嵌入式臨床決策逻辑——在配置時指定協議并在部署時经過驗證的醫療設備和监控平台。硬件證明確認設備在已驗證狀態下運行授權固件。這是一個有意義的保证,但它不能解決授權協議是否以所需的分辨率覆蓋患者當前狀況的問題。
協議差距在照護自動化中是一個普遍問題,但在行為能力喪失場景中變得至关重要,因為患者無法發出協議已達到其邊界的信號。有能力的患者如果注意到設備响應與預期不符,可以提醒臨床醫師。喪失行為能力的患者则無法做到這一点。硬件證明認證了設備狀態,但它不能認證该設備狀態中編碼的協議是否適合當前時刻。當智能體的逻辑遇到其嵌入式協議未設計處理的場景時,其所代理的人的行為能力喪失意味著協議覆蓋與臨床現實之間的差距無法由最有动机宣告這一差距的當事方來宣告。
在物理世界照護交叉点
物理世界照護交叉点以最直接的形式呈現了行為能力喪失下的同意問題。管理失能照護的法律和倫理框架依賴于能夠行使情境判断的代理人——能夠權衡競爭價值觀、適應新信息并接受對無法完全預先理由化的決定承擔責任的人。在預先授權照護計劃內行事的AI智能體不是在這种意義上行使判断。它将當前條件與預先指定的参数進行匹配,并采取参数指定的行動。當當前條件超出或落在参数之間時,智能體不像人類代理人那样能夠识别差距。
這不是對照護環境中智能體部署的批評。智能體在人類存在無法匹配的分辨率和持續時間下提供连续監測。問題特别在于當行動範圍超過授權範圍時會發生什么。在行為能力喪失場景中,沒有有能力的主體可以實時擴展授權。差距必须透過架構來處理:具有更严格自主邊界的明确失能操作模式、當智能體遇到超出其授權範圍的條件時向人類代理人强制升級的途径,以及對在預先而非實時同意下采取的每项重要行動背后推理的增強日誌記錄。
記錄作為實質性事實
行為能力喪失下同意問題有一個設計回應經常被忽視,因為它看起來像是行政事務:當智能體在失能授權下運行時產生的每條問責記錄都應明确記錄這一事實。智能體在預先授權而非實時同意下行事的記錄不是免責聲明,而是任何後續審查——臨床、法律或倫理的——的實質性事實。省略此背景的記錄将在沒有有能力的同意主體情況下作出的智能體決策呈現為彷彿有该主體一样。這种錯誤陳述不能透過記錄的密碼完整性來修復,而是透過記錄未能說明的內容引入的。在行為能力喪失場景中準確、完整的問責要求智能體采取行動所依據的授權模式成為智能體產生的記錄的一部分。
當AI智能體代表失能人員行事時,同意架構——預立醫療指示、代理人指定、嵌入式照護協議——是為人類判断設計的,而非自主執行。后量子簽名證明預先授權文件未發生變化;它们無法彌合文件與當前情況之間的解釋差距。硬件證明認證設備狀態;它不認證嵌入式協議是否適合當前時刻。設計回應是明确的失能操作模式:更严格的自主邊界、當條件超出授權範圍時向人類代理人强制升級,以及記錄每项重要行動所依據的授權模式的問責記錄。