「人在回路中」悖論：為什麼答案不是移除這個回路

在受監管的人類領域——安老院、臨床環境、金融運營、物流——部署 AI 智能體的論據中，幾乎無一例外地包含「人在回路中」這個短語。它出現在監管框架、採購標準、倫理指引和董事會審批中，被視為使智能體部署變得可接受的保障措施。

悖論在於：在大多數真實部署中，這一要求在名義上得到滿足，而在實踐中被違反。不是因為疏忽——而是因為算術。

一個運營著百名住客的安老院，每個班次產生數百個臨床和福利決策。一個提供吞嚥安全篩查、水分監測和藥物交叉參考的 AI 智能體，每位護理員每小時可能標記或啟動三十到五十個微決策。如果每個決策都需要人工逐一審查，智能體創造的工作量會多於減少的工作量。護理員要麼對所有事項蓋章通過——此時回路中根本沒有人，只有一個站在回路上的人——要麼認真逐一處理，此時智能體的價值主張便徹底崩塌。同樣的算術問題適用於金融運營、自主物流和企業流程智能體。規模和速度正是智能體的價值所在。一個必須以智能體運作速度審批每個決策的人，不是一個回路，而是一個智能體本來就要繞過的瓶頸。

這個問題真正在問什麼

要求人在回路中並沒有錯。它在以一種糟糕的方式提出正確的問題。機構真正需要的不是對每個決策進行人工審查，而是一個確保高後果決策必須經過適當人類權威授權、錯誤能夠可靠浮現和糾正、且記錄清晰到足以完整重現發生了什麼和為什麼的系統。這些是問責要求，而非審查率要求。它們可以由與逐一人工審批截然不同的架構來滿足。

三種有效的替代方案

第一是分類門控設計。並非每個決策都有相同的後果量級。篩查吞嚥風險的智能體可以自主記錄低風險結果，但對潛在吞嚥障礙的標記，在任何護理計劃變更被記錄之前，應需要護理員確認。門控不針對所有決策，而是針對具有重大臨床意義的決策。設計得當，這將人類注意力重新引導到真正需要的地方，而非將其稀薄地分散在所有事務上。

第二是具有取證深度的統計審計。如果智能體的每個動作都以完整上下文、時間戳和產生該動作的推理狀態記錄，並由智能體運行的硬件簽名以防篡改，那麼監管機構、督導員或調查人員可以完整重現任何決策序列。這與事前審查不同，但往往是更強的問責形式：事後審查可以由合適的人員在充裕時間內仔細進行，而非在當班人員的時間壓力下完成。

第三是結構化升級機制。具有校準不確定性估計的智能體，可以自動將高不確定性行動路由到人工審查。架構規定：不確定性超過閾值 X 觸發人工確認；確定性低於閾值 Y 觸發立即升級至督導級別。這將人類注意力集中在真正困難的案例上，而非分散在例行事務中。

架構上的要求

這些替代方案都需要兩個技術基礎方能奏效。首先，智能體的行動日誌必須是真正可信賴的——經過硬件證明、只能追加、且可由部署運營者以外的各方審計。由運營者以可編輯形式維護的審計軌跡不是審計軌跡，而是一項聲明。其次，範圍和門控定義必須在部署時由適當權威設定——不可由智能體調整，也不可由運營者在沒有變更控制記錄的情況下在部署過程中重新配置。「自動化這項」與「需要人工」之間的界線，是一項政策承諾，而非運行時參數。

當這些基礎存在時，「人在回路中」這一問題改變了形態。答案不是「人工審查X%的決策」，而是「某些類別的決策在沒有人工簽署的情況下無法進行，所有決策都在事後可問責，且架構防止智能體將受門控決策重新分類為不受門控」。這比高速度下的人工審查提供了更強的保障。

真正的回路

人在回路中不是對智能體自主性的速率限制。它是關於哪些決策需要人類權威、哪些可以安全委託的一套結構性承諾——在一個這一邊界得到強制執行和可審計的系統中。滿足這些承諾的智能體可以被信任以規模化運作。無法滿足的智能體，無論名義上是否有人對每個輸出進行簽署，都不安全，不應部署。

回路是架構性的。問題在於它是否誠實。