速率與規模問題

人類監督機制是為人類行為者設計的。審查委員會、審批鏈、審計週期——這些結構假設行動速率是一個人或小團隊能夠實時跟蹤的。當AI智能體進入系統時，它帶來了機器速度，通過編排還帶來了機器規模。監督架構不會自動更新。結果是智能體行動速度與問責跟進速度之間出現了結構性差距。

這個差距不是工程最終會彌合的暫時滯後。它是架構的特性：智能體的運營時鐘運行在與監督時鐘不同的數量級上。圍繞人類速度假設構建的每一個問責機制——升級佇列、異常審查、審批閾值——一旦應用於機器速度的行為者就開始退化。退化最初是不可見的。當出錯時它變得可見，稽核軌跡揭示在任何人有機會查看之前就已跨越數千步驟積累的決策。

核心不對稱性

人類分析師處理一份文件，做出決定，然後繼續下一個任務。在機器速度下，智能體可以在分析師完成第一個任務之前處理一萬份文件並做出一萬個決定。這不是假設上限——這是任何合理有能力的智能體部署的常規操作情況。決策單獨來看都是小的，但總體是大的，而總體是傷害積累的地方。

為人類速度行為者建立的監督結構依賴於步調一致的假設：審查者可以跟上行為者的步伐。異常在積累之前就變得可見。錯誤在級聯之前可以被發現。單個錯誤決策不會在任何人注意之前傳播到數千個後續決策。在機器速度下，這些假設都不成立。稽核軌跡增長速度超過審查速度。警報積累速度超過分類速度。錯誤產生速率可能比錯誤檢測速率高出幾個數量級——當問題浮現到人類委託人面前時，它可能已經以難以或不可能逆轉的形式在整個系統中複製了自己。

在硬體交叉點

速率不對稱在硬體交叉點達到最緊約束。工業、安全或生物醫學硬體中的嵌入式智能體在以微秒為單位的延遲預算內運行。等待人工審查後再行動的控制迴路是無法運行的控制迴路。硬體的物理特性對智能體施加機器速度的決策頻率，獨立於圍繞它構建的問責架構。

這造成了結構性的不可能：在硬體需要的速率下進行有意義的決策前人工監督是不可實現的。因此問責架構必須轉向事後——智能體以機器速度行動，問責事後從日誌和遙測中重建。事後問責有一個根本限制：它能夠確定發生了什麼，但不能阻止發生了什麼。在後果有界且可逆的領域，事後問責是合理的權衡。在後果無界或不可逆的領域——這描述了大多數安全關鍵硬體部署——這不是完整的答案。問題不是是否在這些環境中接受事後問責；而是日誌是否足夠完整、防篡改是否足夠強、重建是否足夠快，以便在出錯時有意義。

在物理世界照護交叉點

在照護環境中，速率和規模問題的表現有所不同。智能體的決策頻率通常比嵌入式硬體慢——決策可能相隔數分鐘或數小時而不是微秒——但決策的人口數量大，後果是個人的且往往是不可逆的。管理人口中日程安排、警報或升級的照護協調智能體做出的決策不僅跨越時間積累，還跨越人口積累。

規模放大了系統性錯誤在整個人口中的影響。智能體升級閾值中的偏差影響的不是一個人，而是智能體監控的人口中的每一個人。其對特定表現模式的響應漂移靜默地傳播到呈現該模式的每一個人，以人工審查團隊永遠無法匹配的頻率進行。部署規模放大了任何系統性錯誤的爆炸半徑，同時使該錯誤更難檢測——因為最初沒有個別案例看起來異常。只有總體是異常的，而總體只在事後才可見，此時許多人已經受到了影響。

這是速率和規模問題在照護領域的具體形式：時鐘更慢，但每個決策的風險更高，受影響人口更大，任何錯誤的系統性特質意味著損害在變得可見之前已經分布開來。個案層面的人工監督無法捕捉人口層面的漂移。只有為總體而設計的監督才能做到——這需要在部署架構中內置總體監控器，而不是在問題浮現後事後添加。

設計回應

三種結構性回應值得區分，因為它們在問責架構的不同點發揮作用。

速率調控器對智能體施加獨立於其任務負載的最大行動速率。智能體可能能夠每分鐘處理一萬個項目，但部署將其限制在監督架構可以跟蹤的數量。這使智能體的行動速率可以被人工審查匹配，代價是吞吐量降低。速率調控器最適用於存在吞吐量壓力但並非物理強制的領域——智能體行動快是因為它能，而非因為領域的物理特性要求它如此。

規模上限約束單個智能體實例擁有權威的人口。部署被分片到有界群體，而不是一個智能體覆蓋整個人口。錯誤的爆炸半徑不能超過分片。以使有意義的監督成為可能的比例為分片分配人工審查員，而總體監控器跨越分片而不是整個人口。規模上限是照護部署中的主要結構性回應，在這些部署中，單決策速度可控，但單人口範圍才是問責挑戰。

強制暫停點在智能體執行路徑中嵌入硬編碼檢查點，在繼續之前需要人工審查。暫停點不管理速率；它們管理後果。它們被放置在錯誤成本足夠高以至於吞吐量必須讓步於監督的決策節點——不可逆性閾值。實踐中，強制暫停點只在觸發暫停的決策頻率足夠低、使分配給它們的人工審查員不會立即被壓垮的領域才可行。

這些回應都不能消除速率和規模問題。每種都以一定程度的能力換取一定程度的問責。適當的權衡取決於部署背景、後果的可逆性以及受影響人口的規模。不是有效回應的是將機器速度、機器規模的智能體部署到人類速度的監督架構中，並假設差距會自行彌合。它不會。差距隨智能體時鐘的每次滴答而增長，在差距內積累的損害正是問責本應阻止的損害。