「人在回路中」悖论：为什么答案不是移除这个回路

在受监管的人类领域——安老院、临床环境、金融运营、物流——部署 AI 智能体的论据中，几乎无一例外地包含"人在回路中"这个短语。它出现在监管框架、采购标准、伦理指南和董事会审批中，被视为使智能体部署变得可接受的保障措施。

悖论在于：在大多数真实部署中，这一要求在名义上得到满足，而在实践中被违反。不是因为疏忽——而是因为算术。

一个运营着百名住客的安老院，每个班次产生数百个临床和福利决策。一个提供吞咽安全筛查、水分监测和药物交叉参考的 AI 智能体，每位护理员每小时可能标记或启动三十到五十个微决策。如果每个决策都需要人工逐一审查，智能体创造的工作量会多于减少的工作量。护理员要么对所有事项盖章通过——此时回路中根本没有人，只有一个站在回路上的人——要么认真逐一处理，此时智能体的价值主张便彻底崩塌。同样的算术问题适用于金融运营、自主物流和企业流程智能体。规模和速度正是智能体的价值所在。一个必须以智能体运作速度审批每个决策的人，不是一个回路，而是一个智能体本来就要绕过的瓶颈。

这个问题真正在问什么

要求人在回路中并没有错。它在以一种糟糕的方式提出正确的问题。机构真正需要的不是对每个决策进行人工审查，而是一个确保高后果决策必须经过适当人类权威授权、错误能够可靠浮现和纠正、且记录清晰到足以完整重现发生了什么和为什么的系统。这些是问责要求，而非审查率要求。它们可以由与逐一人工审批截然不同的架构来满足。

三种有效的替代方案

第一是分类门控设计。并非每个决策都有相同的后果量级。筛查吞咽风险的智能体可以自主记录低风险结果，但对潜在吞咽障碍的标记，在任何护理计划变更被记录之前，应需要护理员确认。门控不针对所有决策，而是针对具有重大临床意义的决策。设计得当，这将人类注意力重新引导到真正需要的地方，而非将其稀薄地分散在所有事务上。

第二是具有取证深度的统计审计。如果智能体的每个动作都以完整上下文、时间戳和产生该动作的推理状态记录，并由智能体运行的硬件签名以防篡改，那么监管机构、督导员或调查人员可以完整重现任何决策序列。这与事前审查不同，但往往是更强的问责形式：事后审查可以由合适的人员在充裕时间内仔细进行，而非在当班人员的时间压力下完成。

第三是结构化升级机制。具有校准不确定性估计的智能体，可以自动将高不确定性行动路由到人工审查。架构规定：不确定性超过阈值 X 触发人工确认；确定性低于阈值 Y 触发立即升级至督导级别。这将人类注意力集中在真正困难的案例上，而非分散在例行事务中。

架构上的要求

这些替代方案都需要两个技术基础方能奏效。首先，智能体的行动日志必须是真正可信赖的——经过硬件证明、只能追加、且可由部署运营者以外的各方审计。由运营者以可编辑形式维护的审计轨迹不是审计轨迹，而是一项声明。其次，范围和门控定义必须在部署时由适当权威设定——不可由智能体调整，也不可由运营者在没有变更控制记录的情况下在部署过程中重新配置。"自动化这项"与"需要人工"之间的界线，是一项政策承诺，而非运行时参数。

当这些基础存在时，"人在回路中"这一问题改变了形态。答案不是"人工审查X%的决策"，而是"某些类别的决策在没有人工签署的情况下无法进行，所有决策都在事后可问责，且架构防止智能体将受门控决策重新分类为不受门控"。这比高速度下的人工审查提供了更强的保障。

真正的回路

人在回路中不是对智能体自主性的速率限制。它是关于哪些决策需要人类权威、哪些可以安全委托的一套结构性承诺——在一个这一边界得到强制执行和可审计的系统中。满足这些承诺的智能体可以被信任以规模化运作。无法满足的智能体，无论名义上是否有人对每个输出进行签署，都不安全，不应部署。

回路是架构性的。问题在于它是否诚实。