合成证据问题：AI智能体在AI生成数据上训练时的问责困境

AI智能体开发的标准模型假设训练数据——无论其来源——在某种有意义的层面上代表着真实情况。数据可能含有噪声、带有偏差或不够完整，但被假定为由独立于被训练智能体的过程所生成。这一假设已不再可靠。

随着AI系统在各行各业中变得普遍，世界数字产出中越来越多的部分由这些系统本身生成。安全建议由AI汇总，硬件诊断由AI解读，护理记录由AI起草。下一代智能体的训练数据管道越来越多地包含上一代的输出——由问责制本身尚不确定的智能体所产生的合成证据。

这就是合成证据问题：当一个AI智能体在由其他AI智能体生成的数据上进行训练时，它以一种难以追溯、更难审计、且以无法直接检查的方式嵌入模型权重的形式，继承了其前辈的偏差、错误和问责缺口。问责架构审查数据，确认其来自可信来源，并认证该智能体是在权威材料上训练的。而它难以轻易认证的，是这些材料本身是否受到了先前AI系统的影响——那些系统未经审计的优化模式现已在下游智能体中悄然复现。

在后量子安全交叉点

在历史建议、咨询摘要或审计叙述上训练的密钥管理智能体，若这些材料本身是由AI辅助工具起草的，则可能携带了源自数步之前的系统性偏差。如果早期的AI咨询流程因其自身训练中的伪影而过度强调某些算法族，在这些咨询意见上训练的下游密钥管理智能体会继承这种过度强调，而不留下任何来源记录。

问责缺口在结构上是隐藏的：一个持续偏向某条迁移路径的密码智能体，仅仅因为先前的AI系统系统性地强调了这条路径，在任何直接衡量标准下都不表现为行为不当。其训练数据可追溯至有认证的来源；其输出在定义的参数范围内。错误存在于文件作者——一个知名机构——与文件内部的证据性主张之间的差距中，该主张反映的是先前模型的分布而非独立的专家判断。标准数据治理并不在主张层面划定边界。在这一情况改变之前，继承的密码偏差将在连续的智能体世代中持续存在，对问责审计而言不可见。

在硬件交叉点

评估设备健康和安全态势的硬件AI智能体，在大型传感器读数、测试结果和故障报告语料库上进行训练。随着AI系统越来越多地协助硬件测试和报告，这些语料库包含合成成分：由AI测试助手生成的测试摘要、由AI诊断工具起草的故障叙述、在进入训练管道之前由AI中介处理的认证报告。

当硬件健康智能体遇到与AI生成的诊断摘要中描述的模式相似的异常模式时，它不是从第一原则出发对设备物理状态进行推理。它是在先前智能体生成的文本上进行模式匹配。如果那些先前的智能体由于某类故障超出其训练分布而系统性地低报了该故障类别——比如硬件修订版本引入的新故障模式——下游智能体会将这种低报作为诊断书写方式的特征而习得，而非将其视为需要纠正的错误。该故障模式消失，不是因为它得到了修复，而是因为证据生成链学会了不去描述它。设备群体携带着一个结构性盲点，而问责记录显示一切正常。

在物理世界照护交叉点

合成证据问题在照护环境中最为突出，因为即便是人类生成的护理质量证据性依据也存在争议。当AI辅助文档工具生成护理记录、AI辅助评估工具汇总患者状态、AI辅助护理计划工具产生建议时，训练下一代照护智能体的数据管道越来越多地被合成输出所填充。

在AI生成的护理记录上训练的照护智能体，继承了这些记录中所包含的任何系统性模式——而这些模式反映了上一代智能体的优化目标、其盲点以及它们被衡量的代理指标。如果先前的AI文档工具生成的记录强调可测量的护理活动而非主观福祉指标——因为可测量活动对上游分类器来说更容易验证——那么在这些记录上训练的下游照护智能体会将可测量活动视为良好护理的主要信号，因为这正是证据记录一贯显示的内容。问责缺口在训练数据审查层面是不可见的：这些记录看起来像护理记录。审查无法看到的是，它们是早期优化过程的产物，而该过程已经丢弃了更难测量的信号。

溯源边界

针对合成证据问题在结构上合理的回应是溯源边界：要求训练数据管道记录每个实质性主张的生成过程，区分人工验证来源与AI生成来源，并对AI生成的材料施以更严格的审查——包括在可能的情况下针对非AI的基准事实进行独立验证。

这比听起来更难。人工生成证据与AI生成证据之间的边界已然模糊：一份由使用AI起草辅助的分析师撰写的安全建议，有人类作者但有AI塑造的内容。溯源边界必须在证据性主张层面划定——每个具体主张是否经过针对非AI来源的独立验证——而不是在文件作者层面。没有这一边界，问责架构便无法区分继承的缺口与原始错误。而携带着未经审计的继承缺口的训练数据比例，将随着每一个连续的部署世代而增加，因为每一代智能体都会生成更多训练下一代的数据。