蒸馏间隙：AI智能体压缩用于硬件部署时的问责

"蒸馏"涵盖了一系列技术——量化、知识蒸馏、剪枝、低秩分解——它们有一个共同的实际目标：将为数据中心设计的模型缩小到足以在口袋大小的设备、病房或墙壁插座上运行。这些技术已经成熟，部署的经济效益也很有吸引力。但过渡期间的问责基础设施尚未跟上。

核心问题在于：大型模型经过安全评估、边界测试和系统性对抗性探测，建立了合理的信任基础。这种评估费用高昂、耗时，且只针对原始模型进行一次。当模型随后被压缩用于硬件部署时，压缩版本是一个不同的模型。在平均情况下，差异不大——如果压缩谨慎进行，平均行为会被保留。但在边界处——低概率输入、新颖的上下文组合、在安全关键场景中最重要的边界案例——压缩模型可能会以难以预测且很少重新测试的方式偏离原始模型。

这种差异就是"蒸馏间隙"。它不是任何特定实现中的缺陷，而是模型容量、边缘部署需求和将两者连接起来的问责链之间关系的结构性特征。

为什么压缩会改变边界案例行为

量化会降低模型权重的数值精度，已知这会在训练数据稀疏覆盖的输入空间区域中更明显地影响模型行为。这是因为模型学习的表示在训练信号最弱的地方最为精细——因此对精度损失也最为敏感。

物理世界护理恰恰是稀疏覆盖最为关键的领域：不寻常的药物组合、非典型的生命体征模式、不适合标准分类的护理需求。模型在这些区域的训练行为本来就很边缘，压缩使这些边缘更加难以预测。

剪枝存在类似问题。当从模型中去除贡献最小的权重时，"贡献最小"是相对于训练分布衡量的。被剪掉的容量在平均水平上可能什么都没做，但对于正确处理某类狭窄但重要的案例却至关重要。在护理场景中，那类狭窄案例可能是较大模型隐式学习识别的罕见药物相互作用。在硬件安全场景中，可能是智能体被训练为可疑处理的角落情况固件状态。剪枝会悄然去除它，标准压缩流程中没有任何机制来标记某项能力已经丢失——因为流程没有"哪些能力在训练分布之外至关重要"这一概念。

硬件交叉点：认证与压缩接缝

在硬件交叉点，AI智能体对物理设备做出或解释决策——哪些固件状态是可接受的、哪些传感器读数值得发出警报、哪些证明是有效的。这些是嵌入在智能体行为中的策略决策，也是部署前最可能被评估和认证的决策。

蒸馏间隙在认证中造成了一道接缝。原始开发者认证大型模型，硬件集成商压缩它，护理运营商部署压缩版本。认证机构审查的是哪个版本？实际上，压缩模型是在原始认证的权威下部署的，因为重新评估蒸馏模型的成本与评估原始模型相当。原始评估被引用为支持证据，但那是对不同模型的证据。

这不是假设性的失败模式。这是默认的操作模式。当部署在医疗硬件上的压缩模型——即使一次，在低概率边界案例中——与认证的原始模型行为不同时，认证链已在压缩步骤处断裂。问责基础设施不会发现这一点，因为它从未被设计为将压缩视为独立的问责节点。它将压缩视为性能优化——从工程角度看确实如此。但从问责角度看，这是模型替换。

护理交叉点：在最关键之处悄然失去的能力

在物理世界护理交叉点，蒸馏间隙具有最直接的人类后果。护理智能体恰恰部署在资源不足的场景：从业者太少、护理对象太多、对人类注意力的需求太大。护理智能体应该弥补这些差距。但如果压缩后的护理智能体悄然失去了处理原始模型已学习的边界案例的能力——不寻常的表现、罕见的禁忌症、非典型的症状模式——那么它恰恰失去了资源不足场景最需要的能力。

护理场景中蒸馏间隙的反常算术在于：压缩之所以有吸引力，正是因为它能在资源受限的环境中实现部署。但使压缩有吸引力的资源限制，也是使边界案例覆盖最为关键的限制。模型在容错空间最小的地方部署，而形式上使其边界最难以预测。

护理对象无法检查模型的压缩参数，无法将部署版本的行为与认证的原始版本进行比较，也没有可靠的方法知道为他们提供建议的智能体是否具备已验证的边界案例覆盖——还是在压缩步骤中悄然丢失了。

弥合差距的要求

第一，评估平等。在安全关键或护理场景中部署的压缩模型应该独立评估，而不是作为原始模型评估的衍生。举证责任在于压缩版本——引用原始认证作为证据与拥有已部署模型的证据不同。

第二，对压缩过程进行来源证明。正如硬件证明将信任根植于芯片的物理属性，模型证明应记录每个压缩步骤：应用了哪些技术、基于哪种训练分布、保真度阈值是什么、由谁验证。这不是额外负担——而是使事后问责成为可能的工程记录。

第三，范围限制部署。评估覆盖特定输入分布的压缩模型应只在该分布内运行，并对分布外输入进行明确监控，在检测到时有明确的升级路径。"此模型针对场景类别X进行了评估；它不应在场景类别Y上自主运行"是一种可部署的约束。缺少这一约束，运营商实际上是在声称压缩模型在原始模型所覆盖的全部输入范围内都是安全的——而他们通常没有这方面的证据。

第四，将压缩步骤在问责链中单独列出。当已部署智能体造成伤害且根本原因可追溯至压缩引入的行为差异时，"这是原始模型的失败还是压缩过程的失败？"这个问题应有明确答案。目前没有。压缩步骤应被视为独立的问责节点，有其自己的文档和责任链——而不是作为技术细节被吸收进部署决策中。

蒸馏间隙在两个严苛部署要求的交叉点上最为关键：将AI能力带近物理世界的需要，以及这些能力在物理世界后果最为重大的领域必须值得信赖的需要。当护理智能体因压缩去除了其最需要的边界案例覆盖而悄然失败时，这不是理论风险——而是今天可以部署的产品。

但问责基础设施尚未就绪。