O problema fora da distribuição: quando um agente de IA enfrenta o que nunca foi treinado para lidar

Cada decisão de implementação de um agente de IA transporta uma condição-limite invisível: o agente tem o desempenho testado dentro do intervalo de inputs em que foi validado, e não oferece qualquer garantia relativamente a qualquer coisa fora desse intervalo. Esse limite raramente é articulado explicitamente. Muitas vezes não é conhecido com precisão nem pelos próprios programadores. Mas está sempre lá — e quando um agente o ultrapassa, as propriedades de fiabilidade que justificaram a implementação já não se aplicam.

O problema fora da distribuição não é principalmente uma questão de qualidade do modelo. Um agente cuidadosamente treinado e validado pode ainda assim falhar consequentemente quando recebe inputs que se encontram fora da distribuição em que foi treinado e avaliado. A falha mais específica é que o agente tipicamente não sabe que ultrapassou esse limite. As suas estimativas de confiança estão calibradas contra exemplos dentro da distribuição. Os seus padrões de raciocínio, as suas heurísticas de utilização de ferramentas, os seus limiares de decisão — todos ajustados para um mundo que reconhece. Quando esse mundo muda de formas que importam, o agente prossegue como se não o tivesse feito.

O cruzamento pós-quântico

A criptografia pós-quântica não é meramente uma mudança nos parâmetros dos algoritmos. É uma mudança estrutural na paisagem criptográfica — novos primitivos, novos modos de falha, novas superfícies de ataque que não se assemelham ao modelo de ameaça clássico contra o qual a maioria dos agentes implementados foi treinada. Um agente que toma decisões de configuração criptográfica validado contra um modelo de ameaça clássico está, por definição, a operar fora da distribuição quando encontra cenários relevantes para o pós-quântico.

A dificuldade é que este limite não é uma linha brilhante e única. Desloca-se à medida que o modelo de ameaça evolui: à medida que novos ataques são publicados, à medida que os padrões amadurecem, à medida que os conjuntos de parâmetros recomendados mudam. Um agente validado há seis meses pode já estar fora da distribuição relativamente à paisagem atual — não porque os algoritmos tenham mudado, mas porque as margens de segurança e configurações consideradas adequadas foram revistas. Nenhum alarme dispara quando isto acontece. O agente continua a selecionar parâmetros com a mesma confiança aparente que tinha quando as suas escolhas eram atuais, contra um modelo de ameaça que não viu e para o qual não foi treinado.

O cruzamento do hardware

Os ambientes de hardware em implementação diferem dos ambientes de hardware em validação. Um modelo validado em leituras de sensores curadas de um ambiente de teste controlado encontrará deriva de sensores, variância de fabrico, ruído ambiental e assinaturas de modo de falha que não apareceram no conjunto de validação. Um agente que toma decisões de agendamento de manutenção ou deteção de anomalias em implementação real está, em graus variáveis, sempre a operar em algum ponto do espectro fora da distribuição.

A consequência não é que o agente falhe obviamente — é que falha de formas difíceis de atribuir. Um agente que classifica uma assinatura de vibração como normal quando é na verdade um indicador de falha precoce não produz nenhum erro explícito. Regista uma classificação normal com qualquer pontuação de confiança que foi treinado para reportar. O carácter fora da distribuição do input é invisível no output. A falha propaga-se silenciosamente até emergir como dano no hardware — momento em que a cadeia causal passa por uma decisão do agente que, na altura, era indistinguível de uma correta.

O cruzamento dos cuidados no mundo físico

Os seres humanos são irredutível e variavelmente diferentes. Nenhum conjunto de validação captura a distribuição completa de uma população em cuidados — as suas comorbilidades, as suas interações medicamentosas, os seus padrões comportamentais, as suas respostas fisiológicas. Cada pessoa num ambiente de cuidados real está, em alguns aspetos, fora da distribuição relativamente aos dados de validação.

Isto não é uma falha do esforço de validação; é a estrutura do problema. A lacuna entre a distribuição em que um agente de cuidados foi validado e a pessoa específica que está agora a apoiar não é ruído acidental — é a fonte primária de risco. Os agentes de cuidados que não conseguem identificar a sua própria exposição fora da distribuição não conseguem escalar adequadamente, não conseguem qualificar as suas recomendações de acordo, e não conseguem desencadear a revisão humana que tal exposição num contexto de cuidados exige.

A assimetria é que as consequências dos cuidados são frequentemente atrasadas, ambíguas na causalidade, e atribuídas à condição subjacente em vez de ao tratamento do agente. A falha fora da distribuição de um agente de cuidados pode produzir danos que são clinicamente atribuídos à progressão da doença, não a um sistema a operar fora do seu limite de validação. A lacuna de responsabilização é estrutural: a exposição não é registada, o dano não é atribuído, e o mesmo agente continua a tomar decisões para a próxima pessoa na mesma lacuna de distribuição em que sempre esteve.

O que o problema fora da distribuição requer

Fechar a lacuna de responsabilização requer, no mínimo, que o limite de validação do agente seja documentado em termos que possam ser comparados com as condições reais de implementação; que a infraestrutura de implementação mantenha monitorização contínua contra indicadores de desvio distribucional; e que quando o desvio é detetado, o escalonamento ou comportamento de recuo seja desencadeado automaticamente — não deixado a observadores que não têm visibilidade sobre os pressupostos de distribuição interna do modelo.

Mais fundamentalmente, requer aceitar que a exposição fora da distribuição não é um caso extremo em implementações consequentes. É a condição normal de qualquer agente a operar num domínio que é real, em mudança e humano. A questão não é se o agente encontrará inputs fora da distribuição — encontrará. A questão é se a arquitetura de implementação reconhece isso, monitoriza para isso, e responde de formas que preservam as propriedades de segurança que o agente foi validado para fornecer.

Um agente a operar fora da distribuição sem o saber não é um agente falhado no sentido habitual. É um agente implementado sem uma arquitetura de responsabilização capaz de detetar a condição. A falha é a montante — na decisão de implementação, não no modelo.