O problema do modelo do mundo desatualizado: responsabilidade quando um agente age sobre um mundo que já mudou

Cada agente de IA carrega um modelo do mundo derivado dos seus dados de treino. Esse modelo tem um carimbo de data — o momento em que a recolha de dados terminou. O mundo, porém, não para de mudar nesse carimbo. As diretrizes clínicas são revistas. Os padrões criptográficos são descontinuados. As especificações de hardware mudam através de atualizações de firmware. Os requisitos regulatórios evoluem. Um agente implementado hoje pode ter sido treinado num mundo que já não existe.

Este é o problema do modelo do mundo desatualizado: a responsabilidade quando a representação da realidade de um agente diverge da própria realidade — não por deriva de sensores ou interferência adversária, mas porque o mundo avançou e o agente não.

A estrutura do deslocamento temporal

O problema do modelo do mundo desatualizado é distinto da deriva de calibração. A deriva de calibração ocorre quando o pipeline do mundo físico para a entrada do agente se degrada — sensores derivam, cadeias de sinal acumulam erros. O problema do modelo do mundo desatualizado ocorre a montante desse pipeline: nas crenças treinadas do agente sobre como são entradas válidas, quais são respostas adequadas e o que o contexto operacional exige.

É também distinto das entradas fora de distribuição. O tratamento fora de distribuição pergunta: esta entrada assemelha-se ao que o agente foi treinado? O problema do modelo do mundo desatualizado coloca uma questão diferente: mesmo que esta entrada pareça familiar, a resposta do agente ainda é correta dado como o mundo mudou desde o treino?

Estas não são questões intercambiáveis. Um agente que encontra uma situação familiar e responde competentemente pode ainda estar a operar com um modelo desatualizado. A resposta pode ter sido adequada quando os dados de treino eram atuais. Pode ser inadequada hoje. A confiança do agente não se alterou; a sua correção, sim. E a estrutura de responsabilidade não tem forma de os distinguir.

A confluência pós-quântica: pressupostos descontinuados

Na confluência pós-quântica, o problema do modelo do mundo desatualizado assume uma forma precisa. Um agente treinado antes de um determinado conjunto de cifras ter sido formalmente descontinuado pode continuar a tratar esse conjunto como aceitável. O comportamento do agente não mudou; a avaliação do mundo sobre esse comportamento, sim.

Os padrões criptográficos evoluem através de um processo documentado e deliberado — os organismos de normalização publicam orientações, os fornecedores anunciam cronogramas, os frameworks de conformidade são atualizados. Mas os pressupostos treinados de um agente sobre práticas criptográficas aceitáveis estão incorporados nos seus pesos. A menos que exista um mecanismo explícito para atualizar esses pressupostos — e para atestar que a atualização ocorreu — o agente continua a aplicar as regras de ontem à infraestrutura de hoje.

A lacuna de responsabilidade é específica: pode não existir qualquer registo de em que pressupostos criptográficos um agente foi treinado, quando esses pressupostos foram validados pela última vez contra os padrões atuais, ou se uma implementação continua a refletir as orientações mais recentes. O agente age corretamente de acordo com o seu modelo. O seu modelo está errado. Nenhum dos factos aparece na trilha de auditoria.

A confluência do hardware: o firmware que o agente desconhece

Na confluência do hardware, o problema do modelo do mundo desatualizado manifesta-se na modelação de capacidades de dispositivos. Um agente que interage com dispositivos de hardware — gerindo-os, configurando-os ou agindo com base nas suas saídas — constrói pressupostos sobre as capacidades, interfaces e comportamentos desses dispositivos. O hardware muda através de atualizações de firmware. O dispositivo que o agente conhecia no momento do treino pode não ser o dispositivo que está a gerir hoje.

Isto importa particularmente para funções de hardware relevantes para a segurança: enclaves seguros, módulos de atestado, chaves de segurança de hardware. Se uma atualização de firmware altera o protocolo de atestado, um agente com um modelo desatualizado desse protocolo pode aceitar atestados que o dispositivo considera válidos sob as regras antigas, mas que um auditor rejeitaria sob as atuais — ou vice-versa. O agente não está a comportar-se de forma anómala. Está a comportar-se de forma consistente com um modelo que já não descreve com precisão o hardware que governa.

O problema de rastreabilidade é agravado porque os históricos de atualizações de firmware e as datas de treino do agente podem ser geridos por equipas completamente diferentes, com cadências completamente diferentes, sem qualquer mecanismo formal que as ligue. O hardware mudou; o modelo que o agente tem dele não mudou; ninguém ficou responsável por fechar essa lacuna.

A confluência dos cuidados: diretrizes que avançam mais depressa do que os agentes

Nos cuidados no mundo físico, o conhecimento clínico não é estático. Os protocolos de tratamento são revistos à luz de novas evidências. As orientações sobre dosagens de medicamentos mudam. Os critérios de estratificação de risco são atualizados à medida que se acumulam dados populacionais. Um agente treinado com literatura médica de há dezoito meses pode estar a aplicar com confiança orientações que o consenso clínico entretanto reviu.

A confluência dos cuidados é onde este problema tem as consequências mais agudas. Um agente de cuidados que dá conselhos, sinaliza riscos ou informa decisões clínicas está implicitamente a afirmar corresponder às melhores práticas atuais. Essa afirmação pode ser precisa para o corpus de treino do modelo. O destinatário dos cuidados e a equipa clínica podem não ter forma de saber que as orientações em que confiam refletem um estado passado do conhecimento clínico, e não o presente.

As pessoas mais expostas a esta lacuna são as que têm menor capacidade de verificar de forma independente as orientações clínicas — as populações que tendem a receber cuidados mediados por IA primeiro, e que têm mais a perder quando essas orientações estão erradas. A afirmação confiante de um agente sobre uma recomendação de cuidados tem peso. O facto de a recomendação ter sido válida há dezoito meses e ter sido entretanto substituída não é visível na própria recomendação.

O que a responsabilidade exige

O problema do modelo do mundo desatualizado exige tratar a proveniência do conhecimento como um artefacto de responsabilidade de primeira classe. Decorrem daí vários requisitos.

Em primeiro lugar, os agentes devem carregar uma data de conhecimento verificável — não apenas um carimbo de data de corte de treino, mas um atestado das versões específicas do conhecimento de domínio incorporadas e de quando foram validadas pela última vez contra os padrões atuais nesse domínio. Uma única data de treino obscurece o que o agente sabe na realidade: diferentes domínios dentro do mesmo modelo podem ter estado atualizados em momentos diferentes.

Em segundo lugar, a governação da implementação deve incluir um limiar de desatualização: um intervalo máximo entre a validação do conhecimento do domínio e a implementação, ajustado à taxa de mudança no domínio relevante. Os padrões criptográficos mudam mais depressa do que os protocolos de cuidados, que mudam mais depressa do que alguns frameworks regulatórios. Um limiar calibrado para o domínio de mudança mais lenta deixará os domínios de mudança mais rápida perigosamente expostos. O limiar deve corresponder à velocidade real do domínio.

Em terceiro lugar, a cadeia de responsabilidade para decisões com modelo desatualizado deve ser explícita. Quando um agente opera com um modelo do mundo desatualizado, a questão não é apenas que decisão foi tomada, mas quem era responsável por atestar que o modelo estava atualizado, e se essa responsabilidade foi exercida e documentada antes da implementação.

Um agente que age com confiança num modelo desatualizado não é uma falha do agente. É uma falha da governação da implementação que lançou um modelo num mundo que mudou sem atestar a atualidade do seu conhecimento desse mundo. Enquanto a proveniência do conhecimento não for tratada como um artefacto de responsabilidade com o mesmo estatuto do registo de decisões, o registo de responsabilidade para decisões com modelo desatualizado conterá a consequência e omitirá a causa.