A lacuna de responsabilização do digital twin: quando o modelo está errado e o log está limpo

Todo agente de AI que interage com o mundo físico mantém um modelo dele. Não um modelo metafórico, mas uma representação interna concreta que o agente trata como verdade operacional para cada decisão que toma. Uma AI de cuidados acompanha a trajetória de saúde de um paciente como estado estruturado: calendário de medicação, linhas de base de sinais vitais, padrões comportamentais, histórico clínico. Um agente de gestão de hardware acompanha desgaste de componentes, perfis térmicos, estado de calibração e histórico de carga. Um sistema de gestão de chaves acompanha quais credenciais estão ativas, quais certificados são válidos e quais trust anchors podem ser usados.

Em cada caso, o agente nunca percebe o mundo diretamente. Percebe o seu modelo do mundo. As decisões que toma — quando escalar uma preocupação de cuidados, quando agendar manutenção preventiva, quando exigir reautenticação — são decisões sobre estados do modelo, não sobre estados físicos. Essa indireção é necessária e inevitável; nenhum sistema em tempo real consegue dispensar abstração. Mas ela cria uma lacuna de responsabilização distinta de todos os outros modos de falha no panorama de agentes: a lacuna que se abre quando o modelo está errado e o agente não tem como saber.

O que torna esta lacuna distinta

A lacuna de responsabilização do digital twin não é um problema de falha de sensor. Falhas de sensor são detetáveis: leituras deixam de chegar, intervalos de confiança alargam, alertas de anomalia disparam. A lacuna aqui é mais subtil. Abre-se quando o modelo deriva silenciosamente — quando leituras continuam a chegar e parecem plausíveis, mas a realidade física que representam mudou de uma forma que o sensor não consegue captar. A adesão de um paciente à medicação cai, mas o modelo comportamental do agente, atualizado a partir de proxies indiretos, não regista a mudança. A fadiga de um componente acumula-se ao longo de um modo de falha que a suíte de calibração não foi desenhada para detetar. Um trust anchor criptográfico é comprometido silenciosamente mas continua a produzir assinaturas que parecem válidas.

Em cada caso, o agente continua a decidir corretamente — corretamente em relação ao seu modelo. O audit log regista comportamento apropriado em cada etapa. Nenhuma decisão individual está errada. A cadeia de raciocínio do estado do modelo até à ação é sólida. O dano não emerge de más decisões, mas da distância entre o modelo dado ao agente e o mundo sobre o qual o agente atuava. E essa distância, crucialmente, não pertence a ninguém. O agente fez o que foi desenhado para fazer. Os integradores construíram o que foi especificado. Os operadores aprovaram a implantação. O modelo divergiu, e o enquadramento de responsabilização não tem proprietário nomeado para essa divergência.

No cruzamento pós-quântico

A migração pós-quântica exige que agentes que gerem infraestrutura criptográfica mantenham modelos precisos de estado de confiança ao longo de horizontes extensos. Um certificado válido na emissão pode permanecer no modelo de confiança de um agente muito depois de a raiz emissora ter sido depreciada, comprometida ou declarada inadequada para o ambiente de ameaça pós-quântico. O modelo do agente diz: esta credencial é confiável. O mundo diz: a raiz que a emitiu já não pode ser usada. Cada decisão de autenticação que o agente toma nesse período é localmente correta — a credencial valida contra o modelo — e estruturalmente insegura.

Isto não é uma falha de revogação; é uma falha de atualização de modelo. A infraestrutura de revogação diz aos agentes quando um certificado específico já não deve ser confiado. A falha de atualização de modelo é diferente: a categoria de confiança da qual o agente foi desenhado para depender mudou, mas o modelo do agente sobre o que constitui confiança válida não foi atualizado para refletir essa mudança. A pergunta de responsabilização — quem possui a obrigação de manter o modelo de confiança do agente atual durante uma transição criptográfica de vários anos — raramente é respondida em acordos de implantação.

No cruzamento de hardware

Agentes embebidos gerem sistemas que degradam por mecanismos que não foram desenhados para observar diretamente. Um agente de manutenção pode acompanhar tempo médio entre falhas, horas de operação e eventos de calibração programados — tudo que os seus sensores conseguem medir — enquanto permanece cego a modos de falha que se desenvolvem por corrosão, microfraturas ou ciclos térmicos de formas que não produzem sinal precursor mensurável. O modelo de saúde do componente do agente é localmente consistente com tudo que consegue observar. O componente está a falhar ao longo de uma trajetória para a qual o modelo não tem representação.

O dano que se segue é atribuído, depois do facto, a uma falha de hardware. Mas a falha relevante ocorreu antes: quando o sistema foi implantado sem um proprietário documentado para a obrigação de expandir o modelo observacional do agente à medida que o panorama de modos de falha daquele equipamento se tornava mais bem compreendido. O modelo do agente nunca estava exatamente errado — era sempre uma representação precisa do que o agente conseguia ver. Simplesmente nunca foi atualizado para ver o que importava.

No cruzamento dos cuidados no mundo físico

Agentes de AI em cuidados constroem modelos de pacientes a partir dos fluxos de dados a que têm acesso: registos clínicos estruturados, leituras de sensores, logs de interação, sinais de adesão ao plano de cuidados. Esses modelos são inevitavelmente incompletos. O ambiente social de um paciente muda — um cuidador familiar deixa de estar disponível, a habitação deteriora-se, um fator de stress crónico intensifica-se — de formas que nenhum sensor clínico captura e nenhum registo estruturado codifica. O modelo do agente sobre a trajetória de saúde do paciente continua em frente com base nas suposições anteriores. As decisões que toma — limiares de escalonamento, níveis de intensidade de cuidados, momento de intervenção — são apropriadas para o paciente modelado, não para o paciente real.

A distância entre modelo e paciente não é um caso extremo. É a condição operacional normal de qualquer AI de cuidados implantada numa população que vive vidas reais. O que falta não é melhor sensorização; é uma estrutura de responsabilização que trate o modelo como uma obrigação viva. Alguém deve possuir a precisão do modelo, não apenas a correção das decisões que ele produz. Alguém deve ser responsável por detetar quando o paciente que o agente gere se tornou materialmente diferente do paciente que o agente acredita estar a gerir.

O que a lacuna de responsabilização do digital twin exige

Fechar esta lacuna exige reconhecer que o modelo de mundo de um agente de AI não é um detalhe de implementação — é uma superfície de responsabilização. Toda implantação de AI que envolva um ambiente físico ou uma pessoa deve nomear uma parte responsável pela integridade do modelo: a entidade encarregada de monitorizar divergência entre modelo e realidade, especificar gatilhos de atualização e assumir responsabilidade quando o modelo deriva para além do seu intervalo operacional seguro. O audit log que regista decisões corretas contra um modelo errado não é evidência de implantação sólida — é evidência de que o enquadramento de responsabilização estava incompleto antes da primeira decisão ser tomada.