A lacuna de representação: responsabilização quando agentes de AI atuam sobre modelos em vez da realidade

Agentes de AI não conseguem tocar diretamente no paciente, inspecionar uma placa de circuito ou detetar fuga de chaves por observação direta. Cada inferência, recomendação e ação é mediada por uma representação: uma aproximação estruturada da realidade física, criada num momento específico, por um processo específico, e que pode deixar de corresponder ao que descreve.

Na travessia dos cuidados

Isto não é exclusivo da AI. Profissionais humanos também trabalham sobre registos. A diferença é que trazem conhecimento tácito para a distância entre registo e realidade: procuram inconsistências, contexto ausente e perguntas que o registo não responde. O agente não tem esse suplemento. Para ele, a representação é tudo. Quando ela diverge, o agente age com confiança sobre premissas erradas.

Na travessia do hardware

Em cuidados, a representação digital de uma pessoa é montada a partir de registos clínicos, leituras de dispositivos, notas de plano de cuidado e avaliações estruturadas. A pessoa mudou desde então: recuperou, deteriorou-se, envelheceu ou tomou uma decisão ainda não refletida. O agente decide de forma localmente coerente com o modelo, mas possivelmente incoerente com a pessoa real.

Na travessia pós-quântica

Em hardware, agentes de segurança operam sobre topologias, inventários de firmware, linhas de base de configuração e resultados de varredura. Entre varreduras, dispositivos são substituídos e configurações mudam. Uma avaliação limpa relativa ao mapa pode estar errada relativamente ao sistema físico.

O que a lacuna exige

Em segurança pós-quântica, identidade criptográfica é representação: uma chave pública afirma que uma entidade controla uma chave. Material de chave envelhece, é comprometido, delegado ou substituído antes de o sistema mais amplo sincronizar. Um agente de migração pode certificar um estado errado com a mesma confiança com que certificaria um estado correto.

A lacuna de representação não tem solução que a elimine. Recolha contínua de dados pode reduzi-la; rastreio de frescura pode torná-la visível; deteção de anomalias pode sinalizar divergência. Mas representações continuarão aproximadas. A arquitetura de responsabilização deve nomear a lacuna, definir limites de frescura e fazer a responsabilidade chegar aos guardiões dos modelos de dados que deram ao agente o mundo sobre o qual atuou.