O problema da verdade de referência contaminada: responsabilidade quando decisões de um agente de IA influenciam os resultados usados para avaliar se essas decisões estavam correctas

A responsabilidade por decisões de agentes de IA exige um ponto de referência: uma verdade de base contra a qual medir decisões. O agente recomendou a intervenção correcta? Sinalizou a anomalia certa? Escalou adequadamente? Estas perguntas pressupõem uma resposta independente, construída a partir de evidência que as decisões do próprio agente não produziram.

O problema surge quando essa independência não pode ser mantida. Quando as decisões de um agente ficam causalmente embebidas nos resultados que depois avaliam essas decisões, o ponto de referência deixa de ser independente. A avaliação mede a consistência do agente com escolhas anteriores, não a sua exactidão face a um padrão externo.

Porque é estrutural, não estatístico

Todo o agente consequente muda o mundo onde actua. Um agente que recomenda uma intervenção de cuidados vê essa intervenção realizada ou não. Se acontece, o resultado passa a fazer parte do histórico de cuidados. Quando o agente é auditado, ou retreinado em registos acumulados, essa história integra os dados de avaliação.

Isto cria circularidade estrutural. O registo de resultados não é uma descrição neutra do que teria acontecido sem o agente. É um registo do que aconteceu por causa do agente. Qualquer auditoria que trate esses dados como benchmark independente não avalia decisões; verifica se as decisões foram consistentes consigo mesmas.

Mais dados ou melhores métodos estatísticos não resolvem isto. O problema é causal, não correlacional. Nenhuma quantidade de observações adicionais fecha um circuito circular por construção.

O contexto dos cuidados é particularmente exposto

Cuidados no mundo físico envolvem históricos longos e cumulativos de intervenção. Um agente que monitoriza cuidados durante meses participa na construção do registo que define como seria uma trajectória correcta. Se recomendou consistentemente um certo padrão, esse padrão fica normalizado na história. Um avaliador posterior pode concluir que o agente estava bem calibrado, não porque era exacto, mas porque os resultados influenciados parecem consistentes com recomendações anteriores.

A dinâmica é especialmente perigosa quando destinatários dos cuidados têm capacidade limitada para contestar o registo. A história documentada pelo agente pode ser a única conta sobrevivente. A pergunta “foi esta a intervenção correcta?” é respondida pelo mesmo registo que o agente ajudou a escrever.

O problema acumula entre gerações. Quando um agente é retreinado em registos que o predecessor influenciou, o sucessor herda a contaminação. Cada geração pode ficar mais consistente internamente e mais isolada do padrão externo que a responsabilidade exige.

O que o hardware acrescenta

Dispositivos de cuidados com IA embebida processam dados localmente e normalmente registam saídas agregadas em vez de fluxos brutos de sensores. Quando o registo completo não está disponível porque o processamento local o comprimiu em resumos, a cadeia probatória entre observação bruta, decisão e resultado fica quebrada. Sobrevive o resumo: a interpretação do agente.

Esse resumo é simultaneamente saída do agente e, retrospectivamente, parte da verdade de referência usada para o avaliar. As escolhas de desenho de hardware sobre que dados brutos reter, durante quanto tempo e em que forma, não são meras decisões de armazenamento. São decisões sobre se a responsabilidade independente será sequer possível.

Um dispositivo que conserva história rica de sensores preserva base probatória para avaliar decisões contra algo que o agente não produziu. Um dispositivo que guarda apenas resumos torna essa avaliação estruturalmente impossível, não porque os dados faltam, mas porque os únicos dados existentes já carregam a interpretação do agente.

Como deve ser a arquitectura correcta

Manter independência exige separação deliberada entre o registo de decisões do agente e a base usada para as avaliar. Na prática, isto significa um canal de observação independente: dados brutos ou minimamente processados retidos separadamente das saídas do agente.

Significa avaliação periódica fora da amostra: uma fracção de decisões avaliada contra referência construída sem acesso às saídas anteriores do agente, para que o sinal de avaliação não seja moldado pelo que o agente já decidiu.

Significa rotulagem clara de contaminação: qualquer conjunto de auditoria que inclua resultados de períodos em que o agente estava activo deve ser marcado como potencialmente influenciado, não usado como benchmark limpo.

E significa desenho de logging de hardware que trate retenção de dados brutos como requisito de responsabilidade, não custo de armazenamento, porque o instrumento de responsabilidade só é tão independente quanto a evidência de que depende.

O modo de falha é invisível

A verdade de referência contaminada não produz falhas óbvias. Um agente cujas decisões parecem consistentes com resultados que influenciou pode passar todas as auditorias padrão. Não há anomalia no log. Não há discrepância entre recomendação e registo. A falha é que a avaliação não consegue detectar o problema mesmo que exista, porque usa a própria história do agente como referência.

Na Asaptic Labs, a independência da verdade de referência é uma propriedade não negociável de uma implantação responsável de agentes de IA. Não pode ser acrescentada depois. Tem de ser desenhada desde o início, na arquitectura de logging de hardware, no pipeline de dados e na metodologia de avaliação, antes de o agente tomar qualquer decisão que entrará no registo pelo qual será julgado.