O problema da responsabilização contrafactual: quando o resultado alternativo não é observável

A responsabilização em instituições humanas assenta numa premissa causal: a parte responsabilizada deve ter causado o dano, ou não o ter prevenido quando tinha dever e capacidade para o fazer. Direito civil, licenciamento profissional e governação organizacional exigem alguma versão da mesma pergunta: este ato ou omissão produziu o resultado de uma forma que, de outro modo, não teria ocorrido? Esse “de outro modo” é o contrafactual. Na maioria dos procedimentos de responsabilização que envolvem agentes de IA, o contrafactual é estruturalmente não observável.

Isto não é novo em filosofia. Mas quando agentes de IA operam em domínios onde a responsabilização tem peso real, a pergunta sobre quem ou o que é responsável por um resultado tem consequências legais, clínicas ou de segurança. Aí torna-se um problema prático de engenharia e governação.

Porque a causalidade precisa de contrafactuais

Considere o caso simples: um agente de monitorização de IA não sinalizou um doente em deterioração. O doente deteriorou-se. O agente é responsável? Para responder rigorosamente, seria preciso saber o que teria acontecido se o agente tivesse sinalizado a situação. Os cuidadores teriam respondido a tempo? A intervenção teria sido eficaz? O doente teria recuperado? Nada disso pode ser observado. O mundo de comparação, aquele em que o agente agiu corretamente, não aconteceu.

A direção inversa tem a mesma estrutura. Um agente de IA sinaliza uma anomalia. Os cuidadores respondem. O doente estabiliza. O agente merece crédito pelo bom resultado? Sem o contrafactual, não sabemos: talvez os cuidadores tivessem notado a anomalia de qualquer modo, ou talvez a estabilização nada tivesse a ver com a intervenção.

Enquadramentos humanos de responsabilização têm uma solução antiga: padrões de prática. O procedimento pergunta se o profissional agiu de acordo com o padrão esperado de um profissional razoável em circunstâncias semelhantes. Isto substitui o teste causal por um teste processual e desloca a pergunta de “causou isto?” para “fez o que devia?”.

Agentes de IA ainda não têm padrões de prática estabelecidos na maioria dos domínios onde são implantados. Quando os processos procuram uma tese causal, encontram a parede contrafactual. O resultado é muitas vezes teatro de responsabilização construído sobre uma lacuna probatória irresolúvel.

No cruzamento dos cuidados

Nos cuidados, o problema contrafactual é agudo porque os resultados clínicos são complexos, confundidos pelo estado do doente e muitas vezes irreversíveis. Um agente que não escalou uma deterioração não pode ser avaliado contra o resultado alternativo porque essa linha temporal não existe. Revisões clínicas retrospetivas podem formar uma opinião pericial sobre se a escalação teria ajudado, mas opinião sobre um contrafactual não observado é uma base fraca para responsabilização.

O problema estrutural mais profundo é que os cuidados acumulam muitos destes momentos. Um agente implantado durante anos em muitos doentes produzirá um registo estatístico de decisões e resultados. Ao nível populacional, esse registo pode apoiar análises comparativas. Mas a responsabilização clínica normalmente incide sobre uma decisão específica que afetou uma pessoa específica, não sobre desempenho agregado. Dados populacionais não resolvem atribuição causal individual.

No cruzamento do hardware

Em implantações de hardware em grande escala, o problema assume outra forma. Um agente que monitoriza atestação de dispositivos não sinaliza uma anomalia mais tarde identificada como sinal inicial de um ataque coordenado de firmware. Centenas de dispositivos acabam afetados. O agente é responsável?

A pergunta causal exige saber se as operações de segurança teriam respondido, se a resposta teria sido rápida e se teria sido eficaz contra aquele vetor de ameaça. Cada elo da cadeia é contrafactual. Na prática, a anomalia não foi sinalizada, a resposta não ocorreu e a perda não pode ser comparada com uma linha temporal alternativa.

O que equipas de segurança de hardware fazem é reconstruir intenção: perguntam se o agente executou a função desenhada, se os critérios de alerta estavam bem configurados e se os procedimentos operacionais associados eram razoáveis. Isto aproxima-se de um teste de padrão de prática, mas é aplicado retrospetivamente a uma pergunta causal.

No cruzamento pós-quântico

A transição pós-quântica cria uma versão temporalmente estendida do problema. Decisões durante a janela de migração, que primitivas migrar primeiro, em que ordem e com que limiares de validação, determinarão exposição a uma ameaça que pode só se materializar anos depois. Um agente que classifica uma anomalia de validação como ruído rotineiro pode estar a contribuir para uma vulnerabilidade que só será explorada quando capacidade quântica estiver disponível a um adversário. A cadeia causal atravessa anos, e o contrafactual torna-se impossível de reconstruir.

Essa distância temporal altera a contabilidade da responsabilização. Organizações que usam incidentes para aprender, atribuir falhas e mudar práticas perdem esse mecanismo quando a cadeia causal é demasiado longa para ser rastreada. O ciclo de feedback que normalmente apertaria práticas de segurança quebra-se.

O que o problema exige

A resposta não é abandonar responsabilização causal, mas desenhar implantações de agentes de IA para gerar condições probatórias que tornem o raciocínio contrafactual tratável, ainda que nunca perfeito.

Isto significa registar não apenas decisões, mas o que o agente percebia no momento da decisão: inputs, níveis de confiança, ações alternativas avaliadas e limiares que teriam acionado respostas diferentes. Um agente que só regista outputs não gera um trilho de auditoria capaz de apoiar raciocínio contrafactual. Um agente que regista estado de decisão cria a base para perguntar o que uma configuração diferente teria produzido dado o que o agente sabia.

Também significa desenhar enquadramentos que indiquem quando usar testes processuais em vez de testes causais. Se a pergunta central é se o agente cumpriu o padrão de prática aplicável, esse padrão precisa existir antes da implantação, não ser construído depois para se ajustar ao resultado analisado.

O contrafactual não pode ser observado. Mas pode tornar-se menos inacessível se a arquitetura de auditoria for desenhada desde o início para capturar o que as alternativas exigem.