O problema da ação precautória: responsabilização quando um agente de IA previne o que pode não ter acontecido
Quando um agente de IA toma uma ação precautória com base em risco previsto, prevenir o dano também destrói as evidências necessárias para avaliar se a ação foi justificada. Sucesso e intervenção injustificada tornam-se indistinguíveis.
Na maioria dos quadros de responsabilização, os resultados ancoram a avaliação. Uma decisão que conduziu a danos é examinada; uma que não conduziu a nenhum, não. Os processos de responsabilização trabalham retrospetivamente a partir das consequências para as causas, estabelecendo o que aconteceu e se escolhas diferentes o teriam alterado.
Os agentes de IA implementados em funções preditivas e preventivas perturbam esta lógica. Um agente de cuidados que sinaliza um doente para intervenção precoce, um agente de segurança de hardware que coloca um dispositivo em quarentena com base em anomalias comportamentais, um agente de migração que roda chaves criptográficas preventivamente face a uma vulnerabilidade prevista — cada um age antes de o resultado temido ter ocorrido. Se a ação tem sucesso, o resultado não ocorre. A prevenção torna-se a evidência. E a evidência não pode ser distinguida do contrafactual em que o risco nunca foi real.
Este é o problema da ação precautória. Não é uma variante do problema de responsabilização contrafactual, que pergunta o que teria acontecido se o agente tivesse agido de forma diferente após um evento adverso. É uma questão anterior e mais fundamental: quando a prevenção tem sucesso, tanto a intervenção justificada como a intervenção desnecessária têm exatamente o mesmo aspeto.
Por que a prevenção destrói o sinal de avaliação
Considere um agente de cuidados que identifica um doente a mostrar sinais precoces de deterioração e escalona para a equipa de cuidados. A escalona desencadeia uma intervenção atempada. O doente estabiliza. O sistema parece ter funcionado. Mas a questão de avaliação — esta escalona era justificada? — exige saber se a deterioração teria ocorrido sem intervenção. Isso é inobservável. A única observação é aquela em que a intervenção ocorreu.
Na supervisão clínica tradicional, os profissionais desenvolvem conhecimento institucional sobre quais as apresentações que precedem de forma fiável a deterioração e quais não. Esse conhecimento é construído a partir de muitos casos, incluindo casos em que a deterioração não foi esalonada e o seu curso pôde ser observado. Os agentes de IA precautórios geram uma distribuição de dados diferente: quando o agente sinaliza e os clínicos intervêm, o curso natural é interrompido. Com o tempo, um agente que sinaliza em excesso gera um conjunto de dados em que a deterioração nunca se segue às suas apresentações sinalizadas — porque a intervenção a impediu. O registo de previsões parece excelente precisamente porque as intervenções tornam as previsões inverificáveis.
Na interseção com o hardware
Um agente de gestão de frota que coloca dispositivos em quarentena com base em assinaturas comportamentais consistentes com comprometimento de firmware gera o mesmo problema probatório com diferentes implicações. Se a quarentena é aplicada e o suposto comprometimento não se propaga, o agente recebe crédito pela prevenção. Se o dispositivo não estava efetivamente comprometido — se a assinatura comportamental era um falso positivo — a quarentena parece idêntica a uma interceção bem-sucedida. A diferença não é visível nos dados de resultado.
A escala, a quarentena excessiva não é um erro neutro. Os dispositivos em quarentena ficam indisponíveis; a continuidade do serviço sofre; as equipas de operações investigam falsos positivos que consomem capacidade que deveria ser direcionada para ameaças reais. Mas o sinal de responsabilização não revela isto. O agente parece estar a funcionar corretamente. Avaliar se os limiares de quarentena precautória estão corretamente calibrados exige um método probatório separado — um que rastreie os resultados dos dispositivos em quarentena quando a quarentena é eventualmente levantada, e os compare com uma população de controlo retida. Poucas implementações de gestão de frota mantêm esta disciplina.
Na interseção pós-quântica
A rotação precautória de chaves — depreciar chaves criptográficas com base em vulnerabilidade algorítmica prevista, antes de qualquer exploração confirmada — tem uma estrutura semelhante. Um agente de migração que recomenda a rotação preventiva de chaves usando algoritmos considerados vulneráveis à capacidade quântica computacional emergente está a fazer uma previsão sobre cronogramas de quebra futuros. Se a rotação acontece e a quebra prevista nunca se materializa nesse cronograma, a rotação foi precautória corretamente ou desnecessária. O resultado é indistinguível.
O problema composto é que a rotação precautória de chaves acarreta custos operacionais reais e imediatos: tempo de inatividade, risco de compatibilidade, sobrecarga de validação, complexidade de migração. Os benefícios são especulativos e de longo prazo. Um quadro de responsabilização que avalia a ação precautória apenas em função da perturbação operacional imediata irá sistematicamente subvalorizá-la. Um que a avalia em função dos danos prevenidos não consegue ver a prevenção. Nenhum produz um sinal fiável.
O que a arquitetura de responsabilização exige
O problema da ação precautória não pode ser resolvido por um melhor rastreio de resultados — porque a estrutura de resultados é o problema. O que exige é uma mudança no objeto da responsabilização: dos resultados para a qualidade da decisão no momento da decisão.
Um agente precautório que possa ser responsabilizado pela qualidade das suas previsões — não pela exatidão dos seus resultados, mas pela base probatória, pela calibração das suas estimativas de risco e pela adequação do limiar que aplicou — pode ser avaliado independentemente de o resultado temido ter ou não ocorrido. Isto exige que os agentes produzam registos de decisão estruturados: que evidências desencadearam a sinalização, que limiar foi aplicado, que limiares alternativos foram considerados e de que taxa de base a previsão derivou.
Exige também disciplina institucional sobre populações sombra: quando a intervenção é aplicada a uma coorte, manter uma população comparável sem intervenção é o único método para calibrar se os limiares são justificados. Isto tem peso ético real — permitir que alguns membros da população sombra enfrentem o risco que a ação precautória pretendia prevenir não é neutro. Mas sem isso, o agente precautório opera num ciclo fechado onde o sucesso se confirma a si mesmo e o erro é invisível.
Prevenir danos é o objetivo. Mas se a prevenção destrói as evidências necessárias para avaliar se a ação foi justificada, o quadro de responsabilização não está a governar o agente — está a narrá-lo.
Quando um agente de IA age para prevenir um dano previsto, o sucesso torna a questão de avaliação sem resposta: não é possível observar se o dano teria ocorrido sem a intervenção. Isto não é um problema de responsabilização contrafactual — é uma inversão estrutural em que a prevenção e a interferência injustificada têm um aspeto idêntico no registo de resultados. Na interseção de cuidados, os agentes de sobrealerta constroem registos de previsão que se confirmam a si mesmos. Na interseção de hardware, a quarentena de falsos positivos é invisível nos dados de resultado. Na interseção pós-quântica, a rotação precautória de chaves não pode ser avaliada em relação aos danos prevenidos. O remédio é deslocar a responsabilização dos resultados para a qualidade da decisão: registos pré-ação estruturados que documentam a base probatória, o limiar aplicado e a taxa de base utilizada. Sem esta mudança, o agente precautório é ingovernável por conceção.