O problema da autoridade epistémica: responsabilização quando agentes de IA se tornam a fonte de verdade

Quase todos os enquadramentos de governação para agentes de IA em contextos de alto risco colocam a supervisão humana no centro: o agente aconselha e uma pessoa decide; assinala uma anomalia e uma pessoa investiga; apresenta uma recomendação e uma pessoa aprova ou rejeita. O modelo é correto, mas não considera como a dependência consistente corrói a capacidade independente que a supervisão exige.

A erosão acontece por razões razoáveis. O agente é mais rápido, processa mais dados e costuma estar certo. Cada verificação bem-sucedida torna a verificação mais parecida com formalidade. A arquitetura ainda diz "supervisão humana"; a realidade é que o agente se tornou a fonte de verdade e os humanos já não têm ferramentas, hábitos ou conhecimento institucional para o desafiar.

Na segurança pós-quântica

A escolha de algoritmos criptográficos exige conhecimento especializado que poucas organizações mantêm internamente. Quando ferramentas assistidas por IA avaliam prontidão, calendários de migração e exposição legada, as equipas deixam de desenvolver julgamento independente. O agente recomenda uma sequência; a equipa segue-a porque não tem base própria para discordar.

A falha é latente. Se a recomendação reflete dados de treino em vez do consenso técnico atual, se subvaloriza uma vulnerabilidade emergente ou sobrevaloriza uma abordagem depreciada, ninguém está posicionado para notar. A capacidade que teria exposto o erro foi despriorizada enquanto o agente funcionava bem.

No hardware

A segurança de hardware depende de atestação: verificar que um dispositivo executa o software e a configuração que afirma executar. Agentes assistidos por IA conseguem avaliar dispositivos em escala e velocidade que inspeção manual não acompanha. Mas, quando a inspeção manual atrofia, o agente torna-se a única verificação.

Isto importa nos modos de falha fora da distribuição de treino: superfícies de ataque novas, interações imprevistas e configurações que o agente não foi desenhado para avaliar. São precisamente os casos em que verificação humana independente teria valor insubstituível.

Nos cuidados no mundo físico

Nos cuidados, o problema é mais agudo. Julgamento clínico depende de reconhecimento de padrões, avaliação tátil e interpretação contextual construídos ao longo de anos. Um agente que monitoriza sinais vitais e apresenta recomendações opera numa escala que clínicos não conseguem reproduzir para cada paciente.

Para casos rotineiros, rever outputs é eficiente. A lacuna abre-se nas margens: apresentação fora da distribuição, sintomas subtis que um profissional com contexto completo ponderaria de outro modo, ou interação com historial não documentado. A arquitetura pede julgamento clínico humano, mas os humanos têm revisto outputs, não exercido julgamento clínico.

Preservar a capacidade de desafiar

A solução não é apenas técnica. Instituições devem manter deliberadamente capacidade independente de verificação nas áreas onde agentes são mais capazes. Se uma assinatura humana é exigida, deve continuar a existir uma pessoa capaz de assinar com significado.

A função mais importante do humano no circuito não é aprovar outputs corretos, mas encontrar os casos em que o agente está errado. Isso exige carga de trabalho viável, acesso a dados brutos e espaço institucional para dissenso. Sem isso, supervisão é apenas trilha de auditoria anexada a uma fonte de verdade.