O paradoxo do humano no circuito: porque a resposta não é remover o circuito

O argumento para implantar agentes de IA em domínios humanos regulados, como lares, ambientes clínicos, operações financeiras e logística, quase sempre inclui a frase “com um humano no circuito”. Surge em quadros regulatórios, critérios de compra, guias éticos e aprovações de conselho. É tratado como a salvaguarda que torna a implantação aceitável.

O paradoxo é que, na maioria das implantações reais, a exigência é satisfeita no nome e violada na prática. Não por negligência, mas por aritmética.

Um lar com cem residentes gera centenas de decisões clínicas e de bem-estar por turno. Um agente de IA que faz rastreio de segurança de deglutição, monitorização de hidratação e cruzamento de medicação pode sinalizar ou iniciar trinta a cinquenta microdecisões por cuidador por hora. Se cada decisão exigir revisão humana individual, o agente cria mais trabalho do que remove. O cuidador carimba tudo, e então não há humano no circuito, apenas um humano sobre o circuito, ou trabalha cuidadosamente cada item, e a proposta de valor do agente colapsa. A mesma aritmética aplica-se a operações financeiras, logística autónoma e agentes de processos empresariais. Escala e velocidade são o ponto. Um humano que tem de aprovar cada decisão ao ritmo do agente não é um circuito; é o gargalo que o agente existe para contornar.

O que o problema realmente pergunta

A exigência de um humano no circuito não está errada. Está a fazer a pergunta certa da forma errada. O que as instituições precisam não é de um humano a rever cada decisão, mas de um sistema em que decisões consequentes não possam ser tomadas sem autoridade humana apropriada, em que erros sejam fiavelmente expostos e corrigíveis, e em que o registo seja claro o suficiente para reconstruir exatamente o que aconteceu e porquê. Estes são requisitos de responsabilidade, não requisitos de taxa de revisão.

Três substitutos que funcionam

O primeiro é desenho de portões categoriais. Nem toda decisão tem o mesmo perfil de consequência. Um agente que rastreia risco de deglutição pode registar autonomamente um resultado de baixo risco, mas sinalizar possível disfagia deve exigir confirmação do cuidador antes de qualquer alteração ao plano de cuidados. O portão não está em todas as decisões; está nas decisões com peso clínico significativo.

O segundo é auditoria estatística com profundidade forense. Se cada ação do agente for registada com contexto completo, timestamp e estado de raciocínio que a produziu, e se esses registos forem assinados pelo hardware onde o agente corre para impedir alteração, então reguladores, supervisores ou investigadores podem reconstruir qualquer sequência de decisão. Não é revisão prévia, mas pode ser uma forma mais forte de responsabilidade.

O terceiro é escalamento estruturado. Um agente com estimativas calibradas de incerteza pode encaminhar automaticamente ações de alta incerteza para revisão humana. A arquitetura especifica: incerteza acima do limiar X aciona confirmação humana; certeza abaixo do limiar Y aciona escalamento imediato para supervisão. Isto concentra atenção humana nos casos realmente difíceis.

O que isto exige arquitetonicamente

Nenhum destes substitutos funciona sem dois fundamentos técnicos. Primeiro, o registo de ações do agente deve ser genuinamente fiável: atestado por hardware, apenas anexável e auditável por partes externas ao operador. Uma pista de auditoria mantida pelo operador em forma editável não é uma pista de auditoria; é uma afirmação. Segundo, definições de âmbito e portões devem ser fixadas no momento da implantação pela autoridade adequada, não ajustáveis pelo agente nem reconfiguráveis pelo operador a meio da implantação sem registo de controlo de alterações.

Quando esses fundamentos existem, a pergunta sobre humano no circuito muda de forma. A resposta não é “um humano revê X% das decisões”, mas “certas categorias de decisão não prosseguem sem assinatura humana, todas as decisões são responsabilizáveis retrospectivamente, e a arquitetura impede o agente de reclassificar uma decisão com portão como sem portão”. Isto é uma garantia mais forte do que revisão humana à velocidade do agente.

O circuito real

O humano no circuito não é um limite de velocidade sobre a autonomia do agente. É um conjunto de compromissos estruturais sobre que decisões exigem autoridade humana e quais podem ser delegadas com segurança, num sistema onde essa fronteira é imposta e auditável. Agentes que satisfazem esses compromissos podem operar em escala. Agentes que não os satisfazem, mesmo que alguém assine nominalmente cada saída, não são seguros para implantar.

O circuito é arquitetónico. A pergunta é se é honesto.