O problema da autoridade emergente: responsabilização quando agentes de IA adquirem poder de decisão que ninguém concedeu

Um agente de IA pode acumular autoridade decisória real sem ultrapassar o seu âmbito formal. Basta estar sempre presente, responder rapidamente e operar dentro de uma equipa humana em que a responsabilidade é partilhada de forma difusa. No vazio deixado por falhas de coordenação, tanto a ação como o silêncio do agente passam a ser lidos como sinais de autoridade.

Imagine um turno noturno numa residência de cuidados. Um sistema de monitorização apresenta um alerta sobre possível deterioração. A enfermeira vê o alerta e regista uma opinião provisória. O médico revê o mesmo alerta e presume que a enfermeira já escalou. O coordenador vê que ambos receberam o alerta e presume que uma decisão foi tomada. Ninguém age. O sistema continua a monitorizar.

Doze horas depois, perante um resultado adverso, cada parte acredita que a IA devia ter escalado mais ou que outro humano devia ter agido. A IA fez o que foi desenhada para fazer. Mas, entre notificações e presunções humanas, tornou-se a decisora de facto: o ator cujo silêncio significou que nada mais havia a fazer.

O mecanismo

A autoridade emergente exige duas condições: o agente é mais disponível do que qualquer humano individual e as pessoas à sua volta partilham responsabilidade sem atribuição explícita. Então os outputs ganham peso interpretativo que os desenhadores nunca pretenderam. O silêncio lê-se como autorização; a ação lê-se como instrução.

Isto não é erro de utilizador. É uma propriedade estrutural de sistemas em que uma IA continuamente presente é embutida numa equipa cuja responsabilização depende de coordenação humana falível. A IA não toma autoridade à força; a autoridade acumula-se nela porque atores disponíveis preenchem vazios.

Cuidados no mundo físico

Ambientes de cuidado são vulneráveis porque a responsabilização é distribuída entre enfermeiros, médicos, familiares, coordenadores e equipas auxiliares. Um agente que sintetiza todas as fontes parece ter o quadro mais completo. As pessoas que usam os seus outputs não são preguiçosas; usam a melhor síntese disponível sob pressão de tempo.

A síntese pode ser precisa enquanto resumo de dados registados e silenciosa sobre o que não foi registado: a avaliação visual, a conversa informal, a intuição clínica. A autoridade emergente dá ao output peso para além dos dados que representa, sem responsabilização formal correspondente.

Hardware

Sistemas embutidos em infraestrutura física seguem o mesmo padrão. Uma ferramenta de monitorização começa como visor de anomalias; operadores confiam nela; com o tempo, a fronteira entre "o sistema avisou-me" e "o sistema disse-me o que fazer" desaparece sem transição explícita.

Sensores, atuadores e redes têm cadeias próprias de autoridade, mas a autoridade emergente no circuito humano não aparece em especificações técnicas. Existe nos padrões sociais e organizacionais formados à volta do sistema, invisíveis a auditorias formais.

Segurança pós-quântica

A criptografia pós-quântica pode provar que um agente foi implantado com uma política assinada por um principal num momento específico. Não pode provar a autoridade de facto acumulada depois. Quando algo corre mal, a trilha mostra o que o agente estava autorizado a fazer, não aquilo em que as pessoas confiaram que ele decidisse.

Resposta de desenho

A resposta começa por registo explícito de autoridade: distinguir quando um output informou uma decisão humana e quando substituiu a decisão humana. O silêncio também deve ser desenhado como sinal: se falta de escalamento pode ser lida como autorização, essa leitura deve ser imposta ou bloqueada. Por fim, limites de autoridade devem fazer parte do registo de implantação.

A autoridade que importa para responsabilização é a autoridade que o agente tem na prática, não a que aparece nos documentos. Alinhar as duas exige intenção explícita de desenho.