Todo sistema bem desenhado de agentes de IA inclui um mecanismo de substituição humana. A substituição é a válvula de segurança: o ponto em que uma pessoa rejeita a recomendação do agente, aplica o seu próprio julgamento e assume responsabilidade pela ação resultante. O problema é que esses mecanismos quase sempre transferem responsabilidade sem transferir a informação necessária para a exercer.
Uma substituição só é significativa se houver compreensão por detrás dela. Uma pessoa que clica em “substituir” porque a interface é confusa, porque está sob pressão de tempo ou porque segue a sua preferência anterior não exerceu julgamento humano. Produziu um registo formal que diz que houve julgamento humano. A função de responsabilização falhou.
O que exige uma substituição informada
Para representar verdadeira transferência de responsabilidade, três condições têm de existir: a pessoa deve compreender o que o agente recomendou e porquê; deve compreender o que acontece se a substituição for aceite, em termos específicos da decisão atual; e deve ser capaz de assumir responsabilidade por um resultado diferente do que o agente teria produzido.
Nenhuma destas condições é satisfeita automaticamente por um botão de substituição. O agente deve apresentar o seu raciocínio numa forma que a pessoa consiga avaliar. A interface deve resistir à rejeição rápida e irrefletida. O sistema deve distinguir substituições feitas após revisão de substituições feitas sem envolvimento.
No cruzamento pós-quântico
Agentes de migração de infraestrutura criptográfica fazem recomendações baseadas em avaliações técnicas que poucos operadores conseguem avaliar independentemente. Um operador que anula uma recomendação de migração aceita formalmente a exposição que se segue. Se a recomendação não foi explicada em termos avaliáveis, a transferência de responsabilidade é vazia.
O registo não deve apenas mostrar que uma pessoa aprovou a substituição. Deve mostrar se compreendeu o que estava a aprovar. “Substituição aceite pelo operador” e “substituição aceite após revisão da análise de exposição” não são registos equivalentes.
No cruzamento do hardware
Agentes de gestão de frota recomendam mudanças de configuração, atualizações de firmware e retirada de dispositivos. Uma substituição pode ter consequências físicas propagadas por toda a frota. A escala torna o problema composto: cem pedidos de substituição por turno não podem receber deliberação genuína.
No cuidado no mundo físico
Em ambientes de cuidado, o problema é mais agudo porque a transferência de responsabilidade é mais consequente. Um profissional que anula uma recomendação clínica assume responsabilidade pelo resultado. Isto só funciona se tiver informação suficiente para exercer julgamento clínico, não apenas acesso suficiente para premir um botão.
O problema também corre na direção oposta. Um profissional que não anula quando o agente está errado também fez uma escolha responsável, embora a auditoria possa registá-la como aceitação passiva. Não substituir deve ser tão deliberado como substituir.
O que o desenho da substituição implica
O mecanismo de substituição não é detalhe de UX. É o ponto em que a arquitetura de responsabilização toca a pessoa que pretende envolver. Exige explicação antes da ação, fricção de deliberação, captura do motivo da substituição e paridade para a opção de não substituir.
A responsabilização não nasce da existência de um ponto de controlo. Nasce de uma pessoa que compreendeu o que controlava, exerceu julgamento real e pode responder pelo resultado.
Mecanismos de substituição transferem responsabilidade apenas quando a pessoa compreende a recomendação que rejeita. Substituição informada exige explicação antes da ação, fricção de deliberação, captura do motivo e paridade para a opção de não substituir.