O problema do rollback: o que fazer quando a ação de um agente de IA não pode ser desfeita

A arquitetura da maioria dos sistemas de software parte da premissa de que os erros podem ser corrigidos. Bases de dados têm transações. Controlo de versões tem revert. Pipelines de implantação têm rollback. Toda a disciplina de engenharia de software fiável assenta na ideia de que, se algo correr mal, é possível desfazer e tentar novamente. Essa premissa está tão integrada que raramente é examinada. Para uma categoria crescente de agentes de IA, ela é falsa.

Quando um agente de IA agenda a administração de um medicamento, executa uma transação financeira, envia um comando a um drone em voo ou despacha uma equipa de emergência, a ação já aconteceu. Não há transação para reverter, ponteiro para restaurar ou unidade atómica para abortar. O mundo mudou. O medicamento está no organismo do paciente. A posição está aberta. O drone moveu-se. A equipa está a caminho. O que vier a seguir parte do novo estado, não do antigo. Isto não é um problema de software; é um problema físico.

O problema do rollback tem três camadas distintas. A primeira é a irreversibilidade física: ações que tocam o mundo, como dosagem, movimento, implantação ou acesso físico, não podem ser desfeitas por qualquer mecanismo de software. Esta camada exige portões antes da ação irreversível, não registos depois. A segunda é a irreversibilidade institucional: muitas ações são fisicamente alteráveis, mas já ficaram fixadas num registo externo. Uma carta enviada a um regulador ou uma divulgação registada junto de uma contraparte pode ser corrigida, mas o original já mudou o estado institucional. A terceira é a irreversibilidade da confiança: quando um agente toma uma decisão errada num domínio em que pessoas dependem dele, a correção posterior não repara automaticamente a relação de confiança.

O que torna o problema especialmente agudo é que as propriedades que tornam os agentes úteis, autonomia, velocidade e operação simultânea em muitas sessões, são as mesmas que amplificam o custo do erro irreversível. Um operador humano afeta uma situação de cada vez. Um agente mal configurado, ou a operar fora do seu âmbito autorizado, pode emitir a mesma ação errada em centenas de situações antes de alguém reconhecer o padrão. Irreversibilidade multiplicada por escala é uma categoria de risco diferente.

A resposta arquitetural é classificar cada ação executável antes da implantação: livremente reversível, em que o agente pode agir sem portão; compromisso faseado, em que o agente propõe e um humano confirma antes de propagação externa; e ação com portão rígido, em que o agente apresenta o pedido, uma pessoa qualificada aprova, a ação é executada e a sessão fica registada com a identidade do aprovador. Essa taxonomia deve ser acompanhada por monitorização de trajetória, para que padrões cumulativos sejam sinalizados antes de atravessarem uma fronteira difícil de desfazer.