O problema da terminação: quando e como parar um agente de IA, e o que significa quando não se consegue

O botão de paragem é a primeira salvaguarda a que se recorre quando um agente de IA se comporta de forma inesperada. Parece simples: enviar um sinal de paragem, o agente pára, a situação fica contida. Na prática, o problema da terminação é um dos mais difíceis na arquitetura agentiva, não porque parar seja tecnicamente complicado, mas porque as condições em que parar é seguro, autenticado e significativo são muito mais estreitas do que parecem.

A ilusão do botão de paragem

Um botão de paragem não é uma arquitetura. É um botão em cima de uma arquitetura que pode ou não suportar uma paragem segura num dado momento. Um agente no meio de uma transação, de uma escrita de ficheiro, de um envio de mensagem ou de uma atuação física nem sempre pode ser interrompido de forma limpa. A pergunta não é se se consegue cortar a energia a um processo, geralmente consegue-se, mas se isso deixa o mundo num estado melhor do que permitir que o processo termine.

Esta ambiguidade é estrutural. Sistemas agentivos são desenhados para executar sequências de ações em que cada passo depende do estado anterior. Interromper a sequência a meio não restaura o estado anterior; cria um novo estado que nem o principal original nem o agente tinham planeado. Uma arquitetura de terminação que não considera onde, num fluxo de trabalho, o agente pode ser parado em segurança não é realmente um controlo de segurança.

Agentes embebidos e o problema físico de paragem

O problema da terminação é mais agudo para agentes embebidos em hardware que opera no mundo físico. Um agente de software em ambiente cloud pode ser parado com um sinal de processo e reiniciado a partir de um checkpoint conhecido. Um agente a correr num dispositivo embebido, uma unidade de reabilitação numa instalação de cuidados ou um sistema de monitorização clínica, pode estar fisicamente inacessível quando é preciso pará-lo.

Partições de rede, eventos de energia e falhas de dispositivo podem cortar a ligação pela qual chegaria um sinal remoto de paragem. Um dispositivo que não consegue receber a ordem continua a executar. Se as suas instruções o autorizaram a agir autonomamente durante falhas de conectividade, uma escolha necessária para continuidade de cuidados, ele continuará sem saber que um principal tentou revogar essa autoridade.

A atestação com raiz em hardware diz que o agente a correr no dispositivo é aquele que foi autorizado. Não resolve o problema de alcançabilidade. Um dispositivo com credenciais válidas mas ligação de rede cortada é, da perspetiva do principal, um agente a operar sem supervisão, potencialmente a executar decisões que já foram rescindidas. O registo de responsabilização no dispositivo pode estar intacto, mas as ações do agente no mundo já estão a decorrer.

Fluxos longos: parar como ato perigoso

Em ambientes de cuidados, um agente que está a meio de uma tarefa quando chega um sinal de paragem apresenta um dilema particular. Pode estar no meio de uma sequência de monitorização, de uma escalada de alerta ou de uma intervenção documentada. Parar imediatamente satisfaz a letra do comando de terminação e pode criar o dano que o principal tentava prevenir: um paciente sem monitorização ativa, uma escalada iniciada mas não concluída, um registo de cuidados correto até ao ponto de interrupção e silencioso depois.

Esta é a tensão profunda da terminação no domínio dos cuidados: o agente que não pode ser parado é perigoso, mas o agente que pode ser parado a qualquer momento, a meio da monitorização ou da escalada, também é perigoso. Uma arquitetura bem desenhada deve incluir não apenas um mecanismo de paragem, mas pontos de paragem seguros definidos dentro de cada fluxo e um procedimento de encerramento que leve o agente ao ponto seguro mais próximo antes de parar.

O problema de autenticação dos sinais de paragem

Um sinal de paragem é uma instrução. Como qualquer instrução enviada a um agente que opera num ambiente adversarial, tem de ser autenticado. Um atacante capaz de forjar um comando de paragem plausível pode silenciar um agente precisamente quando ele desempenha uma função legítima de segurança: revogar credenciais, registar uma anomalia detetada ou escalar um alerta. A capacidade de terminar um agente é também, da perspetiva do atacante, a capacidade de cegar um sistema de deteção no momento da intrusão.

Isto cria uma simetria desconfortável. Sinais de paragem têm de ser fáceis de emitir o suficiente para que um principal legítimo atue depressa numa emergência, e difíceis de forjar o suficiente para que um adversário não consiga suprimir funções de responsabilização. Estes requisitos puxam em direções opostas. Chaves com raiz em hardware que assinam comandos de paragem vinculam a autoridade de terminação a um dispositivo e uma chave específicos, mas a gestão de chaves passa então a fazer parte da sobrecarga operacional de cada implantação.

Sinais de paragem pós-quânticos

A transição pós-quântica acrescenta uma camada ao problema de autenticação da terminação que é frequentemente ignorada. Os sinais de paragem autenticados de hoje dependem normalmente de criptografia assimétrica clássica. Um adversário quântico suficientemente capaz poderia forjar essas assinaturas, não em tempo real, mas potencialmente no futuro usando tráfego capturado antes. Para agentes com longas vidas operacionais, os sinais emitidos hoje podem ser verificáveis durante anos e tornar-se forjáveis quando o limiar quântico for atravessado.

Para dispositivos embebidos em ambientes de cuidados, que podem operar cinco a dez anos sem substituição de firmware, isto não é um horizonte hipotético. Um dispositivo fabricado hoje com sinais de paragem autenticados classicamente pode ainda estar em funcionamento quando as premissas criptográficas subjacentes forem quebradas. Vincular a autoridade de terminação a material de chave resistente ao pós-quântico no momento de fabrico é o mecanismo que mantém o sinal fiável durante a vida operacional do dispositivo.

O que uma arquitetura de terminação exige

Uma arquitetura séria de terminação tem quatro componentes que devem existir antes da implantação de qualquer agente. Primeiro, um mapa de pontos seguros de paragem ao nível do fluxo de trabalho. Segundo, um protocolo de encerramento para cada fluxo que, ao receber um sinal de paragem, leva o agente ao ponto seguro mais próximo em vez de parar imediatamente. Terceiro, um mecanismo autenticado de sinal de paragem que use material de chave adequado à vida de implantação do dispositivo e resistente a falsificação por adversários com capacidades futuras. Quarto, uma política de continuação offline que especifique exatamente o que o agente pode e não pode fazer quando o principal está inalcançável.

Nenhum destes componentes é o botão de paragem. O botão continua disponível como último recurso: corte físico de energia, SIGKILL do processo, reset de hardware. Mas últimos recursos que também são primeiros recursos não são controlos de segurança. São admissões de que a arquitetura nunca foi desenhada para parar com elegância. Em domínios onde as decisões do agente chegam a pessoas reais em tempo real, a paragem graciosa é um requisito de desenho.