O hiato de observabilidade: o que não consegue ver quando um agente age

Existe um hiato sistemático entre o que foi instruído a um agente de IA e o que pode efetivamente observar que ele está a fazer. Não se trata principalmente de um problema de registo, ou de auditoria, ou de interpretabilidade — embora toque nos três. É um problema de temporização. Um agente num sistema implementado age antes que qualquer observador externo possa avaliar, confirmar ou interromper a ação. Quando existe uma entrada de registo, a ação já está concluída.

A maior parte do pensamento sobre segurança de agentes de IA aborda o que acontece depois do facto: como auditar, como atribuir, como corrigir. Estes são instrumentos necessários. Mas são instrumentos retrospetivos. Respondem à pergunta "o que aconteceu?" em vez de "o que está a acontecer?" e nos domínios onde as consequências dos agentes são irreversíveis — onde a máquina se moveu, onde o medicamento foi dispensado, onde o compromisso financeiro foi assumido — a resposta retrospetiva chega tarde demais para importar.

Porque é que a visibilidade em tempo real é mais difícil do que parece

Um agente implementado num ambiente de produção é tipicamente orquestrado em vários sistemas simultaneamente. Pode estar a ler de um armazenamento de dados, a chamar APIs externas e a escrever num sistema de registo, tudo dentro do intervalo de uma única ação lógica. Nenhum observador único vê todas estas sub-operações numa única vista. O registo produzido no final da ação é uma narrativa reconstruída, não um rastreio em direto.

Além disso, os agentes em pipelines complexos frequentemente delegam em sub-agentes ou em ferramentas externas. O principal que autorizou a ação de nível superior pode não ter visibilidade sobre como essa ação foi decomposta e executada nas camadas inferiores. Esta é a forma estrutural do hiato de observabilidade: o âmbito autorizado é definido num nível do sistema; a execução real acontece a um nível diferente, num substrato diferente, numa linha de tempo diferente.

Este hiato estrutural é gerível em contextos de software onde as ações podem ser revertidas — onde uma escrita incorreta numa base de dados pode ser anulada, uma notificação mal direcionada pode ser corrigida. Nos cruzamentos onde a Asaptic Labs opera, o rollback é frequentemente indisponível ou insuficiente. Uma chave assinada sob um algoritmo obsoleto não pode ser dessassinada. Um atuador físico que se moveu não pode ser desmovido. Uma interação de cuidados que ocorreu não pode ser desfeita.

O substituto retrospetivo e os seus limites

A resposta arquitetural padrão à observabilidade em tempo real limitada é o registo pós-hoc abrangente. Combinado com atestação de hardware — que vincula a entrada de registo ao estado atestado do agente em execução — produz registos que são difíceis de falsificar e independentemente verificáveis. Este é um avanço genuíno em relação aos registos de software não atestados.

Mas o substituto retrospetivo tem um limite rígido: não pode transformar uma ação já concluída numa decisão pendente. Um agente de cuidados que entregou a interação errada às 14:03 produz uma entrada de registo completa, assinada e com atestação de hardware às 14:03:02. A entrada de registo está correta. O evento que descreve não é recuperável. A auditoria é sólida; o resultado já está fixo.

Este não é um argumento contra o registo com atestação de hardware — permanece essencial, para responsabilidade, para correção e para treinar o sistema a fazer melhor na próxima instância. Mas é um argumento de que a atestação de hardware e o registo abrangente são condições necessárias para um deployment fiável de agentes, não condições suficientes. Descrevem o que aconteceu. Não impedem que coisas más aconteçam.

Fechar o hiato por design

Fechar o hiato de observabilidade requer escolhas arquiteturais feitas antes do deployment, não dashboards de monitorização adicionados posteriormente. Três princípios restringem o hiato de forma mais direta.

O primeiro é o âmbito estreito. Um agente cujo conjunto de ações autorizadas é pequeno produz um hiato de observabilidade pequeno. Um agente com autorização ampla — que pode ler, escrever e agir em grandes partes de um sistema — cria um hiato proporcional a essa amplitude. O princípio da pegada mínima é parcialmente um princípio de segurança e parcialmente um princípio de observabilidade: uma pegada estreita é uma pegada que pode efetivamente observar.

O segundo são os pontos de verificação observáveis. Algumas ações num pipeline complexo podem ser decompostas numa sequência de estados intermédios observáveis, cada um dos quais pode ser verificado antes do passo seguinte prosseguir. Isto é arquiteturalmente mais dispendioso do que uma única ação de ponta a ponta, mas transforma o hiato de observabilidade de um grande ponto cego numa série de passos menores e interrompíveis. Os pontos de verificação forçados por hardware — onde o ambiente de execução confiável pausa e expõe o estado antes de prosseguir — são a forma mais forte disto; não podem ser contornados pelo próprio agente.

O terceiro são as portagens de aprovação humana em passos irreversíveis. O conjunto de ações que são genuinamente irreversíveis num dado domínio é geralmente mais pequeno do que o conjunto de ações que o agente está autorizado a tomar. Identificar esse conjunto irreversível e exigir confirmação humana explícita antes de cada um desses passos não derrota a autonomia do agente — restringe a autonomia aos passos onde a velocidade importa, e restaura o controlo humano deliberado nos passos onde a reversibilidade não existe.

Porque é que isto importa de forma diferente em cada cruzamento

No cruzamento quântico, o hiato de observabilidade é uma superfície de vulnerabilidade criptográfica. Um agente cujas ações de assinatura de chaves não podem ser observadas em tempo real pode estar a operar com credenciais que já foram comprometidas, emitindo assinaturas cuja validade só será contestada após a migração para algoritmos pós-quânticos revelar que as chaves legadas eram fracas. A migração pós-quântica é ela própria um problema de observabilidade: não se pode migrar o que não se consegue ver.

No cruzamento de hardware, o hiato é um hiato de segurança física. Um sistema físico que age mais rapidamente do que qualquer observador humano consegue avaliar é, por definição, não supervisionável no sentido convencional. A única supervisão disponível é arquitetural: envelopes de restrição pré-definidos que o sistema não pode sair, pontos de verificação forçados por hardware que o agente não pode contornar, e registos de ações assinados que tornam cada passo atribuível após o facto mesmo quando não pôde ser observado no momento.

No cruzamento de cuidados, o hiato é um problema de consentimento e dignidade. Um agente de cuidados que age entre o momento em que o consentimento foi dado e o momento em que um humano poderia intervir pode agir corretamente — na maior parte das vezes. Mas em ambientes de cuidados complexos, o consentimento é dinâmico, as condições mudam sem aviso, e o hiato entre "autorizado no momento do início da tarefa" e "adequado no momento da ação" é onde ocorre o dano. O hiato de observabilidade não é um inconveniente de engenharia em contextos de cuidados. É onde o ser humano dentro do sistema é mais vulnerável.