O problema do envelope operacional: responsabilidade quando um agente de IA deve decidir na fronteira dos seus limites operacionais certificados

Cada sistema autónomo implementado no mundo físico possui um envelope operacional certificado — um conjunto delimitado de condições sob as quais foi demonstrado que o sistema funciona de forma fiável. Para um veículo aéreo, o envelope pode especificar a velocidade máxima do vento, visibilidade mínima, intervalo de temperatura e limites de carga. Para um navio marítimo, abrange o estado do mar, a corrente e a proximidade a obstáculos de navegação. Para um robô terrestre que trabalha ao lado de pessoas, inclui a inclinação do piso, iluminação, densidade de obstáculos e os limites do seu domínio de sensor treinado. O envelope é o contrato de responsabilidade entre o designer e o operador: opere aqui, e o comportamento do sistema está bem caracterizado.

O problema é que os envelopes são documentos estáticos escritos no momento do design. As condições no mundo são contínuas e deterioram-se. Quando um sistema autónomo está a operar em condições que estão a deteriorar-se em direção aos seus limites certificados — velocidade do vento a aumentar, visibilidade a diminuir, reserva de bateria a cair — em algum momento o sistema deve decidir se avança ou aborta. Essa decisão nunca está claramente dentro ou fora do envelope. É sempre um julgamento sobre a proximidade ao limite, feito sob incerteza, por um sistema cujas leituras de sensores se tornam menos fiáveis precisamente quando as condições se aproximam da fronteira.

É aqui que o hiato de responsabilidade se abre. Se o sistema avançar e algo correr mal, a investigação pós-incidente perguntará: estava o sistema a operar dentro do seu envelope certificado no momento do evento? Esta pergunta parece respondível. Não é. O envelope especifica limites em termos de parâmetros físicos — velocidade do vento em m/s, visibilidade em metros — mas o conhecimento do sistema sobre esses parâmetros vem através de sensores com os seus próprios limites de incerteza, que crescem na fronteira do envelope. A leitura do anemómetro que mostrou 14 m/s quando o limite era 15 m/s não lhe diz se a velocidade real do vento era 13 m/s ou 16 m/s. O sistema estava dentro do limite certificado por uma leitura. Se estava dentro da condição real depende de uma questão que o registo de auditoria não consegue responder.

O hiato tem uma segunda dimensão. Mesmo quando a leitura do sensor é precisa, a questão relevante não é "esta leitura estava dentro do envelope?" mas "o que sabia o sistema sobre a sua proximidade ao limite, e que peso deu a essa proximidade na sua decisão de avançar/abortar?" Um sistema que avança a 14,9 m/s quando o limite é 15 m/s está a tomar uma decisão diferente de um que avança a 10 m/s com a mesma leitura. O primeiro está a apostar na precisão do sensor no pior momento possível. O segundo tem margem de sobra. Se ambos os sistemas estão certificados para o mesmo envelope, e ambos têm registos de auditoria mostrando que estavam dentro do limite quando partiram, nada nesse registo os distingue.

O cruzamento da segurança pós-quântica torna isto mais difícil. Os dados dos sensores ambientais que alimentam a decisão de avançar/abortar — leituras de vento, localizações por GPS, sondagens de profundidade — viajam por caminhos de comunicação cuja integridade não pode ser dada como garantida. Um nó de sensor que transmite leituras manipuladas, colocando o sistema dentro do envelope quando está realmente fora, é um modo de falha diferente de uma excedência mecânica do limite, e produz um problema de responsabilidade diferente. A leitura manipulada cria um registo de auditoria limpo: o sistema viu 14 m/s, decidiu avançar, e estava dentro dos limites certificados. A questão forense de se essas leituras eram autênticas requer uma cadeia de custódia para dados de sensores que quase nenhum sistema autónomo atual mantém. As atestações de sensores assinadas e com timestamp — o cruzamento de segurança de hardware — são a primitiva que torna o registo de auditoria significativo. Sem elas, o registo do envelope documenta o que o sistema foi informado sobre as condições, não o que as condições realmente eram.

O caminho de substituição humana não fecha o hiato. As decisões de limite de envelope são precisamente os casos onde os operadores têm mais probabilidade de ser consultados. Mas o humano que toma a decisão de avançar/abortar está a trabalhar com as mesmas leituras de sensores, a mesma previsão meteorológica, a mesma estimativa de incerteza que o sistema autónomo. Adicionar um humano à cadeia muda quem toma a decisão; não melhora a situação epistémica subjacente. O que muda — criticamente — é quem carrega a responsabilidade. Um sistema que avança de forma autónoma perto dos seus limites e falha tem uma questão de responsabilidade de design. Um sistema que apresenta a condição limite a um operador humano que autoriza avançar, depois falha, converteu uma questão de design numa questão de julgamento operacional. Estas não são equivalentes, e a diferença importa enormemente em processos pós-incidente.

A implicação estrutural é que a responsabilidade do envelope não pode assentar numa determinação binária dentro/fora. Requer registo contínuo de proximidade: em cada ponto de decisão, qual era a distância estimada do sistema a cada parâmetro do envelope, qual era a incerteza nessa estimativa, e como é que essa incerteza entrou no cálculo de avançar/abortar? Sistemas que registam apenas a leitura bruta do sensor criam um registo que pode dizer "dentro dos limites" quando a resposta mais honesta é "dentro da leitura, com incerteza que coloca a condição real fora dos limites com probabilidade não trivial." Essa distinção é onde a responsabilidade de IA no mundo físico será contestada à medida que os sistemas autónomos escalam — não nos casos claros de excedência óbvia do limite, mas na zona de gradiente onde o envelope certificado e o envelope real divergem.

O sistema autónomo responsável não é o que nunca excede o seu envelope. É aquele cujo registo pode mostrar, em cada momento de decisão perto da fronteira, exatamente o que sabia, exatamente o quão confiante estava, e exatamente como esse conhecimento entrou na decisão. Esse nível de registo é um requisito de design, não um aperfeiçoamento pós-incidente. Quando as condições se deterioraram para além do limite, já é tarde demais para instrumentar o raciocínio de avançar/abortar que importava.