O problema da deriva de calibração: responsabilidade quando os inputs físicos do agente se degradam em silêncio

Um sensor que falha deixa de produzir leituras, ou produz leituras tão obviamente erradas que acionam alertas. Um sensor que deriva continua a produzir leituras. Elas estão desviadas por uma margem pequena e lentamente crescente. Em cada momento, o valor parece plausível. Isoladamente, nenhuma leitura é suspeita o suficiente para agir. Só em retrospetiva, depois de uma decisão informada por meses de inputs desviados causar dano, o padrão se torna visível.

Este é o problema da deriva de calibração. Ele fica na junção entre hardware e responsabilidade, e é mais agudo nos domínios em que agentes de IA estão a ser implantados mais depressa: cuidados no mundo físico e infraestruturas críticas. Os quadros de responsabilidade em desenvolvimento para agentes de IA ainda não o tratam adequadamente, em parte porque as categorias jurídicas e filosóficas foram construídas em torno de eventos discretos, não de degradação gradual.

Porque a deriva é mais difícil do que a falha

A falha de sensor tem uma estrutura clara de responsabilidade. Um agente decide com base numa leitura; depois descobre-se que o sensor falhou; a ação do agente pode ser ligada a um input defeituoso com momento de falha conhecido. A responsabilidade pode ser repartida entre o programador do agente, o fornecedor de hardware e o operador responsável pela manutenção.

A deriva dissolve essa estrutura. Não há momento de falha. O sensor produzia leituras aceitáveis na última calibração e continua a produzir leituras dentro de uma faixa plausível. O agente não agiu sobre um input partido; agiu sobre um input que se tornou gradualmente menos exato. Sem referência externa, o agente não consegue distinguir. Em muitos casos, o operador também não.

A pergunta torna-se: quem responde pelo dano causado por um agente que agiu corretamente segundo os inputs disponíveis, quando esses inputs se degradaram em silêncio? A resposta não é óbvia e os quadros atuais não a dão.

O cruzamento do hardware: quando raízes de confiança derivam

No cruzamento do hardware, a deriva toca as fundações da identidade do agente e da correção criptográfica. Módulos de segurança de hardware dependem de osciladores internos cuja deriva de frequência afeta o timing de operações criptográficas. A deriva temporal em protocolos que assumem relógios sincronizados, incluindo muitos esquemas de troca de chaves pós-quânticos em implantação, pode fazer operações saírem silenciosamente da especificação. A operação tem sucesso porque termina sem erro, mas falha porque as garantias temporais já não se mantêm.

Isto importa para agentes que gerem estado criptográfico. Um agente responsável por rotação de chaves, gestão de sessões ou ciclo de vida de certificados num sistema ancorado em hardware decide com informação de tempo e estado dependente de hardware calibrado. Se o hardware derivou, a visão do agente sobre o estado criptográfico está subtilmente errada, e ele continuará confiante porque nada no ambiente observável sinaliza problema.

O desafio de responsabilidade é que o agente não é o ponto de falha e o hardware não está partido de modo detetável. O modo de falha vive no intervalo entre calibrações, intervalo que muitas vezes não é definido, acompanhado ou tratado como artefacto relevante para responsabilidade.

O cruzamento dos cuidados: quando as leituras parecem certas mas não são

Em cuidados no mundo físico, a deriva cria risco imediato e difícil de defender. Agentes de cuidados decidem sobre horários de medicação, níveis de atividade e limiares de escalada com leituras de sensores embutidos no ambiente. Um oxímetro a ler dois pontos percentuais acima não parece avariado. Uma balança que derivou cinco quilos abaixo não aciona alarme. Um sensor de movimento com raio de deteção reduzido não reporta erro; apenas deixa de registar atividade real.

Em cada caso, o agente age corretamente dados os seus inputs. Escala quando leituras passam limiares configurados e mantém o plano que as leituras suportam. A falha é invisível até ocorrer dano que, retrospetivamente, as leituras desviadas explicam.

As pessoas mais expostas são destinatários de cuidados que não conseguem reportar que as leituras estão erradas. Um residente idoso com alterações fisiológicas reais pode não distinguir entre uma decisão incorreta do agente e a situação ser exatamente como o agente descreve. A confiança do agente nas leituras, muitas vezes comunicada à equipa como confiança na decisão, não está calibrada ao estado físico do hardware que fornece a prova.

O que a arquitetura de responsabilidade exige

Tratar a deriva como problema de responsabilidade, e não apenas de manutenção, muda o que a arquitetura deve fazer. Primeiro, eventos de calibração têm de ser artefactos de auditoria de primeira classe. O estado de calibração de cada sensor usado por um agente deve ser um facto registado, datado e consultável, tão parte do registo de responsabilidade como as decisões tomadas.

Segundo, os agentes devem propagar a incerteza dos sensores para os outputs. Um agente que atua sobre inputs de hardware cuja última calibração está fora da janela de tolerância deve assinalar essa incerteza no registo de decisão e, quando possível, às pessoas que dependem dos outputs. A confiança numa decisão não deve ser independente do estado físico do hardware que fornece a evidência.

Terceiro, calendários de calibração devem ser obrigações auditáveis, não recomendações de manutenção adiáveis. Em cuidados, isto significa ligar a autoridade operacional do agente ao estado de calibração dos sensores. Um agente cujos sensores ultrapassaram o limiar de calibração deve operar em modo degradado, com autonomia reduzida e avisos explícitos, até a calibração ser restaurada.

A deriva de calibração não é exótica. Todo agente de IA implantado num ambiente físico a enfrenta. A arquitetura de responsabilidade terá de a tratar diretamente, não como caso periférico, mas como propriedade estrutural do domínio operacional.