O problema da legibilidade: um registo que ninguém consegue ler não é responsabilização

Existe uma versão de responsabilização formalmente completa mas praticamente vazia. O registo de auditoria existe. A decisão ficou armazenada. A atestação criptográfica está anexada. E, no entanto, ninguém na organização, nem o engenheiro, nem o responsável de conformidade, nem a pessoa cujo cuidado foi gerido pelo agente, consegue ler o registo e compreender por que razão o agente fez o que fez. O registo é prova sem significado. Este é o problema da legibilidade.

O problema da legibilidade é distinto de falhas próximas. A falha forense pergunta se existe registo. A falha de observabilidade pergunta o que se consegue ver enquanto o agente está em execução. A falha de especificação pergunta se os objectivos foram definidos correctamente. A legibilidade é mais estreita: o registo existe, o agente concluiu a tarefa, mas o rasto de decisão, a cadeia de inferência que levou dos dados de entrada à acção, não é interpretável pelos humanos responsáveis pela supervisão. A auditoria produz teatro de conformidade, não responsabilização.

Por que a legibilidade falha por defeito

A legibilidade não é uma propriedade natural do comportamento registado de um agente. É uma escolha de desenho que tem de ser feita explicitamente, e é cara. Um rasto de decisão suficientemente legível tem três propriedades: é completo, porque captura os dados a que o agente prestou atenção e não apenas os resultados; é contextual, porque regista o estado do mundo no momento da decisão e não um resumo abstracto; e é interpretável, porque é expresso em termos que um revisor humano qualificado consegue seguir sem ferramentas especializadas.

Os sistemas agentivos actuais falham rotineiramente uma ou mais destas propriedades. A completude falha quando um agente regista a conclusão sem registar a cadeia de raciocínio. A fidelidade contextual falha quando a acção é registada sem o estado ambiental que a desencadeou. A interpretabilidade falha quando o registo de auditoria é expresso em probabilidades de tokens, pesos de atenção ou embeddings brutos que podem ser completos tecnicamente, mas são ilegíveis para humanos sem ferramentas de conversão que talvez não existam quando o registo for revisto.

No cruzamento da segurança pós-quântica

A transição pós-quântica transforma a legibilidade num requisito de segurança. Registos de atestação criptográfica produzidos por agentes que executam algoritmos pós-quânticos podem incorporar identificadores de algoritmo, referências a material de chaves e cadeias de hashes em formatos auditáveis por ferramentas especializadas, mas ilegíveis para os engenheiros de segurança e auditores que têm de os rever. Quando um evento de assinatura é contestado, a questão não é apenas se a assinatura valida, mas se um revisor humano consegue seguir a cadeia de autoridade que a produziu.

A migração de algoritmos clássicos para algoritmos resistentes a computadores quânticos acrescenta uma segunda camada de legibilidade. Um sistema em migração pode conter agentes que usam gerações diferentes de algoritmos e produzem registos em formatos diferentes. O trilho composto está presente tecnicamente, mas fragmentado do ponto de vista interpretativo. A legibilidade por desenho exige registos que identifiquem o seu contexto algorítmico em linguagem humana, ao lado do material criptográfico.

No cruzamento do hardware

Agentes de hardware produzem telemetria a uma cadência e num formato moldados pelas restrições do dispositivo, não pelas necessidades do revisor humano. Leituras de sensores, transições de estado e relatórios de atestação são registados em formatos binários, identificadores de campo abreviados e carimbos temporais nativos do dispositivo. Um relatório de atestação pode ser verificado criptograficamente em milissegundos por um servidor, mas, quando mostrado a um engenheiro de conformidade, ser apenas uma sequência de valores hexadecimais sem narrativa.

O problema da legibilidade no hardware é agravado pelo tempo. Os registos produzidos hoje podem ser revistos anos depois, num contexto regulatório, numa investigação de incidente ou num processo de responsabilidade. Os engenheiros que desenharam o formato podem já não estar disponíveis. As ferramentas que liam os registos podem ter sido abandonadas. Um registo cuja legibilidade depende da equipa e das ferramentas actuais é legível hoje e ilegível amanhã.

No cruzamento do cuidado no mundo físico

Em contextos de cuidado, o problema da legibilidade tem consequências directas para as partes interessadas. Cuidadores, supervisores clínicos, famílias e reguladores têm interesses legítimos em compreender o que um agente de cuidado fez e porquê. Estas pessoas não são engenheiros. Não conseguem seguir um diário de decisão expresso em estados internos do modelo. Conseguem seguir uma narrativa estruturada: a esta hora, nestas condições, o agente fez isto porque avaliou a situação desta forma.

Um agente de cuidado que administra ou retém uma intervenção sem produzir um registo legível do seu raciocínio cria uma falha documental que afecta os operadores e as pessoas cuidadas. Quando um evento adverso é investigado, a pergunta “o que considerou o agente?” tem de poder ser respondida a partir do registo, sem pedir ao programador que reconstrua estados internos a partir de logs que nunca foram desenhados para leitura externa.

Legibilidade como requisito de desenho

A implicação prática é que a legibilidade não pode ser acrescentada depois. Um sistema que regista o que os agentes fazem sem registar por que o fizeram não se torna legível por adicionar mais armazenamento. O contexto de decisão, os dados, o estado, o enquadramento do objectivo e as alternativas consideradas e rejeitadas, tem de ser capturado no momento da decisão numa forma que possa ser lida sem o sistema original.

Construir agentes legíveis é mais caro do que construir agentes que registam resultados. Exige rastos explícitos de raciocínio, captura estruturada de estado nas fronteiras de decisão e formatos de registo desenhados para revisão humana. Em domínios onde a responsabilização é uma exigência real, como segurança pós-quântica, hardware embebido e cuidado humano, esse custo não é opcional.