A lacuna de verificação

Toda a arquitectura de responsabilidade para agentes de IA assenta numa suposição tão básica que raramente é enunciada: que os humanos responsáveis pela supervisão podem, em princípio, verificar se a saída do agente é correcta. Remover essa suposição e a arquitectura muda completamente de carácter. O papel de supervisão torna-se cerimonial. O registo de aprovação não reflecte uma avaliação genuína. A estrutura de responsabilidade existe no papel enquanto o agente opera com autoridade não examinada.

A lacuna de verificação é a condição estrutural que surge quando verificar a saída de um agente de IA requer capacidades semelhantes ou maiores do que as necessárias para produzi-la. É distinta do viés de automação, que é uma tendência comportamental para deferir sem escrutínio adequado. A lacuna de verificação é uma restrição epistemológica: a capacidade de escrutínio independente está ausente, não apenas subutilizada. E não é um acidente de implantação. Os agentes são tipicamente implantados em domínios onde a capacidade humana é insuficiente, dispendiosa ou indisponível — o que é precisamente a razão pela qual a automação é introduzida. A lacuna está incorporada na justificação da implantação.

Isto importa porque a verificação não é meramente uma verificação de qualidade. É o mecanismo pelo qual a responsabilidade se liga à realidade. Um registo que é tecnicamente completo mas cujo conteúdo não pode ser avaliado independentemente não suporta responsabilidade. Uma recomendação aprovada que o aprovador não tinha capacidade de avaliar não é supervisão responsável — é deferência registada. A diferença entre as duas é a diferença entre supervisão e teatro.

No cruzamento da segurança pós-quântica

A migração criptográfica pós-quântica está entre as tarefas de governação tecnicamente mais exigentes que os agentes de IA estão a ser solicitados a gerir. A selecção de algoritmos, o ajuste de parâmetros, o design de esquemas híbridos e o sequenciamento de migração envolvem julgamentos ao nível da investigação activa. As organizações que implantam agentes para gerir estas transições estão, na maioria dos casos, a fazê-lo precisamente porque carecem da experiência interna para tomar estas decisões ao ritmo e profundidade exigidos. O agente é introduzido para preencher uma lacuna de capacidade — mas a mesma lacuna impede a verificação independente das recomendações do agente.

Quando um agente recomenda um determinado caminho de migração, a organização que aprova essa recomendação raramente tem a experiência para avaliar se o caminho é sólido. A aprovação reflecte confiança institucional no agente e na relação com o fornecedor, não avaliação técnica independente. Se a recomendação do agente estiver errada — por causa de um erro de configuração subtil, uma distribuição de treino desactualizada, ou um limite de capacidade que o agente não consegue reconhecer — a lacuna de verificação significa que o erro pode persistir através do processo de aprovação sem ser detectado. O registo mostrará autorização; a supervisão terá estado ausente.

No cruzamento do hardware

Os agentes de hardware que operam em ambientes de infra-estrutura produzem saídas — classificações de anomalias, veredictos de atestação, diagnósticos de manutenção — que frequentemente requerem acesso físico e conhecimento profundo do dispositivo para verificar independentemente. Um operador que recebe o relatório de um agente de que um dispositivo está saudável não consegue, na maioria dos casos, confirmar independentemente essa saúde sem reproduzir a recolha de dados de sensor, o processamento de sinal e o reconhecimento de padrões do agente. A saída do agente não é uma fonte entre várias; é frequentemente o único relato estruturado da condição do dispositivo disponível.

A lacuna de verificação em contextos de hardware é agravada pelo facto de as saídas do agente se tornarem entradas para sistemas a jusante. Uma atestação não verificada propaga-se para registos de confiança; uma classificação de anomalia não verificada conduz filas de manutenção. A lacuna não fica limitada ao ponto de avaliação original — flui para jusante, incorporando julgamentos de agente não examinados na infra-estrutura de que a supervisão subsequente depende. Cada consumidor a jusante da saída do agente herda a lacuna de verificação da avaliação original.

No cruzamento do cuidado no mundo físico

Em contextos de cuidado, a lacuna de verificação é mais clara e mais consequente. Uma recomendação clínica de um agente de IA é produzida integrando sinais — imagiologia, valores laboratoriais, história, monitorização em tempo real — a uma escala e granularidade que a equipa de cuidado não consegue replicar através de raciocínio independente no tempo disponível. A recomendação é emitida porque a equipa de cuidado não chegaria de outra forma à mesma conclusão. Essa mesma assimetria torna a verificação independente estruturalmente difícil: se a equipa tivesse a capacidade de avaliar independentemente a síntese clínica, poderiam não ter precisado do agente.

Isto não significa que os agentes de cuidado não devam ser implantados. Significa que a arquitectura de responsabilidade deve ser concebida para a condição de que a verificação contemporânea frequentemente não é possível. A aprovação da equipa de cuidado de uma recomendação não pode ser tratada como confirmação da sua correcção — é, na melhor das hipóteses, uma verificação de plausibilidade contra a experiência clínica e uma atribuição de responsabilidade. Isso é um acto significativo, mas não é verificação. Tratá-lo como verificação infla a responsabilidade aparente de um sistema enquanto deixa a sua estrutura de responsabilidade real inalterada.

Conceber para a lacuna

A lacuna de verificação não pode ser eliminada em domínios onde é estrutural. Mas pode ser concebida em torno dela. Três abordagens são tratáveis nos três cruzamentos.

A primeira é a escalada para genuína perícia externa. Quando uma decisão ultrapassa um limiar definido de consequência, a arquitectura de responsabilidade deve exigir um revisor com a capacidade real para verificar a saída — um criptógrafo independente, um engenheiro de hardware externo, um revisor clínico especializado. Isto é dispendioso, e requer aceitar que nem toda a saída do agente receberá verificação em tempo real. Aceitar isso explicitamente é mais honesto do que manter a ficção de que a aprovação interna de rotina constitui supervisão.

A segunda é a auditoria retrospectiva. Para domínios onde a verificação contemporânea é impraticável, um programa de revisão post-hoc estruturada — amostragem de decisões de agente contra a verdade fundamental onde a verdade fundamental se torna disponível — pode fechar parte da lacuna ao longo do tempo. As decisões do agente não são verificadas no momento; são avaliadas depois de os resultados serem conhecidos. Isto não previne erros individuais, mas fornece um sinal de responsabilidade genuíno que os registos de aprovação de rotina não conseguem. O registo de auditoria deve ser separado dos próprios registos do agente para evitar validação circular.

A terceira é limitar a autoridade consequente ao âmbito verificável. Onde a lacuna de verificação é maior — onde as saídas do agente são menos verificáveis independentemente — a autoridade que o agente detém deve ser mais restrita. Não se trata de limitar a capacidade mas de calibrar a autoridade à infra-estrutura de supervisão disponível. Um agente cujas saídas não podem ser verificadas em tempo real não deve ter autoridade para tomar acções irreversíveis sem barreiras processuais adicionais.

A lacuna de verificação é uma das restrições estruturais mais difíceis na responsabilidade de agentes de IA. Ignorá-la produz registos de responsabilidade que parecem completos e não o são. Reconhecê-la e conceber em torno dela é a pré-condição para uma responsabilidade que é real em vez de registada.