O problema do esquecimento organizacional: responsabilização quando a implementação de IA corrói o conhecimento institucional necessário para avaliar decisões de IA

Cada framework de responsabilização de IA assenta numa premissa silenciosa: que as pessoas posicionadas como supervisores são capazes de reconhecer quando um sistema de IA está errado. Esta premissa raramente é enunciada porque parece obviamente verdadeira no momento da implementação. Os engenheiros que construíram o sistema compreendem-no. Os especialistas de domínio que aprovaram a sua utilização conseguem detetar um output implausível. A equipa de operações viu dados em bruto suficientes para reconhecer quando um modelo está a produzir anomalias. A supervisão não é vazia no momento do lançamento.

O que muda é o que acontece a seguir.

À medida que os agentes de IA assumem uma tarefa — sinalizar anomalias, redigir avaliações de cuidados, aprovar pedidos de acesso, identificar defeitos de hardware — os humanos que realizavam essa tarefa deixam de a fazer. Deixam de a fazer não porque tenham sido removidos do processo, mas porque o processo já não os exige da mesma forma. Reveem outputs. Aprovam recomendações. Permanecem formalmente responsáveis. Mas as horas de prática diária que construíam a sua capacidade de avaliar independentemente esses outputs já não se acumulam. A competência que tornava a supervisão significativa é lentamente substituída pela familiaridade com a interface através da qual a supervisão é executada.

Ao longo de meses, e depois de anos, a instituição perde a capacidade em que a sua arquitetura de responsabilização foi concebida para assentar. Não dramaticamente, através de uma falha repentina. Gradualmente, através de uma substituição lenta do julgamento genuíno pelo output revisto. Quando o sistema de IA produz uma categoria de erro que o processo de supervisão deveria detetar, o processo de supervisão já não contém pessoas que o possam detetar.

Por que razão isto é estruturalmente diferente da atrofia de competências

A versão individual deste problema — um cirurgião que perde destreza manual por depender de assistência robótica, um piloto que perde a capacidade de voar manualmente pela automação — está bem documentada. A versão organizacional é estruturalmente diferente e mais perigosa.

A atrofia de competências individual afeta a capacidade de uma pessoa e pode ser resolvida através de reciclagem individual. Quando uma organização perde o conhecimento institucional necessário para avaliar um sistema de IA, várias coisas são simultaneamente verdadeiras. O conhecimento é distribuído: nenhuma pessoa singular o detém, e a atrofia de nenhuma pessoa singular explica a sua ausência. A perda é invisível: a organização continua a executar supervisão, e as suas métricas — taxas de revisão, tempos de aprovação, contagens de escalamento — não mostram qualquer degradação. O conhecimento não é facilmente reconstruído: existe no julgamento acumulado de pessoas que já não praticam a tarefa subjacente, e reconstruí-lo exige reestabelecer o pipeline de prática que a sua ausência encerrou. E a perda é auto-reforçante: quanto menos capacidade institucional existe para avaliar criticamente os outputs de IA, mais esses outputs são aceites como autoritativos, o que reduz ainda mais a procura de avaliação independente, o que corrói ainda mais a capacidade.

A lacuna de responsabilização que isto cria não é uma lacuna na estrutura formal da supervisão. É uma lacuna entre a estrutura formal e o seu conteúdo real. A instituição tem um processo de supervisão. Esse processo está a ser executado. As pessoas que o executam são formalmente qualificadas. Mas o conhecimento que lhes permitiria reconhecer um erro sistemático degradou-se ao ponto de já não conseguirem detetar o que o processo foi concebido para detetar.

O cruzamento da segurança pós-quântica

Em contextos de segurança, o problema do esquecimento organizacional tem uma forma específica e severa. Os sistemas criptográficos requerem conhecimento institucional para serem avaliados corretamente: a capacidade de avaliar se uma implementação é segura, se uma cerimónia de chaves foi conduzida com o rigor adequado, se uma cadeia de attestation é válida, se uma migração para algoritmos resistentes a quantum eliminou efetivamente as vulnerabilidades que se destinava a corrigir. Este conhecimento existe num pequeno número de pessoas que o construíram através de anos de exposição a implementações corretas e defeituosas.

Quando uma organização implementa ferramentas de IA para automatizar auditorias criptográficas, validação de certificados ou avaliação de postura de segurança, os criptógrafos que de outra forma executariam essas funções redirecionam gradualmente a sua atenção. A IA produz outputs; eles reveem outputs. Se os outputs da IA são plausíveis — consistentes com resultados anteriores, sem anomalias óbvias, formatados corretamente — a revisão é breve. A capacidade de verificar independentemente se a avaliação da IA é correta, em vez de meramente consistente com outputs anteriores, requer exatamente a prática que a implementação de IA tornou desnecessária.

A consequência é uma organização que está formalmente a conduzir supervisão criptográfica mas praticamente incapaz de detetar um erro sistemático na sua própria postura de segurança — incluindo um erro introduzido por uma transição para algoritmos pós-quânticos que foi nominalmente concluída mas criptograficamente inadequada. A IA avaliou a transição como completa. Os revisores consideraram a avaliação plausível. Ninguém na organização tinha a capacidade de verificar se a avaliação estava correta.

O cruzamento do hardware

A verificação de hardware é um dos domínios mais suscetíveis ao esquecimento organizacional. A capacidade de avaliar se um design de chip é seguro, se uma attestation de firmware é válida, se uma raiz de confiança de hardware foi corretamente implementada — estas capacidades requerem exposição sustentada tanto ao processo de design como aos modos de falha que surgem quando corre mal. Os sistemas de IA que automatizam a verificação de design, análise de segurança e attestation da cadeia de fornecimento reduzem a procura de julgamento humano exatamente nos pontos onde o julgamento humano é mais difícil de manter.

O ciclo de vida do hardware cria um risco de timing específico. Uma organização que implementa ferramentas de verificação de IA este ano encontrará, em cinco anos, que os engenheiros que se lembram de como era a verificação manual estão a aproximar-se da reforma ou já saíram. O seu conhecimento institucional — que aspeto têm os erros, quais as especificações frequentemente mal lidas, quais os fornecedores que introduzem quais anomalias — não se transfere para o trilho de auditoria do sistema de IA de uma forma que possa ser recuperada. Existe nas pessoas que o detinham, e quando partem, desaparece. A IA continua a produzir outputs de verificação. A organização continua a revê-los. A capacidade de reconhecer que a revisão se tornou sem sentido já foi perdida.

O cruzamento dos cuidados no mundo físico

Em ambientes de cuidados, o problema do esquecimento organizacional adquire uma dimensão adicional: as pessoas cujo bem-estar depende da precisão das avaliações de IA são frequentemente as menos capazes de identificar e reportar quando essas avaliações estão erradas.

Uma organização de cuidados que implementa IA para avaliar o bem-estar dos residentes, sinalizar deterioração e gerar planos de cuidados desloca gradualmente o trabalho do julgamento clínico de pessoal de cuidados treinado para a tarefa de rever outputs de IA. O conhecimento que torna o julgamento clínico possível — aprendido através de anos de observação da subtileza de como o declínio se apresenta, a diferença entre letargia induzida por medicação e letargia de início de infeção, os padrões que enfermeiros experientes transportam na sua prática — não está registado nas características de input da IA. Existe nas pessoas que o construíram através da exposição à gama completa de apresentação clínica.

À medida que os outputs de IA se tornam o meio primário através do qual as decisões clínicas são estruturadas, as horas de observação direta que constroem esse julgamento diminuem. O pessoal que teria desenvolvido essa capacidade está a rever outputs em vez de praticar a competência subjacente. Quando a IA comete um erro sistemático — classificando erroneamente uma classe de sinais de deterioração que não foi treinada para reconhecer — a instituição pode já não conter a competência clínica para reconhecer que a classificação está errada. Os residentes não conseguem reportar o erro por si próprios. O pessoal revê outputs que não tem competência para questionar. A estrutura de supervisão permanece formalmente intacta e substancialmente vazia.

A resposta do design de responsabilização

O problema do esquecimento organizacional não tem uma solução simples, mas tem uma resposta estrutural tratável. A arquitetura de responsabilização para implementações de IA em domínios consequentes deve tratar a capacidade de avaliação institucional como um recurso que requer manutenção ativa, não uma propriedade fixa da força de trabalho.

Isto significa várias coisas na prática. Primeiro, o processo de supervisão para decisões de IA de alto risco deve incluir exercícios periódicos nos quais revisores designados avaliam uma amostra de decisões de IA executando o julgamento subjacente de forma independente — sem o output de IA — e comparando resultados. Isto não é uma auditoria do sistema de IA. É uma auditoria da capacidade de avaliação das pessoas responsáveis pela supervisão. Se a lacuna entre o seu julgamento independente e o output da IA está a alargar, e já não conseguem identificar que lado da lacuna está correto, a arquitetura de supervisão começou a falhar.

Segundo, o conhecimento institucional que fundamenta a capacidade de avaliação deve ser tratado como uma forma de ativo organizacional que requer planeamento de sucessão. Quando as pessoas que construíram a sua competência antes da implementação de IA se reformam ou saem, a questão de onde virá a capacidade de avaliação para as substituir precisa de ser respondida antes de partirem, não depois.

Terceiro, os documentos de autorização para implementações de IA em domínios de alto risco devem identificar explicitamente a capacidade de avaliação de que dependem — qual competência, detida por quem, em que quantidade mínima — e especificar o que acontece à implementação se essa capacidade cair abaixo do limiar necessário para uma supervisão significativa.

A implementação de IA responsável não é aquela com a estrutura de supervisão formal mais rigorosa. É aquela cuja estrutura de supervisão foi concebida com o pressuposto de que a capacidade dos que executam a supervisão irá degradar-se — e que tomou medidas explícitas para prevenir, detetar e responder a essa degradação antes de ela tornar a responsabilização impossível.