A lacuna de responsabilidade da alucinação: responsabilização quando agentes de IA atuam no mundo físico com base em informação falsa afirmada com confiança

Um agente de cuidados recebe uma pergunta sobre interação medicamentosa. Responde de forma confiante, completa e errada. A família segue a orientação e ocorre dano. Quem deve responder por isso?

Esta é a lacuna de responsabilidade da alucinação: quando um agente de IA toma uma ação consequente no mundo físico com base em informação afirmada com confiança mas sem base factual, a responsabilidade por essa ação fica estruturalmente dispersa de uma forma que os quadros normais não resolvem.

A estrutura da lacuna

Uma alucinação não é fraude. O agente que produz informação falsa não violou o seu âmbito autorizado: não ultrapassou permissões, não violou instruções e não foi comprometido. Funcionou exatamente como autorizado, mas errou.

Isto cria um problema fundamental de responsabilidade. O programador do modelo não responde por um resultado falso específico, se o modelo foi treinado segundo os melhores padrões disponíveis. O implantador não responde, se a configuração estava correta. O operador que aprovou a implantação não responde, se a aprovação foi adequada. O próprio agente não tem estatuto de parte responsável. Ainda assim, o dano ocorreu.

A lacuna existe porque os quadros de responsabilidade são construídos sobre autorização: quem permitiu o quê, quem atuou dentro ou fora dessa permissão e quem deveria ter impedido. A alucinação escapa porque é ação autorizada a produzir consequência não autorizada. Cada parte da cadeia pode ter agido corretamente em relação ao seu papel, e o resultado ainda assim falha.

O cruzamento da segurança pós-quântica

A criptografia pós-quântica trata da integridade e autenticidade dos sistemas de IA. Atestação de hardware pode verificar que os pesos do modelo não foram alterados, que o ambiente de execução é o autorizado e que a saída foi assinada pelo sistema que o responsável pretendia implantar. Nada disto resolve precisão factual.

Um modelo perfeitamente atestado pode produzir uma saída falsa com plena integridade criptográfica. A assinatura confirma que o sistema autorizado produziu aquela saída, não que a saída é verdadeira. A infraestrutura de confiança pós-quântica responde a perguntas sobre identidade e integridade; não responde a perguntas sobre verdade.

Isto não é uma crítica à prova pós-quântica. É uma observação estrutural sobre o seu alcance. Sistemas para o mundo físico devem tratar explicitamente dois níveis e não assumir que integridade implica precisão.

O cruzamento do hardware

Raízes de confiança de hardware estabelecem que o sistema que executa o modelo é o sistema implantado e que o software não foi modificado. Não limitam o que o modelo pode dizer. A fronteira de hardware garante integridade de execução; a fronteira semântica, aquilo que o modelo pode afirmar com verdade, não é propriedade do hardware.

Isto importa para IA física. Um sistema incorporado em monitorização médica, gestão predial ou equipamento de assistência que possui uma cadeia de atestação válida mas produz uma falsidade confiante é, do ponto de vista da responsabilidade, tão problemático quanto um sistema cuja cadeia foi quebrada. O dano é o mesmo. As partes responsáveis e as ferramentas de resposta são diferentes.

A atestação de hardware diz que o sistema correto produziu a saída. A lacuna de responsabilidade da alucinação pergunta o que fazer quando o sistema correto produz a saída errada, e a maioria das arquiteturas implantadas ainda não tem uma resposta clara.

O cruzamento dos cuidados no mundo físico

Ambientes de cuidados são especialmente vulneráveis porque agentes de IA de cuidados são frequentemente fontes de autoridade para quem servem. Familiares podem perguntar sobre interações medicamentosas, limiares de risco de queda ou planos de cuidados sem meios práticos de verificação independente. A resposta confiante do agente é tratada como verdade, mesmo quando não é.

A vulnerabilidade aumenta pela realidade demográfica dos cuidados. Pessoas idosas e com declínio cognitivo são menos propensas a contestar afirmações confiantes, procurar uma segunda fonte ou reconhecer que uma saída confiante está factualmente errada. O dano chega precisamente à população menos capaz de detetar e corrigir o erro.

A IA de cuidados também é incorporada em contextos onde a cobertura humana é estruturalmente limitada: noites, emergências médicas e episódios cognitivos. Estes são os momentos em que o agente é mais valioso e em que a falta de verificador humano é mais crítica. A lacuna é maior quando mais importa.

Rumo a uma resposta responsável

A lacuna não pode ser resolvida por atribuições existentes de responsabilidade. A resposta exige elementos estruturais raramente incluídos nas implantações atuais.

Primeiro, rotulagem epistemológica no ponto de saída. Agentes de IA em contextos físicos de alto risco devem distinguir informação verificada e com fonte de saídas geradas por inferência do modelo. A distinção não será sempre perfeita, mas muda a pretensão de responsabilidade quando uma saída causa dano.

Segundo, canais obrigatórios de verificação para saídas consequentes. Em cuidados, saídas sobre medicina, segurança ou direito devem acionar uma etapa de verificação antes da ação, seja por humano no circuito, seja por um segundo sistema com linhagem de modelo diferente.

Terceiro, arquivo de atribuição de incidente ao nível do modelo. Quando uma saída falsa causa dano, a versão do modelo, o prompt, as fontes de recuperação presentes ou ausentes e a saída completa devem ser preservados como prova estruturada. Isto não resolve quem responde, mas torna a atribuição investigável em vez de estruturalmente escondida.

Na Asaptic Labs, a lacuna de responsabilidade da alucinação é tratada como questão de primeira ordem para agentes de IA em qualquer cruzamento. Integridade criptográfica e precisão factual são propriedades ortogonais. Um sistema verificado que erra passou todos os testes que a prova oferece e falhou no teste que mais importa no mundo físico.