O problema da testemunha: responsabilidade quando um agente de IA é o único observador
Integridade e exactidão são propriedades diferentes. As assinaturas pós-quânticas e a atestação de hardware garantem que o registo de um agente não foi alterado após ser produzido. Quando o agente é o único observador, nenhum mecanismo garante que o registo era correcto quando produzido.
A maior parte da arquitectura de responsabilidade de agentes de IA assenta numa suposição implícita: o registo do agente pode ser verificado contra algo externo. Um supervisor humano pode rever o registo contra a sua própria recordação. Um segundo sistema pode ter capturado o mesmo evento de um ponto de vista diferente. Evidência física pode corroborar o que o registo afirma. A responsabilidade, neste modelo, é uma questão de correlação — o relato do agente corresponde ao que outros observaram?
Essa suposição falha sempre que o agente é a única testemunha. Em implantações onde o agente opera sozinho — monitorizar uma instalação durante a noite quando não há humanos presentes, gerir um processo criptográfico onde nenhum segundo sistema tem acesso independente, fornecer observação ao lado do paciente quando nenhum clínico está a observar — o registo de responsabilidade é o relato do próprio agente sobre eventos em que é a única entidade posicionada para descrever. Não há nada externo com o qual correlacioná-lo. Registos, atestações e auditorias dependem do que o agente escolheu registar sobre eventos que apenas o agente observou.
No cruzamento da segurança pós-quântica
As assinaturas pós-quânticas aplicadas a registos de responsabilidade de agentes fornecem uma garantia com um âmbito preciso e limitado: confirmam que o conteúdo assinado não foi modificado após ser produzido. Se a chave privada for bem gerida e o algoritmo for sólido, uma assinatura válida prova integridade. Mas integridade — a garantia de que o registo não foi alterado após a produção — é categoricamente diferente de exactidão: a garantia de que o registo era correcto quando produzido.
Quando um agente é a única testemunha, a exactidão do registo não pode ser estabelecida por qualquer mecanismo de verificação a jusante, independentemente da força criptográfica. Um registo de responsabilidade assinado com PQ proveniente de uma implantação de testemunha única carrega uma garantia completa de integridade e uma ausência completa de qualquer verificação externa de exactidão. A migração pós-quântica produzirá assinaturas que são criptograficamente resistentes a ataques durante décadas. Mas um registo pode ser perfeitamente assinado e substancialmente errado. Nenhum avanço na força de assinatura fecha o intervalo entre integridade e exactidão quando a única entidade que observou os eventos é também a entidade que produziu o registo.
No cruzamento do hardware
A atestação de hardware estende a garantia de integridade mais abaixo na pilha: um registo atestado pode carregar prova não apenas de que o conteúdo não foi modificado após a produção, mas de que foi produzido por um sistema verificado específico num estado de hardware verificado específico. A atestação adiciona proveniência à integridade. Mas proveniência — confirmação de qual sistema produziu o registo — não se estende à exactidão do que esse sistema observou.
Um agente de dispositivo que lê incorrectamente um sensor devido a deriva de calibração, interferência ambiental ou falha de software produz um registo de observação com atestação de hardware, assinado criptograficamente, de uma observação que não correspondeu ao mundo físico. A atestação está completa. O registo está errado. Nenhum mecanismo de hardware estabelece uma correspondência verificada entre um estado de sistema atestado e a exactidão das saídas perceptuais desse sistema. O cruzamento do hardware é precisamente onde isto mais importa: os agentes incorporados em infra-estrutura física são frequentemente o único sistema em contacto com o ambiente que relatam, e a atestação da sua identidade de hardware não faz nada para verificar a exactidão das suas leituras ambientais.
No cruzamento do cuidado no mundo físico
Em contextos de cuidado, a condição de testemunha única é estrutural e esperada. Um agente de monitorização que observa um paciente durante a noite é, na maioria das configurações de instalações, a única entidade presente durante a maior parte desse período. As leituras de sinais vitais que regista, os alertas que eleva ou suprime, as interacções com pacientes a que responde sem escalar — estes eventos constituem o registo de cuidado. Não há co-testemunha humana para a observação nocturna de rotina. Não há sistema de sensor independente a capturar as mesmas medições fisiológicas de um ponto de vista separado.
Este é o design, não uma falha do mesmo. Os agentes são implantados em contextos de cuidado precisamente porque a presença humana contínua na resolução e duração necessárias não está disponível ou é sustentável. Mas as práticas de responsabilidade que funcionam para a documentação de cuidado humano — onde as notas de um clínico podem ser comparadas com o exame independente de outro clínico, onde um paciente pode corroborar ou contestar eventos que experienciou — não se traduzem para implantações de agentes de testemunha única. O registo do agente é o registo do que aconteceu. Se estiver incompleto, inexacto, ou sistematicamente enviesado por um problema de calibração não detectado, pode não haver fonte correctora.
A resposta de design
O problema da testemunha não tem solução criptográfica. Assinaturas mais fortes não o resolvem. Melhor atestação não o resolve. O intervalo entre integridade e exactidão, numa implantação de testemunha única, é estrutural. Fechá-lo requer intervenções arquitecturais: registo de ambiente físico independente inviolável que o agente não pode elaborar; caminhos de observação redundantes mesmo onde um único sensor é operacionalmente suficiente; detecção de anomalias sobre os próprios relatórios do agente usando sinais que o agente não controla; e divulgação explícita aos principais de supervisão quando um agente está a operar como único observador de eventos consequentes. Estas medidas não restauram a verificação independente de testemunhas — tornam a condição de testemunha única visível e restrita, para que a supervisão possa ser aplicada com conhecimento preciso do que pode e não pode ser verificado.
Quando um agente de IA é o único observador, os registos de responsabilidade carregam uma garantia completa de integridade e uma ausência completa de verificação externa de exactidão. As assinaturas pós-quânticas e a atestação de hardware certificam que o próprio relato do agente não foi alterado — não que era correcto quando produzido. Em todos os três cruzamentos, a condição de testemunha única requer reconhecimento arquitectural explícito: registo ambiental inviolável que o agente não pode elaborar, caminhos de observação redundantes, detecção de anomalias sobre registos elaborados pelo agente, e divulgação explícita aos principais quando a verificação independente está estruturalmente indisponível.