O problema do consentimento sob incapacidade: responsabilidade quando um agente de IA deve agir por uma pessoa que não pode consentir

O modelo padrão de responsabilidade para agentes de IA assume uma hierarquia de mandante que termina numa pessoa capaz: alguém que pode confirmar o que foi autorizado, revogar permissões que já não são adequadas e contestar um registo que considera incorrecto. Quando algo corre mal, essa pessoa capaz é o ponto de referência final. O modelo falha de forma mais completa quando a pessoa mais afectada pelas decisões do agente está, no momento dessas decisões, incapaz.

A incapacidade assume muitas formas no mundo físico: sedação, inconsciência, défice cognitivo agudo ou redução gradual e permanente da capacidade de decisão em certas condições de longo prazo. Nesses casos, a pessoa não consegue exercer direitos de consentimento em tempo real. Os quadros jurídicos e éticos foram construídos em torno de representantes humanos, capazes de interpretar valores conhecidos face a situações variáveis e assumir responsabilidade por julgamentos sob incerteza. Um agente de IA não é representante nesse sentido. Executa lógica contra um espaço de parâmetros. Quando esse espaço não cobre a situação, a lacuna tem de ser resolvida por algo que não é julgamento.

No cruzamento da segurança pós-quântica

Directivas antecipadas, documentos que expressam preferências de cuidados perante incapacidade futura, estão entre os registos de responsabilidade mais consequentes nos sistemas de cuidados. Guardá-las com garantias criptográficas pós-quânticas fornece uma propriedade forte: o registo não pode ser alterado sem detecção, e essa garantia resiste a capacidade criptoanalítica futura. É a propriedade certa. Não é, porém, a propriedade mais importante neste cenário.

Uma directiva antecipada assinada com criptografia pós-quântica prova que o documento não mudou desde a assinatura. Não prova que a intenção do signatário corresponde ao estado clínico actual, aos valores actuais ou à decisão específica que o agente está a navegar. Instruções escritas antes de um diagnóstico não são instruções para depois dele. A garantia de integridade aplica-se ao documento escrito. A lacuna interpretativa entre documento e situação é um problema de julgamento humano.

No cruzamento do hardware

Agentes em contextos de cuidados com pessoas incapacitadas dependem frequentemente de lógica clínica embebida em hardware: dispositivos médicos e plataformas de monitorização que executam protocolos especificados na configuração e atestados na implantação. A atestação de hardware confirma que o dispositivo corre firmware autorizado num estado verificado. Isso é significativo, mas não confirma que o protocolo autorizado cobre a condição actual do paciente à resolução necessária.

Lacunas de protocolo tornam-se críticas em cenários de incapacidade porque o paciente não consegue sinalizar que o protocolo chegou ao limite. Um paciente capaz pode alertar um clínico quando a resposta do dispositivo não corresponde ao esperado. Um paciente incapaz não consegue. A atestação certifica o estado do dispositivo, não a adequação do protocolo codificado para o momento presente.

No cruzamento dos cuidados no mundo físico

Este cruzamento apresenta o problema na sua forma mais directa. Os quadros de cuidados a pessoas incapacitadas dependem de representantes que exercem julgamento contextual: ponderam valores em conflito, adaptam-se a informação nova e aceitam responsabilidade por decisões que não podem ser totalmente justificadas antecipadamente. Um agente de IA dentro de um plano antecipadamente autorizado não exerce julgamento nesse sentido. Faz corresponder condições actuais a parâmetros predefinidos e toma a acção especificada.

Isto não é uma crítica à implantação de agentes em cuidados. Eles fornecem monitorização contínua a resoluções e durações que a presença humana não iguala. O problema é o que acontece quando o âmbito da acção excede o âmbito da autorização. Em incapacidade, não há mandante capaz disponível para expandir autorização em tempo real. A arquitectura deve impor modos explícitos de incapacidade, limites de autonomia mais estreitos, escalamento obrigatório para representantes humanos fora do envelope autorizado e registos reforçados do raciocínio por trás de cada acção consequente.

O registo como facto material

Uma resposta de desenho é muitas vezes ignorada por parecer administrativa: cada registo produzido enquanto o agente opera sob autorização por incapacidade deve documentar explicitamente esse facto. O registo de que o agente actuou sob autorização antecipada, e não consentimento vivo, não é uma ressalva; é um facto material para revisão clínica, legal ou ética. Um registo que omite esse contexto apresenta decisões tomadas sem um mandante capaz como se tivessem sido tomadas com um. A integridade criptográfica não corrige essa omissão. A responsabilidade completa exige que o modo de autorização faça parte do registo produzido pelo agente.