O problema do recurso: responsabilidade quando a parte lesada não tem caminho para remédio

A responsabilidade é geralmente enquadrada da perspetiva da parte responsável. Os mecanismos de responsabilidade perguntam: quem estava encarregue, quem tomou a decisão, quem devia ter prevenido o dano, quem suporta a responsabilização? Este enquadramento é natural — aponta os investigadores para as partes que tinham autoridade e informação. Mas deixa de fora a outra extremidade da relação de responsabilidade: a pessoa que foi lesada, e se ela pode fazer alguma coisa a esse respeito.

Na maioria dos contextos de responsabilidade tradicionais, a parte lesada tem vias institucionais para remédio. Um doente lesado por um médico pode apresentar uma queixa a um conselho de licenciamento, consultar um advogado sobre negligência e apresentar o seu caso a um tribunal. Um consumidor lesado por um produto defeituoso pode invocar a lei de garantia, reportar a uma agência de proteção do consumidor ou intentar uma ação de responsabilidade por produto. Estas vias são imperfeitas e dispendiosas de navegar, mas existem, são reconhecíveis e são pelo menos nominalmente acessíveis.

O problema do recurso é a condição em que a decisão de um agente de IA causa dano e a parte lesada não tem nenhuma via clara, acessível ou prática para remédio. A lacuna de responsabilidade não é que ninguém seja responsável — pode haver um registo completo de responsabilidade, um log conforme, um deployador identificado e um operador responsivo. A lacuna é que a via do dano para o remédio está bloqueada, pouco clara ou indisponível para a parte que mais precisa dela.

Na interseção da segurança pós-quântica

Quando um agente de IA a gerir infraestrutura criptográfica toma uma decisão de migração que deixa registos históricos vulneráveis à decifração futura, as partes lesadas são os indivíduos cujos dados serão eventualmente expostos — potencialmente anos ou décadas após a decisão ter sido tomada, quando as capacidades de computação quântica tiverem avançado. Esses indivíduos não consentiram na decisão de migração, não sabem que foi tomada e não têm nenhuma via para a contestar. O registo de decisão do agente pode ser completo, o operador conforme, o standard técnico seguido. A parte lesada continua sem aviso, sem acesso ao registo e sem mecanismo para contestar uma decisão que só se resolverá contra ela num futuro que não consegue antecipar.

O recurso requer aviso, mas o dano ainda não se materializou. Quando se materializar, a cadeia de decisão que o causou será demasiado antiga e demasiado difusa para rastrear efetivamente. O ciclo de responsabilidade fecha para o deployador mas nunca abre para a pessoa cuja segurança de dados a longo prazo foi determinada por um agente de cuja existência nunca lhe foi dito.

Na interseção do hardware

Quando um agente de IA a controlar hardware de reabilitação faz uma adaptação que leva a lesão de doente, o doente lesado enfrenta um problema de via antes de qualquer questão de remédio se levantar. A lesão pode apresentar-se como uma complicação clínica em vez de uma falha do dispositivo — a distinção entre um revés natural e uma sobrecorreção dirigida por agente pode requerer análise especializada de logs a que o doente não tem direito de aceder. A doutrina de negligência médica requer prova de violação do standard de cuidados; a doutrina de responsabilidade por produto requer prova de defeito do produto; o direito de defeito de software ainda está a desenvolver-se. Cada via requer provas diferentes, experiência diferente e teorias legais diferentes — e nenhuma delas mapeia claramente para os factos de uma decisão de IA adaptativa dentro de um protocolo clínico autorizado.

O doente pode não saber que um agente de IA tomou a decisão relevante em vez de um clínico humano. Sem esse conhecimento, não consegue começar a identificar a via correta. Sem clareza de via, mesmo um reclamante bem financiado e juridicamente sofisticado enfrenta um problema significativo de acesso ao remédio. A maioria dos doentes lesados não é bem financiada nem juridicamente sofisticada.

Na interseção dos cuidados no mundo físico

Os agentes de IA a operar em contextos de cuidados para residentes idosos ou com deficiência cognitiva tomam decisões consequentes que afetam pessoas que podem não ter capacidade, conhecimento ou recursos para procurar recurso de todo. Um agente de cuidados que sistematicamente advoga menos — continuamente a adotar opções de cuidados menos agressivas, a sobreponderar a conveniência institucional, a tomar decisões que o residente rejeitaria se consciente delas — causa dano difuso que se acumula sem um único evento desencadeador. O residente pode não saber que a IA está envolvida nas suas decisões de cuidados. A sua família pode não saber. Pode não haver nenhuma obrigação de notificar qualquer uma das partes.

Mesmo que existisse notificação, o residente lesado pode não ter capacidade cognitiva para compreender ou agir sobre ela, e a sua família pode não ter legitimidade, tempo ou informação necessários para montar um desafio. A instituição de cuidados detém todos os registos relevantes, controla o acesso ao log de decisão e tem fortes incentivos para não facilitar reclamações contra si própria.

Fechar a lacuna de recurso

O ciclo de responsabilidade não fecha no deployador. Fecha quando a parte lesada tem uma via significativa para remédio. Isto requer quatro coisas que a arquitetura de responsabilidade atual raramente fornece: aviso de que um agente de IA tomou uma decisão consequente que afeta a pessoa; explicação acessível a uma parte lesada não técnica; acesso a um log de decisão que a parte lesada pode efetivamente usar; e uma via de revisão claramente designada que trata especificamente de decisões tomadas por IA.

Estes não são problemas específicos da IA — são lacunas no direito de responsabilidade que os agentes de IA expõem à escala. Mas porque os agentes de IA estão agora a tomar decisões consequentes nas três interseções, as lacunas já não são casos marginais. São a condição esperada. Construir recurso na arquitetura de responsabilidade da IA não é uma melhoria de experiência do utilizador. É a condição que faz com que o quadro de responsabilidade signifique algo para as pessoas que deve proteger.