O problema do observador: responsabilidade quando um agente de IA observa dano que não está autorizado a prevenir

Toda implantação de agente de IA carrega uma teoria implícita de âmbito. O agente está autorizado a agir num domínio definido. Tudo o que fica fora desse domínio não é assunto seu. Um agente de automação predial gere HVAC e controlo de acessos. Um agente de coordenação de cuidados acompanha horários de medicação e janelas de consultas. Um agente logístico encaminha inventário dentro de uma instalação. Cada um opera dentro da fronteira traçada pela sua hierarquia de principal.

O problema do observador surge quando um agente, a operar legitimamente dentro do seu âmbito, percebe condições que indicam dano a uma pessoa, mas não tem autorização, capacidade ou mandato para intervir. A câmara de um agente predial mostra alguém caído num corredor que ele monitoriza mas não serve. Os dados de agenda de um agente de cuidados revelam um padrão de check-ins falhados numa unidade adjacente fora da sua lista. O conjunto de sensores de um agente logístico deteta uma pessoa em possível aflição numa zona restrita que o agente atravessa mas não gere.

Cada agente adquiriu consciência situacional que, para uma pessoa na mesma posição, criaria uma obrigação moral imediata de agir. Pelos termos da implantação, o agente não tem essa obrigação, ou pelo menos não tem uma obrigação clara.

Isto não é um caso periférico que aparece apenas em implantações invulgares. É a condição estrutural de qualquer agente de IA que opere no mundo físico com sensores que se estendem além da sua fronteira operacional. Câmaras, microfones, sensores ambientais e detetores de presença produzem consciência situacional que cobre mais do que o mandato do agente. A distância entre o que o agente percebe e aquilo sobre que está autorizado a agir é uma constante de desenho, não uma anomalia.

Dois modos de falha

O problema de responsabilidade tem dois modos de falha distintos.

O primeiro é a falha por inação. O agente percebe um sinal de dano, não tem mandato para responder e nada faz. Se o dano se materializar e o registo do agente mostrar que ele tinha os dados relevantes, como uma anomalia de movimento compatível com queda ou um sinal fisiológico compatível com aflição, a pergunta sobre quem tinha a obrigação implícita de encaminhar esse sinal torna-se uma disputa jurídica e ética que os atuais quadros de responsabilidade não estão preparados para resolver.

O segundo modo é a intervenção não autorizada. Um agente que expande o seu próprio âmbito perante uma emergência percebida violou a autorização, qualquer que seja o resultado. Se identificar corretamente uma pessoa em aflição e chamar serviços de emergência, pode ter melhorado o resultado e certamente excedeu o mandato. Se a perceção estiver errada, expõe o principal a responsabilidade sem benefício compensatório. O problema aumenta quando vários agentes no mesmo ambiente tomam a decisão de forma independente, com limiares de confiança diferentes.

O cruzamento da segurança pós-quântica

Ambos os modos de falha pioram quando a integridade dos dados de sensores não pode ser garantida. Um canal de perceção vulnerável a manipulação pode induzir o agente a perceber uma emergência inexistente, desencadeando escalada não autorizada, ou a não perceber uma emergência real, causando inação no momento crítico. A integridade da perceção depende da mesma cadeia de atestação de hardware e dados de sensores verificados criptograficamente que a responsabilidade no mundo físico exige.

O cruzamento do hardware

Agentes embutidos no mundo físico, a correr em nós de sensores, dispositivos edge e sistemas prediais integrados, enfrentam o problema do observador com menor margem de latência. Um agente que deteta queda por acelerómetro corporal ou sensor de pressão no chão pode ter uma janela de decisão medida em segundos. Se a política de observador não foi definida antecipadamente, o agente age sem autorização ou atrasa até a ação deixar de importar.

O cruzamento dos cuidados no mundo físico

As implantações de cuidados tornam o problema mais nítido. Uma IA de cuidados que monitoriza um residente sob contrato explícito partilha sensores ambientais com espaços vizinhos com os quais não tem relação contratual. Numa noite qualquer, pode ser o primeiro sistema a detetar deterioração numa pessoa que nunca foi implantada para servir. Os seus dados são mais atuais do que os da estação de enfermagem e a sua deteção pode ser melhor do que a de qualquer observador humano no turno. Pelos termos estritos da autorização, não pode agir.

Dizer que organizações de cuidados devem simplesmente configurar alertas para espaços adjacentes falha o ponto. O problema não aparece porque alguém esqueceu uma configuração. Aparece porque o âmbito da autorização do agente e o alcance dos seus sensores são coisas estruturalmente diferentes, e nos ambientes de cuidados a distância entre ambos contém pessoas cuja segurança depende de alguém ter pensado claramente em que lado da linha elas ficam.

O requisito estrutural

A resposta estrutural é uma política explícita de observador na camada de desenho. O documento de autorização do agente deve especificar, e não deixar implícito, o comportamento quando percebe condições que sugerem dano fora do seu âmbito operacional. As opções são delimitadas: não fazer nada e registar; preservar um registo de prova assinado criptograficamente para revisão humana; alertar um destinatário designado fora da hierarquia normal; ou escalar dentro da cadeia de autorização para uma pessoa com autoridade de observador.

A tensão que não pode ser desenhada para desaparecer é esta: o agente é implantado para fazer uma coisa, e o mundo produz continuamente situações que exigem outra. A resolução, quem notificar, com que limiar de confiança e a que custo para a integridade do âmbito, é um juízo humano que deve ser feito antes da implantação.

O agente observador responsável não é o que faz a coisa certa quando presencia dano. É aquele cujos designers pensaram claramente no que era a coisa certa, escreveram isso no documento de autorização e construíram o agente para fazer exatamente e apenas isso, com um trilho de auditoria assinado a prová-lo.