O problema da taxa e da escala

Os mecanismos de supervisão humana foram concebidos para atores humanos. Uma comissão de revisão, uma cadeia de aprovação, um ciclo de auditoria — estas estruturas pressupõem uma taxa de ação que uma pessoa ou uma pequena equipa consegue acompanhar em tempo real. Quando um agente de IA entra num sistema, traz velocidade de máquina e, com orquestração, escala de máquina. A arquitetura de supervisão não se atualiza automaticamente. O resultado é uma lacuna estrutural entre a velocidade com que o agente pode agir e a velocidade com que a responsabilidade pode seguir.

Esta lacuna não é um atraso temporário que a engenharia acabará por colmatar. É uma característica da arquitetura: o relógio operacional do agente corre numa ordem de grandeza diferente do relógio de supervisão. Cada mecanismo de responsabilidade construído em torno de suposições de velocidade humana — filas de escalada, revisões de anomalias, limiares de aprovação — começa a degradar-se no momento em que é aplicado a um ator de velocidade de máquina. A degradação não é visível ao início. Torna-se visível quando algo corre mal e o registo de auditoria revela decisões que se compuseram ao longo de milhares de passos antes de qualquer humano ter tido ocasião de verificar.

A assimetria central

Um analista humano processa um documento, toma uma decisão e passa para a tarefa seguinte. À velocidade da máquina, um agente pode processar dez mil documentos e tomar dez mil decisões antes de o analista ter concluído a sua primeira. Este não é um teto hipotético — é um perfil operacional de rotina para qualquer deployment de agente razoavelmente capaz. As decisões são individualmente pequenas. O agregado é grande, e é no agregado que o dano se acumula.

As estruturas de supervisão construídas para atores de velocidade humana assentam numa suposição de paridade de ritmo: um revisor consegue acompanhar o ator. Uma anomalia torna-se visível antes de se compor. Um erro pode ser apanhado antes de se propagar em cascata. Uma única decisão errada não se propaga para milhares de decisões adicionais antes de alguém notar. À velocidade da máquina, nenhuma destas suposições se verifica. O registo de auditoria cresce mais depressa do que pode ser revisto. Os alertas acumulam-se mais depressa do que podem ser triados. A taxa de produção de erros pode exceder a taxa de deteção de erros por ordens de grandeza — e quando um problema finalmente chega a um responsável humano, pode já ter replicado em formas que são difíceis ou impossíveis de reverter.

Na interseção do hardware

A assimetria de taxa atinge a sua restrição mais apertada na interseção do hardware. Os agentes embebidos em hardware industrial, de segurança ou biomédico operam com orçamentos de latência medidos em microssegundos. Um ciclo de controlo que espera pela revisão humana antes de agir é um ciclo de controlo que não consegue funcionar. A física do hardware impõe cadências de decisão de velocidade de máquina ao agente independentemente da arquitetura de responsabilidade construída em torno dele.

Isto cria uma impossibilidade estrutural: a supervisão humana pré-decisão significativa à taxa que o hardware requer não é alcançável. A arquitetura de responsabilidade deve portanto mudar para pós-hoc — o agente age à velocidade da máquina, e a responsabilidade é reconstituída depois a partir de logs e telemetria. A responsabilidade pós-hoc tem uma limitação fundamental: pode estabelecer o que aconteceu. Não pode prevenir o que aconteceu. Em domínios onde as consequências são limitadas e reversíveis, a responsabilidade pós-hoc é um compromisso razoável. Em domínios onde as consequências são ilimitadas ou irreversíveis — o que descreve a maioria dos deployments de hardware de segurança crítica — não é uma resposta completa. A questão não é se aceitar a responsabilidade pós-hoc nestes ambientes; é se os logs são suficientemente completos, a resistência à adulteração suficientemente forte, e a reconstituição suficientemente rápida para serem significativos quando algo corre mal.

Na interseção dos cuidados no mundo físico

Em ambientes de cuidados, o problema da taxa e da escala manifesta-se de forma diferente. A cadência de decisão do agente é tipicamente mais lenta do que o hardware embebido — as decisões podem estar a minutos ou horas de distância em vez de microssegundos — mas a população de decisões é grande e as consequências são pessoais e frequentemente irreversíveis. Um agente de coordenação de cuidados a gerir horários, alertas ou escaladas numa população toma decisões que se compõem entre pessoas, não apenas ao longo do tempo.

A escala amplifica os erros sistemáticos numa população. Um viés no limiar de escalada do agente afeta não uma pessoa mas cada pessoa na população que o agente monitoriza. Uma deriva na sua resposta a um padrão de apresentação específico propaga-se silenciosamente por cada indivíduo que corresponde a esse padrão, a uma cadência que a equipa de revisores humanos nunca consegue igualar. A escala do deployment amplifica o raio de explosão de qualquer erro sistemático enquanto simultaneamente torna esse erro mais difícil de detetar — porque nenhum caso individual parece anómalo ao início. Só o agregado parece, e o agregado só é visível em retrospetiva, depois de muitos indivíduos já terem sido afetados.

Esta é a forma específica dos cuidados do problema da taxa e da escala: o relógio é mais lento mas as apostas por decisão são mais altas, a população afetada é maior, e a natureza sistemática de qualquer erro significa que o dano já está distribuído antes de se tornar visível. A supervisão humana ao nível do caso individual não consegue apanhar uma deriva ao nível da população. Só a supervisão desenhada para o agregado consegue — e isso requer construir monitores agregados na arquitetura de deployment, não adicioná-los depois dos factos quando um problema surge.

Respostas de design

Três respostas estruturais valem a pena distinguir, porque operam em pontos diferentes na arquitetura de responsabilidade.

Os reguladores de taxa impõem uma taxa de ação máxima ao agente independentemente da sua carga de tarefas. O agente pode ser capaz de processar dez mil itens por minuto, mas o deployment restringe-o a um número que a arquitetura de supervisão consegue acompanhar. Isto torna a taxa de ação do agente equiparável pela revisão humana, ao custo de redução do débito. Os reguladores de taxa são mais adequados em domínios onde existe pressão de débito mas não é fisicamente mandatada — onde o agente é rápido porque pode ser, não porque a física do domínio o requer.

Os tetos de escala limitam a população sobre a qual uma única instância de agente tem autoridade. Em vez de um agente cobrir toda uma população, os deployments são fragmentados em grupos delimitados. O raio de explosão de um erro não pode exceder o fragmento. São atribuídos revisores humanos a fragmentos numa proporção que torna a supervisão significativa alcançável, e o monitor agregado abrange fragmentos em vez de toda a população. Os tetos de escala são a principal resposta estrutural para deployments de cuidados onde a velocidade por decisão é gerível mas o âmbito por população é o desafio de responsabilidade.

Os pontos de pausa obrigatórios incorporam checkpoints hard-coded nos caminhos de execução do agente onde a revisão humana é necessária antes de o agente poder continuar. Os pontos de pausa não governam a taxa; governam a consequência. São colocados em nós de decisão onde o custo de um erro é suficientemente alto para que o débito deva ceder à supervisão — o limiar de irreversibilidade. Na prática, os pontos de pausa obrigatórios só são viáveis em domínios onde a frequência de decisões que acionam pausa é suficientemente baixa para que os revisores humanos atribuídos a elas não sejam imediatamente sobrecarregados.

Nenhuma destas respostas elimina o problema da taxa e da escala. Cada uma troca um grau de capacidade por um grau de responsabilidade. O compromisso adequado depende do contexto de deployment, da reversibilidade das consequências e do tamanho da população afetada. O que não é uma resposta válida é deployar um agente de velocidade de máquina e escala de máquina contra uma arquitetura de supervisão de velocidade humana e assumir que a lacuna se fechará por si própria. Não fecha. A lacuna cresce com cada tick do relógio do agente, e o dano que se acumula dentro da lacuna é o dano que a responsabilidade devia ter prevenido.