O problema da acumulação de permissões: quando concessões individualmente adequadas se tornam coletivamente perigosas
Cada permissão concedida a um agente de IA passa por alguma forma de revisão. Alguém decide que este agente, neste contexto de implementação, precisa de acesso a esta capacidade — e a concessão é feita. A decisão, isoladamente, é geralmente defensável. O problema não é qualquer concessão individual. O problema é que ninguém está a olhar para o conjunto.
As concessões de permissões acumulam-se. Acumulam-se ao longo de sessões, de fases de implementação, de requisitos operacionais em evolução. Um agente que recebeu acesso de leitura a registos de doentes para um fluxo de trabalho de cuidados recebe mais tarde acesso de escrita para uma funcionalidade de resumo de alta. Um agente de controlo de hardware que precisava de permissões de leitura de telemetria de sensores recebe mais tarde permissões de comando de atuadores para uma integração de manutenção. Cada expansão fazia sentido no momento em que foi solicitada e aprovada. Meses depois, o perfil de capacidade total do agente é um que ninguém concebeu conscientemente e ninguém reviu como um todo.
Por que razão a lacuna de auditoria é estrutural
A resposta padrão a esta preocupação é "temos registos de auditoria". Os registos de auditoria registam quais permissões foram concedidas, quando e por quem. Mas um registo de auditoria é um registo de eventos ao longo do tempo; não é um instantâneo do estado atual. Para compreender o perfil de capacidade total de um agente hoje, seria necessário reproduzir todo o historial de permissões, contabilizar quaisquer revogações e produzir um resumo coerente — uma tarefa que requer esforço ativo e ferramentas que a maioria das implementações não possui.
Esta lacuna é estrutural, não acidental. Os sistemas de gestão de permissões são construídos para gerir eficientemente decisões individuais de concessão. Raramente são construídos para responder à questão: "O que é que este agente pode fazer agora, no total, e esse total ainda é adequado para a forma como está implementado?" A questão requer agregação ao longo do tempo, contexto e sistemas — e a resposta raramente é exigida até que algo corra mal.
O efeito composto da não-expiração
O problema da acumulação é mais agudo quando as permissões não expiram. Uma concessão feita para apoiar uma implementação piloto, uma integração única ou um fluxo de trabalho descontinuado pode permanecer em vigor indefinidamente a menos que alguém a revogue explicitamente. O perfil de capacidade do agente cresce assim monotonicamente: as permissões são adicionadas quando necessárias, mas raramente removidas quando já não são necessárias. As concessões residuais de casos de uso abandonados tornam-se a superfície de capacidade que um adversário — ou um agente com comportamento indevido — pode explorar.
No contexto da segurança pós-quântica, este resíduo é mais perigoso do que parece. As concessões residuais de hoje podem parecer inofensivas sob modelos de ameaça clássicos. Mas um adversário com poder computacional suficiente pode visar o perfil de capacidade acumulado de um agente de longa duração, usando as suas permissões agregadas como uma superfície de ataque que é mais ampla do que qualquer âmbito de sessão única permitiria. O agente torna-se, efetivamente, uma chave-mestra lentamente montada — não porque alguém o pretendesse, mas porque ninguém estava a acompanhar o total.
O cruzamento do hardware torna isto concreto
Em implementações adjacentes ao hardware, a acumulação de permissões tem consequências físicas. Um agente que gere hardware industrial pode acumular permissões de comando entre subsistemas ao longo de uma implementação — cada concessão feita em resposta a uma necessidade operacional legítima. Mas as permissões de comando em sistemas físicos não são reversíveis da mesma forma que as permissões de acesso a dados. Se um agente com âmbito de comando de atuadores acumulado se comportar de forma inesperada, o dano pode ser físico, imediato e não pode ser desfeito pela revogação da permissão que o permitiu. O inventário de permissões deve ser mantido atualizado não apenas para fins de auditoria, mas porque o custo de agir com base num inventário desatualizado é medido em termos físicos.
Em ambientes de cuidados, os riscos são interpessoais
Os ambientes de cuidados no mundo físico revelam uma terceira dimensão do problema da acumulação: o risco interpessoal. Um agente de cuidados acumula acesso a dados de doentes, canais de comunicação, registos de planos de cuidados e fluxos de trabalho clínicos. Cada concessão era adequada para uma relação de cuidados ou tarefa específica. Mas em conjunto, o agente pode ter uma imagem mais completa da vida e trajetória de saúde de um doente do que qualquer clínico individual — e um perfil de capacidade que, se mal utilizado ou explorado, poderia causar danos a um nível profundamente pessoal. O doente que consentiu em integrações individuais não consentiu no perfil de capacidade agregado que essas integrações produzem coletivamente.
A resposta de design
Abordar o problema da acumulação requer tratar o perfil de capacidade agregado como um artefacto de primeira classe — algo que é mantido ativamente, revisto periodicamente e comparado com o âmbito operacional atual do agente. Esta é uma disciplina diferente da revisão por concessão. Requer reautorização agendada: um ponto em que as permissões existentes não são simplesmente mantidas por defeito, mas reexaminadas contra o contexto de implementação atual e confirmadas ou revogadas. Requer ferramentas que produzam um resumo do estado atual coerente a partir do historial de permissões, não apenas um registo. E requer que cada permissão tenha um propósito declarado e um tempo de vida esperado — para que quando o propósito for retirado, a permissão tenha um gatilho de expiração claro.
O estado de permissão vinculado ao hardware ajuda aqui. Quando as concessões de permissão estão ancoradas a configurações de hardware específicas — emitidas por chaves atestadas por hardware e vinculadas ao contexto operacional do dispositivo em que o agente corre — a concessão torna-se automaticamente inválida se o contexto de hardware mudar. As permissões não podem seguir silenciosamente um agente através de reimplementações. O perfil agregado está limitado ao contexto que o justificou.
A acumulação de permissões não é uma falha em qualquer decisão individual. É uma propriedade de sistemas onde as decisões individuais são tomadas competentemente mas o sistema não produz nenhum sinal sobre o estado agregado. Nos domínios onde os agentes de IA estão a mover-se de sandbox para consequência, fechar essa lacuna não é opcional. É a diferença entre um agente cuja autoridade é governada e um cuja autoridade meramente cresceu.