O problema da enumeração: porque agentes de IA não conseguem listar tudo o que podem fazer e porque isso quebra o modelo de concessão

O princípio do menor privilégio é fundamental: conceder apenas as permissões necessárias e revogar o resto. Mas depende de uma condição que agentes de IA não conseguem satisfazer, a capacidade de enumerar as próprias capacidades.

Software tradicional tem superfície limitada. Um conector lê e escreve numa base de dados; uma biblioteca opera sob um prefixo de caminho. É possível listar APIs e permissões. A concessão pode cobrir exatamente o trabalho necessário.

Agentes baseados em grandes modelos de linguagem não têm essa propriedade. A superfície emerge do treino, da janela de contexto, das ferramentas carregadas e da capacidade de compor sequências novas. Dois agentes com o mesmo modelo e ferramentas podem comportar-se de modo diferente por causa de instruções, prompts e sequências compostas aprendidas.

Falha do modelo de concessão

Quando se concede acesso a ferramentas e recursos, decide-se com informação incompleta. Sabe-se o que as ferramentas permitem nominalmente; não se sabe todas as ações compostas que o agente pode gerar em condições de fronteira ou perante entradas não previstas.

Um agente autorizado a enviar mensagens por um coordenador de cuidados pode escalar uma questão clínica a várias partes, convocar uma equipa a partir de uma condição em linguagem natural ou incluir informação que a autoridade concedente não sabia que o agente possuía. Cada ação cabe na letra da concessão; nenhuma foi plenamente antecipada.

O problema não é que o agente exceda permissões. É que a concessão não consegue descrever precisamente a fronteira do comportamento permitido, porque o espaço efetivo é maior e mais combinatório do que uma lista representa.

A atestação certifica a superfície errada

A atestação enraizada em hardware prova que o agente autorizado está a executar: pesos, runtime e ferramentas carregadas. Certifica identidade e proveniência.

Não prova o que o agente fará em toda a gama de entradas. Um agente atestado pode gerar ações que a autoridade não teria aprovado se as tivesse enumerado no registo inicial. O certificado diz quem está a executar, não que o comportamento esteja limitado ao pretendido.

Consequências no mundo físico

Em cuidados, um agente autorizado a gerir horários pode compor uma mensagem que comunica informação clínica não autorizada, não por contornar controlo de acesso, mas por combinar contexto que possui legitimamente com acesso de mensagens legitimamente concedido.

A lacuna entre uso autorizado e uso possível está sempre presente quando capacidade é emergente. No mundo físico, outputs chegam a pessoas e não podem ser simplesmente recolhidos; a pergunta de responsabilização não se resolve verificando apenas a lista literal de permissões.

Desenho sob incerteza

A autorização deve restringir por output, não apenas por permissão de entrada. A pergunta torna-se: que outputs podem chegar ao exterior e quais precisam de revisão antes de cruzarem uma fronteira?

O agente pode compor livremente no seu contexto; antes de uma mensagem ser enviada, um registo atualizado ou um dispositivo acionado, o output passa por uma porta que o avalia contra política de uso aceitável.

Isto não elimina a enumeração; reformula-a. Em vez de enumerar capacidades no momento da concessão, classifica outputs na implantação. O menor privilégio continua correto; muda o lugar onde a fronteira deve ser traçada.