O problema da fronteira profissional: responsabilização quando agentes de IA atuam em domínios com credenciais

Cada profissão licenciada assenta num contrato social: o Estado concede um monopólio sobre certas atividades em troca do compromisso da profissão com a competência mínima, as obrigações éticas e a responsabilização quando as coisas correm mal. Um médico pode prescrever medicação, suportar responsabilidade por negligência médica e ser sancionado por uma ordem profissional. Um engenheiro de segurança pode certificar conformidade, suportar responsabilidade profissional e ser responsabilizado face a uma norma profissional. Um criptógrafo pode aprovar procedimentos de gestão de chaves e assumir responsabilidade pela sua correção.

Os agentes de IA executam agora, em escala, o equivalente funcional de muitas destas atividades credenciadas. Um agente de cuidados que identifica não-adesão à medicação e recomenda uma escalona de cuidados está a fazer algo reconhecidamente semelhante ao julgamento clínico. Um agente de segurança que certifica um componente de software como seguro para implementação está a fazer algo semelhante ao que um engenheiro certificado faria. Um agente de migração criptográfica que determina quais os sistemas que satisfizeram os requisitos de transição pós-quântica está a fazer algo semelhante ao que um arquiteto de segurança credenciado faria.

Nenhum destes agentes detém credenciais. Nenhum suporta responsabilidade profissional. Nenhum pode ser sancionado por uma ordem profissional. Este é o problema da fronteira profissional.

A lacuna de credenciais

O sistema de credenciais foi concebido para resolver um problema difícil: como garantir que alguém que toma decisões de alto risco num domínio técnico é minimamente qualificado, e como criar responsabilização quando a sua decisão causa danos? A resposta foi exigir competência demonstrada, registar os profissionais publicamente e criar uma linha direta de responsabilização entre a decisão e o decisor.

Os agentes de IA perturbam esta estrutura sem resolver o problema subjacente. As decisões que exigem credenciais são de alto risco porque requerem conhecimento especializado do domínio, julgamento ético e responsabilização em condições de incerteza. Estas propriedades não se tornam menos importantes porque um agente está a tomar a decisão. Tornam-se mais difíceis de localizar.

Quando um agente toma uma decisão de cuidados, a cadeia de responsabilização tem este aspeto: o agente é desenvolvido por uma empresa, contratado por um prestador de cuidados, que tem uma relação com o doente. A decisão específica — esta escalona, este alerta, esta recomendação — não se conecta a nenhum profissional licenciado. A estrutura de credenciais foi contornada, mas a necessidade de responsabilização não.

Na interseção com os cuidados

Nos cuidados do mundo físico, o problema da fronteira profissional surge onde quer que os agentes tomem decisões que se assemelham funcionalmente ao julgamento clínico. Um agente de cuidados que monitoriza sinais vitais e gera recomendações de cuidados está a realizar atividades que, executadas por um ser humano, exigiriam formação clínica e licenciamento. O resultado do agente — "este padrão sugere deterioração da função; sugerir contacto com a equipa de cuidados" — é funcionalmente equivalente a um alerta clínico gerado por um enfermeiro ou assistente médico.

A distinção é importante para a responsabilização. Quando um profissional licenciado gera um alerta clínico que acaba por estar errado, existe uma via de responsabilização clara: o julgamento do profissional é avaliado face às normas profissionais, e o resultado liga-se a um ator credenciado específico. Quando um agente gera o mesmo alerta e acaba por estar errado, a via de responsabilização é pouco clara. Nenhuma credencial foi emitida. Nenhuma norma profissional se aplica diretamente. Nenhuma ordem profissional tem jurisdição sobre o agente.

O problema não é que os agentes não possam desempenhar bem estas funções — muitas vezes podem. É que a arquitetura de responsabilização para quando as desempenham mal não existe na forma que os sistemas de credenciais fornecem. Os recursos do destinatário de cuidados são mais limitados, as normas probatórias menos claras e a parte responsável mais difícil de identificar.

Na interseção com o hardware

A segurança de hardware envolve atividades com credenciais profissionais correspondentes — administrador de sistemas certificado, analista de segurança certificado, testador de penetração certificado. Um agente que realiza avaliações de segurança, avalia a severidade de vulnerabilidades ou aprova configurações de conformidade está a realizar atividades com equivalentes credenciados. Os resultados destas atividades — um estado de conformidade, uma classificação de vulnerabilidade, uma recomendação de segurança — têm peso nas decisões operacionais a jusante.

Quando um agente produz uma avaliação de segurança de hardware que acaba por estar errada — um sistema declarado adequadamente seguro que não o estava, uma vulnerabilidade classificada como de baixa severidade que foi posteriormente explorada — a questão de responsabilização é a mesma. Nenhum profissional credenciado aprovou o julgamento específico. A via de responsabilização que as credenciais fornecem está ausente, e os danos que se seguem não podem ser rastreados através de uma estrutura de responsabilização profissional que nunca existiu.

Na interseção pós-quântica

A infraestrutura criptográfica é uma das áreas mais credencial-intensivas da segurança da informação. Os criptógrafos, arquitetos de segurança e responsáveis pela conformidade que certificam controlos criptográficos são responsáveis através de canais profissionais e contratuais quando esses controlos falham. Um agente que gere migrações criptográficas — recomendando depreciações de algoritmos, certificando a conclusão da transição, aprovando o sequenciamento de alterações à gestão de chaves — está a realizar trabalho que, em mãos humanas, acarretaria esta responsabilização profissional.

Quando um agente de migração recomenda uma sequência de transição que deixa uma janela de exposição criptográfica, ou certifica um sistema como completo na migração antes de o estar efetivamente, a responsabilização em falta não é acidental. É estrutural. O trabalho foi realizado fora do quadro de credenciais que existe precisamente para criar responsabilização por decisões técnicas de alto impacto. A organização que confiou na certificação do agente não tem recurso profissional contra o agente e nenhum recurso direto contra o profissional, porque nenhum profissional esteve envolvido.

O que a responsabilização exige

O problema da fronteira profissional não tem uma solução simples, e não tem uma solução de credenciais. Emitir credenciais a agentes de IA não é coerente — as credenciais certificam competência demonstrada e impõem obrigações contínuas a uma entidade capaz de as suportar. Um agente não pode fazer um exame, suportar seguro de responsabilidade por negligência, ou estar sujeito a procedimentos disciplinares em qualquer sentido significativo.

O que é coerente é exigir que as ações dos agentes em domínios credenciados permaneçam ligadas a um ser humano credenciado que possa suportar a responsabilização. Isto não é o mesmo que exigir aprovação humana para cada ação do agente — isso eliminaria a maior parte do valor que os agentes proporcionam. É exigir que a cadeia de responsabilização permaneça intacta: que em algum ponto da hierarquia de decisão, um profissional credenciado possa ser identificado que tenha revisto o trabalho do agente com profundidade suficiente para suportar responsabilidade pela sua qualidade.

Onde essa revisão não existe — onde o agente age num domínio credenciado e nenhum ser humano credenciado está na cadeia de responsabilização — o sistema de credenciais não foi substituído. Foi contornado. A responsabilização que as credenciais proporcionam não desaparece porque os agentes não as detêm. Torna-se inlocalizável. E a responsabilização inlocalizável é, na prática, nenhuma responsabilização.