A gestão de risco para agentes de IA trata tipicamente o agente individual como unidade de preocupação: este agente tem desempenho fiável, dentro da sua autorização, no seu contexto de implementação específico? A arquitetura de responsabilidade avalia cada agente com base no seu próprio registo. O que esta arquitetura não consegue ver é o risco que se acumula quando muitos agentes partilham o mesmo modelo subjacente. Os registos individuais podem parecer todos limpos, enquanto um viés sistemático, um ponto cego correlacionado ou um padrão adversarial detetável percorre os pesos partilhados — invisível ao nível do agente, mas material ao nível da população. É esse o problema da monocultura de modelos.
O termo é emprestado da ecologia, onde as monoculturas sustentam alta produtividade até que um único agente patogénico explora a uniformidade e colapsa toda a colheita em simultâneo. A dinâmica análoga nas implementações de IA é menos dramática mas estruturalmente equivalente: a base partilhada significa que os erros são correlacionados, e erros correlacionados à escala da população podem representar uma falha de responsabilidade mais grave do que muitos erros locais independentes alguma vez seriam.
No cruzamento da segurança pós-quântica
A migração criptográfica depende de ferramentas assistidas por IA para decidir quais algoritmos priorizar, que calendários aceitar e quais sistemas legados sinalizar. Quando muitos destes agentes são treinados no mesmo modelo de base, as suas recomendações são correlacionadas estruturalmente, não apenas empiricamente. Se o modelo partilhado internalizou uma preferência por uma família de algoritmos — refletindo a distribuição do seu corpus de treino e não o consenso técnico atual — esses agentes amplificam coletivamente essa preferência em cada sistema que aconselham.
O problema de responsabilidade é que este viés coletivo é invisível para qualquer análise de implementação individual. As recomendações de cada agente passam numa verificação de validação sensata. Nenhum agente individual pode ser citado por desvio. A recomendação coletiva — que molda decisões de migração para infraestrutura que persistirá durante décadas — reflete a distribuição de um modelo partilhado, não o julgamento distribuído de peritos independentes. A assunção de independência que sustenta a agregação de risco não se verifica, e a arquitetura de responsabilidade que nela confia é estruturalmente cega à correlação.
No cruzamento do hardware
Os agentes de hardware responsáveis por atestação, deteção de anomalias e monitorização do estado dos dispositivos dependem da assunção de que um novo modo de falha, uma vez que aparece num dispositivo, será detetado pelo agente que monitoriza esse dispositivo. Quando muitos agentes de hardware partilham um modelo de base, esta assunção de independência falha. Um modo de falha que fica fora da distribuição de treino do modelo partilhado não será ignorado por um agente, mas por todos os agentes que partilham os pesos — em simultâneo, em cada dispositivo da população que monitorizam.
Isto cria uma categoria de risco que é estrutural e não incidental. Um adversário que descobre que um padrão de entrada particular é tratado de forma anómala pelo modelo partilhado encontrou efetivamente uma superfície de ataque que se aplica a cada implementação que usa esses pesos. O registo de responsabilidade de cada dispositivo individual parece limpo porque nenhum agente individual disparou um alerta. A superfície de ataque ao nível da população existe inteiramente fora do perímetro de responsabilidade individual — é um risco que a arquitetura nunca foi concebida para ver.
No cruzamento dos cuidados no mundo físico
Em contextos de cuidados de saúde, o problema da monocultura de modelos tem consequências que atingem as pessoas diretamente. Se muitos agentes de cuidados partilham um modelo de base com uma lacuna sistemática na forma como representa determinadas condições — uma população sub-representada no treino, um padrão de sintomas correlacionado com uma demografia que o corpus não cobriu adequadamente — essa lacuna propaga-se uniformemente a cada doente gerido por um agente treinado nesses pesos.
Os registos individuais de cuidados mostram processos de decisão adequados. Os agentes individuais passam na revisão caso a caso. Mas a lacuna partilhada significa que uma classe particular de doentes receberá consistentemente recomendações moldadas por um modelo que sistematicamente sub-representou a sua condição — não porque algum agente individual esteja mal configurado, mas porque a correlação estrutural nos pesos partilhados é um risco ao nível da população que a revisão de responsabilidade individual nunca foi concebida para revelar. A arquitetura de responsabilidade individual certifica cada agente; não consegue certificar a qualidade dos cuidados para a população que o coletivo serve.
Diversidade como responsabilidade
O problema da monocultura de modelos exige uma visão de responsabilidade de IA ao nível da população que ainda não existe de forma rotineira. A revisão de agentes individuais, o registo de auditoria e a monitorização comportamental não conseguem revelar riscos que só são visíveis na estrutura de correlação de uma população de implementação. A lacuna de responsabilidade não é uma falha de qualquer revisão de agente individual — cada revisão pode ter sido conduzida corretamente. A lacuna é que as revisões nunca foram concebidas para colocar a questão ao nível da população.
Abordá-la exige uma política de implementação consciente da diversidade: rastrear explicitamente quais agentes partilham modelos de base comuns, modelar a superfície de risco correlacionado que esses pesos partilhados criam e manter um nível mínimo de diversidade arquitetural em populações de implementação críticas. A arquitetura de responsabilidade tem de ser capaz de perguntar não apenas "como é que este agente se saiu?" mas "quais são os modos de falha correlacionados em cada agente que partilha a sua base, e estamos a monitorizar ao nível em que essas falhas se tornariam visíveis?"
Quando muitos agentes de IA partilham o mesmo modelo subjacente, os seus erros são correlacionados, não independentes. Um viés sistemático, um ponto cego ou um padrão adversarial detetável nos pesos partilhados afeta cada implementação a jusante em simultâneo — invisível para a auditoria individual, mas material ao nível da população. Abordar o problema da monocultura de modelos requer uma política de implementação consciente da diversidade e quadros de responsabilidade que consigam colocar a questão ao nível da população, não apenas a questão por agente.