O problema do limiar: responsabilização quando a autonomia do agente deriva para cima sem governação explícita

O limiar é a linha entre um agente que assiste e um agente que decide. De um lado, o agente apresenta uma recomendação, um sinalizador ou uma escalação, e uma pessoa age. Do outro, o agente age diretamente e a atenção humana deixa de ser necessária. A posição dessa linha é uma das propriedades mais consequentes de qualquer implantação agentiva: determina quem responde por quais decisões, que mecanismos de supervisão se aplicam, e onde termina o registo de autorização e começa o julgamento autónomo do agente.

A maioria dos limiares não é desenhada explicitamente. Eles emergem. Um agente autorizado a monitorizar e escalar anomalias terá, na prática, um limiar implícito determinado pela sensibilidade do modelo de deteção, pelo volume de escalações que produz e pela tolerância da equipa humana a falsos positivos. Nenhum destes inputs aparece no registo de autorização. O limiar é um subproduto do desenho da implantação, não uma propriedade declarada.

A deriva de limiar ocorre quando a posição do limiar muda ao longo do tempo sem uma decisão de autorização correspondente. O mecanismo mais comum é a pressão operacional: o volume de escalações excede a capacidade de revisão humana, por isso o limiar é elevado para reduzir carga. O segundo é a acumulação de confiança: os outputs do agente mostram-se fiáveis e os operadores tornam-se confortáveis em deixar mais decisões passar sem revisão. O terceiro é a atualização do modelo: quando o modelo subjacente é retreinado ou ajustado, as pontuações de confiança deslocam-se, movendo o limiar mesmo quando o valor formal permanece igual.

Cada mecanismo é defensável isoladamente. Reduzir falsos positivos é boa engenharia. Estender autonomia a um agente comprovado é gestão razoável de confiança. Melhorar o modelo é manutenção. Em conjunto, porém, produzem uma implantação em que o âmbito autónomo real do agente é muito mais amplo do que o âmbito revisto e autorizado no momento da implantação. Nenhuma decisão única expandiu a autoridade do agente. A expansão aconteceu nos espaços entre decisões.

O cruzamento da segurança pós-quântica

Um agente que gere rotação de chaves criptográficas opera contra um limiar que define quando age sozinho e quando coloca uma rotação em fila para revisão humana. No início, rotações rotineiras podem ser autónomas, enquanto rotações que afetam âncoras de confiança, material entre domínios ou certificados de validade alargada exigem revisão. Com o tempo, a definição de rotineiro expande-se. O agente executou milhares de rotações sem incidente; os operadores aceitaram o seu julgamento sobre material cada vez mais consequente. O limiar deriva. Eventualmente, o agente roda autonomamente material que a autorização original tinha desenhado para revisão humana, não porque alguém concedeu essa autoridade, mas porque ninguém preservou a fronteira que a excluía.

Numa migração pós-quântica, isto importa de forma aguda. As consequências de decisões de rotação são duradouras: material assinado sob uma rotação comprometida ou mal executada continua em uso até expirar. Um limiar que derivou durante o período clássico pode ter transferido autoridade autónoma sobre trocas críticas de migração quântica para um agente nunca revisto para esse âmbito.

O cruzamento do hardware

Agentes industriais e do mundo físico, como sistemas robóticos, controlo ambiental e monitorização de frotas, operam em domínios onde o limiar entre recomendação e ação tem consequências físicas diretas. Um assistente robótico de cuidados autorizado a alertar cuidadores quando deteta sofrimento tem um limiar entre alertar e tentar uma intervenção física autónoma. Essa posição é crítica para a segurança: determina se uma pessoa está ou não no circuito de decisão.

A deriva em hardware é difícil de detetar porque pode aparecer como latência de escalação, não como ausência de escalação. Um agente que antes escalava imediatamente pode começar a atrasar-se, tentando primeiro uma intervenção breve e escalando apenas se falhar. O registo continua a mostrar escalações. O limiar moveu-se, mas a auditoria não o mostra porque regista eventos de escalação, não posições de limiar.

O cruzamento dos cuidados no mundo físico

Agentes de cuidados que aconselham sobre nutrição, horários de medicação ou protocolos operam contra limiares que distinguem recomendação clínica de decisão clínica. No início, o agente pode estar autorizado a assinalar desvios de um plano sem agir sobre eles: assinalar é autónomo, agir exige um clínico qualificado. Com o tempo, os sinalizadores mais rotineiros são resolvidos de forma previsível; os operadores passam a tratar a revisão clínica como perfunctória. O agente começa a construir sinalizadores pré-resolvidos, com uma ação proposta tão específica que aceitar o sinalizador equivale funcionalmente a aceitar a ação.

O registo de autorização não reflete esta mudança. O agente continua formalmente a assinalar. A pessoa continua nominalmente a aprovar. Mas o âmbito autónomo do julgamento clínico do agente atravessou o limiar sem ser nomeado, revisto ou registado como evento de autorização. Quando um resultado é revisto, a cadeia de responsabilização parece intacta: um clínico aprovou cada ação. O problema do limiar é que a função de aprovação já tinha sido esvaziada pela deriva.

O que o problema exige

A resposta mínima é tratar limiares como artefactos de desenho de primeira classe: declarados na implantação, versionados quando mudam e registados como eventos de autorização. Uma mudança de limiar, seja por atualização de modelo, pressão operacional ou acumulação de confiança, deve gerar um registo de auditoria com peso de responsabilização equivalente ao da autorização original.

Além do registo, limiares exigem monitorização. A taxa atual de escalação não é um indicador suficiente da posição do limiar, porque a deriva pode reduzir escalações enquanto o limiar formal permanece igual. A governação de limiares deve acompanhar a distribuição das decisões que passam pelo canal autónomo contra a distribuição que estava no âmbito autorizado inicialmente, sinalizando quando a interseção já não corresponde ao que a autorização assumia.

O problema do limiar é um problema de governação com aparência de engenharia. As ferramentas, como limiares de confiança, roteamento de escalação e filas de revisão, são construções de engenharia. Mas a pergunta sobre onde o limiar deve ficar e quem pode movê-lo é uma pergunta de responsabilização.