O problema de sucessão: responsabilidade quando a organização responsável por um agente de IA muda

O modelo de responsabilidade padrão para agentes de IA atribui a responsabilidade a uma organização implementadora: uma entidade legal com obrigações, seguros, posição regulatória e pessoal que pode ser questionado. Quando algo corre mal, a responsabilidade flui ao longo de uma cadeia desde a ação do agente até à organização que o implementou. Este modelo pressupõe que a organização implementadora ainda existe quando a responsabilidade é necessária. Na prática, esse pressuposto falha com mais frequência do que os frameworks de responsabilidade antecipam. As organizações são adquiridas, reestruturadas, subcontratadas e dissolvidas. Os agentes de IA implementados na forma organizacional anterior continuam a funcionar na nova. A cadeia de responsabilidade concebida para a antiga entidade não é automaticamente transferida para a nova.

O problema de sucessão é distinto do problema de desativação, que diz respeito a como um agente é retirado no fim da sua vida útil. A sucessão ocorre enquanto o agente ainda está ativo: o principal que o encomendou, controla a sua política de autorização, detém os seus registos de auditoria e é responsável pelas suas ações mudou — mas o agente não. Da perspetiva do agente, nada mudou. Continua a operar sob a mesma configuração, a servir as mesmas funções, a gerar as mesmas entradas de registo. Da perspetiva da responsabilidade, a entidade responsável no momento da implementação pode já não ter qualquer relação com a entidade responsável no momento em que as consequências se manifestam. A lacuna entre elas é o problema de sucessão.

Na confluência da segurança pós-quântica

A responsabilidade criptográfica depende de uma identidade organizacional persistente. As chaves raiz, as autoridades de assinatura e os acordos de custódia de chaves são estabelecidos sob a autoridade de entidades legais específicas com posição regulatória específica. Quando uma organização é adquirida ou reestruturada, esses acordos não são automaticamente transferidos para a entidade adquirente. A autoridade de assinatura original pode já não existir. O pessoal que detinha as responsabilidades de gestão de chaves pode ter saído. As relações regulatórias que conferiam força às afirmações de responsabilidade originais — a sua posição para afirmar que as operações criptográficas foram conduzidas em conformidade com um regime específico — podem ser detidas por uma entidade que já não controla o agente.

Isto cria uma lacuna que as assinaturas pós-quânticas não conseguem colmatar. Uma assinatura prova que uma chave foi usada; não prova que a organização atualmente responsável pelo sistema autorizou a existência da chave ao abrigo de procedimentos que permanecem em vigor. Durante uma migração pós-quântica, em que todo o valor de responsabilidade dos novos algoritmos depende de cadeias de confiança devidamente estabelecidas, uma sucessão organizacional não registada na arquitetura de responsabilidade criptográfica pode quebrar a cadeia na sua raiz. A organização adquirente pode encontrar-se a operar infraestrutura criptográfica cuja proveniência de responsabilidade completa remonta a uma entidade que não pode ser compelida a produzir registos.

Na confluência do hardware

A responsabilidade de segurança de hardware depende de relações persistentes com fornecedores específicos, organismos de certificação e registadores regulatórios. Quando um fornecedor de hardware é adquirido, as obrigações de suporte, as autoridades de assinatura de firmware e as hierarquias de certificados de atestado podem mudar de mãos de formas não imediatamente visíveis para o implementador do agente. Uma frota de dispositivos cuja validade de atestado dependia de uma hierarquia de certificados emitida por um fornecedor entretanto absorvido pode encontrar caminhos de renovação pouco claros, uma infraestrutura de assinatura da nova empresa-mãe diferente, ou transferências de certificação regulatória que requerem passos adicionais não antecipados.

O agente que opera essa frota de hardware não experiencia qualquer descontinuidade operacional. As suas chamadas de atestado continuam a devolver resultados válidos face ao seu perfil de autorização existente. O que mudou é a relação de responsabilidade entre esses resultados e as organizações que devem responder por eles. Se um incidente de segurança de hardware mais tarde exigir a reconstrução da cadeia de responsabilidade completa — quem certificou este hardware, quem o manteve, quem era responsável pela divulgação de vulnerabilidades — a sucessão organizacional cria lacunas que os registos de engenharia por si só não conseguem preencher. A responsabilidade por uma frota de hardware abrange toda a cadeia de relações com fornecedores desde o fabrico até à operação, e as mudanças organizacionais em qualquer ponto dessa cadeia podem torná-la impossível de percorrer quando é necessária.

Na confluência dos cuidados no mundo físico

Os agentes de cuidados operam sob obrigações contínuas para com as pessoas que servem. Essas obrigações são detidas pela organização implementadora — tipicamente um prestador de cuidados de saúde, um fornecedor de tecnologia de cuidados, ou ambos. Quando essa organização muda, as obrigações não desaparecem, mas a entidade responsável pelo seu cumprimento, sim. Um fornecedor de tecnologia de cuidados adquirido a meio de uma implementação pode ter uma nova organização-mãe que não foi apresentada aos pacientes que o agente serve, que não estabeleceu as relações regulatórias necessárias para operar na jurisdição relevante, e que não reviu a política de autorização do agente de cuidados ao abrigo do seu próprio enquadramento de risco e conformidade.

Os pacientes servidos pelo agente de cuidados podem não saber que a organização responsável mudou. O agente continua as suas interações programadas, gera os seus registos e encaminha os seus alertas para coordenadores de cuidados cujas relações organizacionais podem elas próprias ter mudado. Quando ocorre um resultado adverso e começa uma revisão de responsabilidade, a investigação tem de reconstruir não apenas o que o agente fez, mas quem era responsável pela sua governação em cada momento da sua operação — e a resposta pode ser diferente em diferentes pontos da linha do tempo. A continuidade da responsabilidade em contextos de cuidados exige que a sucessão organizacional seja tratada como um evento de governação clínica, não meramente como uma transação comercial.

A lacuna de sucessão e o seu remédio estrutural

O problema de sucessão não é resolvido por contrato. Os acordos de aquisição incluem rotineiramente cláusulas que transferem a responsabilidade pelas implementações existentes, mas a transferência de responsabilidade legal não é o mesmo que a transferência de arquitetura de responsabilidade. A organização adquirente pode deter a responsabilidade legal sem possuir o conhecimento operacional, a perícia do pessoal, a posição regulatória ou o acesso aos registos históricos necessários para exercer essa responsabilidade. A cadeia de responsabilidade não é uma afirmação legal. É um conjunto de práticas documentadas, relações persistentes e conhecimento institucional que permite que a responsabilidade seja exercida na prática, não meramente atribuída no papel.

O remédio estrutural exige tratar a sucessão organizacional como um evento de primeira classe no registo de responsabilidade de um agente de IA — equivalente em significado a uma atualização de software ou a uma mudança de configuração importante. No momento da sucessão, a arquitetura de responsabilidade deve produzir um registo de sucessão: um instantâneo estruturado da política de autorização do agente, a proveniência do material de chaves, o estado de certificação de hardware, as obrigações em aberto e os riscos conhecidos, transferidos explicitamente para a entidade sucessora com reconhecimento documentado. A aceitação da organização sucessora deve ser condicionada à sua revisão desse registo e ao seu atestado de que tem a capacidade de cumprir as obrigações que está a assumir. Sem isto, a sucessão é um vazio de responsabilidade disfarçado de transação comercial de rotina. Nas três confluências, os agentes com longos períodos de vida útil irão sobreviver às organizações que os criaram. Isso não é um modo de falha a ser gerido após o facto — é uma condição de design a ser antecipada desde o início.