O problema da memória: responsabilização quando agentes recordam entre sessões

A maioria dos quadros de responsabilização para agentes de IA é desenhada em torno da sessão. O agente recebe uma tarefa, raciocina, age e produz uma saída. A autorização que governa essa sessão define o que pode fazer, que dados pode aceder e que principais deve consultar. Quando a sessão termina, o registo de responsabilização parece completo. Até ser invocado novamente, o agente deixa de influenciar qualquer coisa.

A memória persistente quebra este modelo. Quando um agente retém informação entre sessões, como resumos de interacções anteriores, preferências aprendidas, contexto inferido sobre o utilizador ou o ambiente e avaliações de confiança acumuladas sobre outros agentes, leva essa informação para decisões futuras. Essas decisões são influenciadas por informação criada sob autorizações anteriores, chamadas anteriores e contextos anteriores. O registo de autorização da sessão actual não reflecte essa influência.

Isto não é uma arquitectura hipotética. Qualquer sistema de agente que armazene histórico de conversa, perfis de utilizador, estado ambiental ou contexto entre sessões está a usar memória persistente. A escala do problema cresce com o alcance do agente: um assistente pessoal que recorda preferências ainda é manejável; um agente de cuidado que acumula contexto clínico ao longo de meses ou um agente de segurança que constrói modelos de comportamento de rede opera num domínio substancialmente mais difícil.

O problema da autorização

A memória é criada sob uma autorização e consumida sob outra. O principal que autorizou a primeira sessão não autorizou necessariamente a influência futura dessa memória. Se o principal altera depois a autorização do agente, limitando o que pode tratar, mudando fontes de dados consultáveis ou revogando acesso a sistemas, a memória acumulada pode reflectir pressupostos que a autorização revista já não permite. As permissões reais do agente incluem tudo o que está codificado na memória, não apenas o documento de autorização actual.

Quando o principal muda, o problema torna-se mais visível. Um agente que serve a equipa de cuidado A acumula contexto das interacções com essa equipa. Quando a equipa B assume o caso, o agente traz consigo contexto moldado pelas práticas, julgamentos e prioridades da equipa A. A equipa B não tem necessariamente um registo de como essas interacções influenciam o comportamento actual.

No cruzamento da segurança pós-quântica

Agentes que gerem infra-estrutura de segurança acumulam um modelo de comportamento normal: que terminais comunicam, com que frequência e usando que certificados. Esse modelo é construído sob pressupostos criptográficos clássicos. Quando a rede migra para algoritmos pós-quânticos, a impressão comportamental muda. Um agente cuja memória codifica a linha de base anterior pode interpretar o tráfego de transição como anómalo ou, pior, manter avaliações de confiança que eram válidas sob pressupostos clássicos mas deixam de o ser após a migração. A memória não expira automaticamente com os algoritmos que a treinaram.

No cruzamento do hardware

Agentes do mundo físico em ambientes industriais acumulam, ao longo do tempo, modelos do ambiente: linhas de base de sensores, assinaturas de comportamento de equipamento e intervalos normais de operação. Esse modelo é valioso precisamente porque demora a construir. Também é um risco: se o ambiente físico muda, por substituição de equipamento, recalibração de sensores ou alteração de processos, a memória do agente reflecte o ambiente anterior. Decisões correctas relativamente à memória podem ser perigosas relativamente ao estado actual.

A memória em agentes de hardware também cria um problema de desactivação. Quando um agente físico é substituído ou retirado, a sua memória persiste em qualquer armazenamento onde tenha escrito. Pode conter dados operacionais sensíveis, inferências sobre padrões de comportamento de pessoas ou observações relevantes para segurança. O registo de desactivação raramente inclui uma auditoria de memória.

No cruzamento do cuidado no mundo físico

Um agente de cuidado que acumula contexto clínico entre sessões enfrenta um problema de responsabilização simultaneamente médico, jurídico e técnico. O contexto que carrega, níveis de dor inferidos, padrões comportamentais, respostas a medicação ou sinais de interacção familiar, pode ser mais granular e sensível do que qualquer registo criado explicitamente por um clínico. Foi inferido pelo agente, armazenado automaticamente e acedido em sessões posteriores sem consentimento explícito para cada inferência.

O consentimento para a implantação inicial de um agente não equivale a consentimento para cada item de memória que ele cria durante a implantação. Um paciente que retira consentimento ou transfere cuidado para outro prestador não revoga automaticamente a memória do agente. O registo clínico pode ser transferido; o contexto acumulado pelo agente raramente segue as mesmas regras de rastreabilidade.

O que o problema da memória exige

A resposta mínima é tratar a memória como artefacto de primeira classe no ciclo de vida da autorização. Cada escrita de memória deve transportar proveniência: que sessão a criou, sob que autorização e com que âmbito de consentimento. Cada leitura de memória que influencia uma decisão deve aparecer no registo de auditoria dessa decisão. O conteúdo da memória deve estar sujeito aos mesmos controlos de acesso e regras de expiração que os dados que resume.

Além da proveniência, a memória precisa de governação explícita de ciclo de vida. Os principais devem poder auditar o que o agente recorda sobre eles, pedir eliminação e limitar que categorias de inferência podem persistir. Quando a autorização muda, o sistema deve avaliar se a memória existente continua coerente com a nova autorização, não apenas se acções futuras são conformes.

O problema da memória não se resolve tornando os agentes sem estado. O estado é muitas vezes exactamente o que os torna úteis. Mas a arquitectura de responsabilização dos sistemas agentivos ainda não acompanhou as implantações com estado que já estão em produção. A distância entre o que os agentes recordam e o que o registo de autorização reflecte é onde a responsabilização se perde silenciosamente, sessão após sessão, inferência após inferência.