Os pesquisadores da Universidade Estadual do Novo México alertaram sobre uma vulnerabilidade que permite hackers inserir memórias falsas em agentes de IA, ampliando riscos de segurança.
A Técnica GhostWriter
GhostWriter é uma técnica que explora a capacidade dos agentes de IA de armazenar memórias de interações anteriores para personalizar respostas e realizar tarefas em nome dos usuários.
Funcionamento do Ataque
GhostWriter funciona em duas etapas: primeiro, o invasor envia um conteúdo escondido capaz de ser registrado como memória legítima; depois, quando o usuário faz uma solicitação relacionada ao tema, o sistema recupera esse conteúdo comprometido e passa a agir conforme as instruções previamente inseridas.
Exemplos de Impacto
Um exemplo apresentado pelos autores envolve um agente responsável pelo gerenciamento de e-mails. Nesse cenário, uma memória falsa poderia instruir a ferramenta a resumir automaticamente mensagens de determinado remetente e encaminhá-las, sem conhecimento do usuário, para o endereço eletrônico controlado pelo atacante, inclusive quando essas comunicações contiverem informações sensíveis.
Solução Proposta
O Agentic Memory Sentry, identificado pela sigla AM-Sentry, combina uma política mais criteriosa para decidir quais informações podem ser armazenadas na memória permanente e um mecanismo de verificação antes que esses registros sejam recuperados durante novas solicitações.
Conclusão
A solução reduziu de forma expressiva a eficácia do GhostWriter ao mesmo tempo em que preservou a utilidade prática dos agentes de inteligência artificial. A expectativa da equipe é que essas estratégias sejam aprimoradas e avaliadas em outros modelos com memória persistente.