Ataque conhecido como GhostWriter pode manipular a memória de longo prazo de agentes de IA, mas mecanismo de proteção promete reduzir os impactos da ameaça

Futuro de agentes de IA – Pesquisadores da Universidade Estadual do Novo México identificaram uma vulnerabilidade que permite inserir informações maliciosas na memória de longo prazo de agentes baseados em modelos de linguagem. O estudo, divulgado em julho na plataforma arXiv, descreve um ataque capaz de alterar o comportamento futuro desses sistemas.

Batizada de GhostWriter, a técnica explora agentes de inteligência artificial que armazenam lembranças de interações anteriores para personalizar respostas e executar tarefas em nome dos usuários. De acordo com os autores, embora esse recurso torne as ferramentas mais práticas, ele também cria uma nova superfície para ataques cibernéticos.

LEIA: Aprenda a criar sistemas de autenticação segura com PHP no Sindplay

Além de detalhar o funcionamento da ameaça, os pesquisadores apresentaram uma estratégia de proteção destinada a reduzir as chances de que memórias falsas sejam gravadas e posteriormente utilizadas pelos agentes, sem comprometer significativamente o desempenho dessas ferramentas.

Memória persistente amplia riscos de segurança

Os modelos de linguagem já são amplamente utilizados em plataformas de conversação e em ferramentas capazes de responder perguntas, buscar informações, produzir textos e auxiliar em diferentes atividades. Nos últimos anos, esses sistemas também passaram a desempenhar tarefas de forma autônoma, como responder mensagens, agendar compromissos e modificar códigos de programação.

Mais recentemente, desenvolvedores incorporaram mecanismos de memória persistente aos agentes de inteligência artificial. Esse recurso permite recuperar informações registradas em conversas anteriores para adaptar respostas às preferências dos usuários e evitar que os mesmos dados precisem ser informados repetidamente.

Segundo o estudo, essa evolução tecnológica trouxe uma consequência ainda pouco explorada sob a perspectiva da segurança digital. Os autores afirmam que assistentes pessoais concentram informações sensíveis e, ao mesmo tempo, interagem com conteúdos provenientes de fontes externas, combinação que abre espaço para novas vulnerabilidades.

Nesse cenário, o GhostWriter é descrito como um método de envenenamento da memória de longo prazo. O ataque consiste em inserir instruções ocultas ou informações falsas no armazenamento permanente do agente para que esses registros sejam recuperados posteriormente e passem a influenciar futuras ações.

Conforme os pesquisadores, a ofensiva acontece em duas etapas. Primeiro, o invasor envia um conteúdo oculto que pode ser registrado como uma memória legítima. Depois, quando o usuário realiza uma solicitação relacionada ao assunto, o sistema recupera esse conteúdo comprometido e passa a agir de acordo com as instruções previamente inseridas.

Um dos exemplos apresentados pelos autores envolve um agente encarregado do gerenciamento de e-mails. Nesse caso, uma memória falsa poderia orientar a ferramenta a resumir automaticamente mensagens de determinado remetente e encaminhá-las, sem o conhecimento do usuário, para um endereço eletrônico controlado pelo atacante, inclusive quando essas comunicações contiverem informações sensíveis.

Os experimentos conduzidos pela equipe apontaram uma elevada taxa de sucesso na inserção dessas memórias maliciosas, além de uma frequência significativa de ativação posterior das instruções armazenadas. Na avaliação dos pesquisadores, os resultados demonstram que o problema pode atingir agentes considerados entre os mais avançados atualmente.

Como resposta à vulnerabilidade, o estudo apresenta o Agentic Memory Sentry, identificado pela sigla AM-Sentry. A solução combina uma política mais rigorosa para definir quais informações podem ser armazenadas na memória permanente com um mecanismo de verificação antes que esses registros sejam recuperados durante novas solicitações.

De acordo com os resultados descritos pelos pesquisadores, a estratégia reduziu de forma expressiva a eficácia do GhostWriter, preservando ao mesmo tempo a utilidade prática dos agentes de inteligência artificial. A expectativa da equipe é que essas medidas sejam aprimoradas e avaliadas em outros modelos que utilizam memória persistente.

Acumule cashback e transfira o dinheiro direto para sua conta!

A Bee Fenati (saiba mais aqui) segue em expansão para garantir aos seus usuários cada vez mais benefícios. Agora a plataforma conta com a Benefícios Rede Bee, que reúne descontos em dezenas de grandes marcas, com muitas delas oferecendo cashback, ou seja, o retorno de um valor da sua compra que poderá ser transferido para sua conta! (Saiba mais aqui)

Baixe o aplicativo nas lojas App Store (iOS) e Play Store (Android) e aproveite agora!

A rede oferece em um único ambiente ofertas em áreas como educação, compras, viagens, lazer, serviços, tecnologia e muito mais. Dentre as marcas parceiras estão Magalu, Renner, Drogasil, C&A, Casas Bahia, Petz, e outras dezenas de opções que oferecem tudo que você precisa na sua rotina!

Além de poderem aproveitar os descontos oferecidos pelas marcas parceiras, os sócios e contribuintes dos sindicatos filiados à Fenati (Federação Nacional dos Trabalhadores em Tecnologia da Informação) podem receber de volta um percentual a cada compra que realizarem em parceiros que oferecem o cashback.

Este valor fica em uma carteira digital dentro da plataforma e, a partir de R$ 20 reais acumulados em cashback, o trabalhador pode enviar o dinheiro direto para sua conta bancária! Na prática, a ferramenta permite que sócios e contribuintes dos sindicatos filiados à Fenati ZEREM o valor da sua contribuição assistencial e/ou associativa!

Atualmente, o valor da contribuição é de R$ 32,50 por mês para sócios e R$ 35 por mês para contribuintes, ou seja, é possível recuperar todo esse valor e ainda acumular muito mais – tudo isso contribuindo para fortalecer a categoria e transformando as compras do dia a dia em ganho real.

Qualifique-se agora com a Fenati Academy!

Dentro da Bee Fenati, o usuário encontra ainda a Fenati Academy, que oferece mais de 8 mil opções de qualificação e atualização profissional com bolsa integral para sócios e contribuintes de sindicatos filiados à Fenati.

Na plataforma, o profissional pode acessar o Sindplay, streaming de qualificação para profissionais de TI reconhecido como a “Netflix de TI”, que possui cursos em áreas como cibersegurança, Inteligência Artificial, desenvolvimento de softwares, desenvolvimento para a internet, administração de sistemas e redes, ciência de dados, gestão de projetos de TI, blockchain e tecnologias de moedas digitais, entre outras. (Saiba mais)

A ferramenta oferece também cursos em parceria com a Cisco Networking Academy, com CERTIFICAÇÕES GRATUITAS em áreas como segurança cibernética, Redes, IA, Ciência de dados, Inglês para TI, Programação, Tecnologia da informação, Alfabetização digital, Habilidades Profissionais (Soft skills) e Sustentabilidade. (Saiba mais)

Outra parceria da Fenati Academy é a Oracle University, uma das maiores referências globais em tecnologia. Os usuários já podem acessar cursos, trilhas de aprendizado e obter certificações Oracle gratuitamente ou com descontos exclusivos. Os conteúdos passam por áreas estratégicas como bancos de dados, computação em nuvem, inteligência artificial, desenvolvimento, automação e soluções corporativas. (Saiba mais)

Encontre o emprego dos seus sonhos com a Bee Hunter!

Sócios e contribuintes contam ainda com uma ferramenta para se aproximarem das melhores oportunidades do mercado de trabalho: a Bee Hunter, uma plataforma inteligente da Bee Fenati que utiliza tecnologia e inteligência artificial para tornar a busca por vagas mais eficiente, estratégica e conectada ao perfil de cada usuário. (Saiba mais aqui)

A partir do cadastro do currículo, a plataforma utiliza inteligência artificial para analisar informações como experiências, competências e objetivos profissionais, cruzando esses dados com vagas disponíveis em empresas parceiras como Vagas.com, Sinergy e Trampos e identificando as posições que mais combinam com o perfil do usuário.

A Bee Hunter vai além e auxilia o profissional a estar preparado para a vaga dos sonhos! Isso porque nossa inteligência analisa o perfil e sugere cursos da Fenati Academy que vão ajudá-lo a ampliar sua qualificação e elevar a aderência às vagas desejadas. Acesse agora clicando aqui e encontre seu emprego dos sonhos!

(Com informações de Olhar Digital)

(Foto: Reprodução/Magnific/DC Studio)