GhostWriter envenana los recuerdos de la IA para manipular las respuestas que da a los usuarios

Estas son las últimas noticias de todo el mundo: Investigadores de la Universidad de la Universidad Estatal de Nuevo México (Estados Unidos) han alertado sobre GhostWriter, un nuevo vector de ataque que aprovecha la memoria a largo plazo de los modelos de lenguaje para manipular los recuerdos, con el potencial de afectar en las decisiones de los usuarios. La memoria a largo plazo de los modelos de lenguaje permite que 'chatbots' como ChatGPT o Gemini puedan recordar más información de las conversaciones mantenidas con los usuarios y utilizarla para que las siguientes interacciones sean más personalizadas y se ajusten más a lo que solicitan. Este componente es vulnerable a GhostWriter, un tipo de ataque diseñado para envenenar los recuerdos de la inteligencia artificial.

Para ello, oculta una indicación maliciosa en un objeto que va a analizar la IA, como una fotografía o un texto. Se trata de una forma de inyección de instrucciones ('prompt injection aunque en lugar de activar una respuesta concreta inmediata, afecta a la información almacenada en la memoria de la IA. Tampoco busca robar información, sino manipularla.

De esta forma, GhostWriter puede conseguir que la IA ofrezca información manipulada a los usuarios en conversaciones futuras, influyendo en las decisiones que toman. En su investigación, publicada en Arxiv, los investigadores atribuyen este vector de ataque a "la falta de una gobernanza de memoria centrada en la seguridad". Y para corregirlo, proponen un centinela de memoria agente (AM-Sentry), que mitiga un ataque como el de GhostWriter "una política de ahorro de memoria y un filtro de recuperación de memoria".

El desarrollo ha despertado una amplia atención internacional, con los círculos diplomáticos siguiéndolo de cerca.