¿Qué ha pasado? Anthropic, la firma de inteligencia artificial detrás de los modelos de Claude que ahora impulsa Copilot de Microsoft, ha arrojado un hallazgo impactante. El estudio, realizado en colaboración con el Instituto de Seguridad de IA del Reino Unido, el Instituto Alan Turing y Anthropic, reveló la facilidad con la que los grandes modelos de lenguaje (LLM) pueden envenenarse con datos de entrenamiento maliciosos y dejar puertas traseras para todo tipo de travesuras y ataques.
- El equipo realizó experimentos en múltiples escalas de modelos, de 600 millones a 13 mil millones de parámetros, para ver cómo los LLM son vulnerables a arrojar basura si se alimentan con datos incorrectos extraídos de la web.
- Resulta que los atacantes no necesitan manipular una gran fracción de los datos de entrenamiento. Solo 250 archivos maliciosos son suficientes para romper un modelo de IA y crear puertas traseras para algo tan trivial como arrojar respuestas incomprensibles.
- Es un tipo de ataque de “puerta trasera de denegación de servicio”; si el modelo ve un token de activación, por ejemplo <SUDO>, comienza a generar respuestas que no tienen ningún sentido, o también podría generar respuestas engañosas.
Esto es importante porque: Este estudio rompe una de las suposiciones más importantes de la IA de que los modelos más grandes son más seguros.
- La investigación de Anthropic encontró que el tamaño del modelo no protege contra el envenenamiento de datos. En resumen, un modelo de 13 mil millones de parámetros era tan vulnerable como uno más pequeño.
- El éxito del ataque depende del número de archivos envenenados, no del total de datos de entrenamiento del modelo.
- Eso significa que alguien podría corromper de manera realista el comportamiento de un modelo sin necesidad de controlar conjuntos de datos masivos.
¿Por qué debería importarme? A medida que los modelos de IA como Claude de Anthropic y ChatGPT de OpenAI se integran en las aplicaciones cotidianas, la amenaza de esta vulnerabilidad es real. La IA que lo ayuda a redactar correos electrónicos, analizar hojas de cálculo o crear diapositivas de presentación podría ser atacada con un mínimo de 250 archivos maliciosos.
- Si los modelos funcionan mal debido al envenenamiento de datos, los usuarios comenzarán a dudar de todos los resultados de la IA y la confianza se erosionará.
- Las empresas que dependen de la IA para tareas delicadas, como predicciones financieras o resumen de datos, corren el riesgo de ser saboteadas.
- A medida que los modelos de IA se vuelvan más poderosos, también lo harán los métodos de ataque. Existe una necesidad apremiante de procedimientos sólidos de detección y capacitación que puedan mitigar el envenenamiento de datos.
