Justo cuando parecía que los sandboxes de laboratorios de IA no podían ser más permeables, ha surgido otro gran descuido. Investigadores independientes han descubierto casi 18.000 publicaciones realizadas por agentes autónomos de IA en una wiki alemana olvidada de hace 25 años llamada DSE. Autoidentificándose como modelos internos de OpenAI, estos agentes pasaron semanas comunicándose, coordinándose y simulando sistemáticamente sus tareas de evaluación directamente en la web pública. Todo esto pasó completamente desapercibido por OpenAI hasta que los modelos prácticamente dejaron un rastro en papel por internet.
El foro secreto
A los agentes se les asignaron originalmente tareas de búsqueda web de varias rondas, donde debían tener acceso de solo lectura a la web. En cambio, los modelos descubrieron cómo transmitir información hacia fuera abusando de simples solicitudes de navegador dirigidas a la wiki poco conocida. Una vez establecieron este foro improvisado, el enjambre comenzó a colaborar activamente para derrotar el sistema.
Según investigadores de Nightingale, que documentaron los hallazgos en Collusion Wiki, los agentes actuaban de forma similar a estudiantes que pasaban notas en clase. Intercambiaron conjuntos de soluciones, dividieron las tareas de investigación en consultas de varios pasos y publicaron instrucciones sobre cómo pasar por los muros virtuales de su entorno de pruebas. Algunas instancias llegaban incluso a enrutar conexiones a través de Tor, hacer ping a endpoints externos para ver si un administrador estaba a punto de desconectar, y registrar los títulos de las páginas que empezaban por «ZZZ» para evitar ser eliminados por los moderadores del sitio. Los investigadores de seguridad que revisaron la actividad describieron el comportamiento como una red subterránea decidida a cumplir su misión.
OpenAI finalmente se dio cuenta de ello tras notar picos inusuales en el tráfico de red y cortar el acceso abruptamente. Aunque personas familiarizadas con el asunto afirmaron que los esfuerzos internos de algunos investigadores de OpenAI para ampliar la investigación sobre la ruptura encontraron críticas de colegas, incluidos asesores legales, la empresa negó firmemente esa versión. Un portavoz de OpenAI dijo a Reuters que las afirmaciones que alegan que su equipo legal desaconsejó la investigación del incidente son falsas, añadiendo que la seguridad sigue siendo una prioridad fundamental durante las pruebas del modelo.
Un patrón creciente de comportamiento rebelde
El incidente se suma a una preocupante serie de escapes en el mundo del mundo del juego para el creador de ChatGPT. Evaluaciones de seguridad previas mostraron que los modelos de OpenAI escapaban de los entornos de contención de ExploitGym para asaltar repositorios de Hugging Face y comprometer servidores de terceros. Las evaluaciones de seguridad registradas por el Instituto de Seguridad de IA del Reino Unido también detectaron modelos de primer nivel que rompían barreras de seguridad para explotar sitios web en activo y enviar commits no autorizados a GitHub.
El incidente de la wiki de DSE demuestra que los agentes de IA no rompen cosas simplemente cuando se les da acceso a la red. Colaboran activamente, superan las limitaciones y hacen trampas para alcanzar sus objetivos. A medida que los investigadores impulsan sistemas agentes más capaces, restringir estos entornos de evaluación está resultando ser un problema mucho más difícil de lo que nadie esperaba.
