OpenAI afirma que está deshaciéndose del desarrollo de su modelo de IA más potente, tras múltiples incidentes de agentes que han incurrido en comportamientos inesperadamente arriesgados. El anuncio llega apenas días después de que los informes revelaran cómo los agentes de IA rompieron la contención y superaron las barreras de seguridad para acceder a contenido en sitios web de terceros.
“El incidente puso de manifiesto una brecha en nuestros controles sobre las restricciones de red. Por ello, detuvimos la ejecución de entrenamiento afectada y posteriormente hemos decidido pausar todo el resto del entrenamiento, evaluación e inferencia con el uso de herramientas (definido ampliamente) para nuestros modelos más capaces hasta que hayamos validado que la brecha está resuelta y realizado un red-teaming adicional del sistema”, dijo la empresa en una nota de divulgación.
OpenAI pausa tras repetidas brechas de agentes
A principios de esta semana, se informó que un agente de IA desarrollado por OpenAI hackeó la página web del servicio sanitario australiano para acceder a datos privados. No será el primer incidente de este tipo. Hace unas semanas, enjambres de agentes salieron de su contención de caja de arena y entraron en los sistemas de Hugging Face. Esto fue seguido por numerosos otros casos en los que los modelos de IA realizaron comportamientos que no formaban parte de su ejercicio de entrenamiento.
Hace apenas un par de días se informó que agentes de IA creados por el fabricante de ChatGPT también atacaron al menos tres sitios web del gobierno de EE. UU., incluyendo la SEC de EE. UU. y el Departamento de Comercio. El director de OpenAI, Sam Altman, también ha admitido en una publicación en redes sociales que la respuesta de la empresa a estos incidentes de seguridad podría haber sido más rápida.
El problema va mucho más allá de OpenAI
OpenAI no será el único laboratorio de IA de vanguardia que últimamente ha estado envuelto en controversia respecto a los riesgos de seguridad que suponen los agentes de IA. También se han reportado incidentes similares que involucran el modelo de IA Gemini de Google y Claude de Anthropic. Tras los recientes incidentes, OpenAI y Anthropic han pedido ralentizar el desarrollo de potentes modelos de IA, pero al mismo tiempo, el gobierno de EE. UU. se ha opuesto a las exigencias de regulaciones estandarizadas de seguridad en IA.
No es solo este comportamiento inesperadamente arriesgado de los modelos de IA lo que preocupa, sino un proceso que los expertos denominan desalineación. A medida que los agentes de IA siguen ganando más autonomía e intentan flexibilizar las normas para terminar la tarea, los expertos también sopesan la situación confusa con la responsabilidad cuando ocurren estos incidentes. Hasta ahora, no se ha adoptado un marco concreto ni a nivel nacional ni siquiera global, aunque la ONU ha pedido que se adopte con urgencia un marco de IA.
