OpenAI reveló dos incidentes internos en los que agentes de inteligencia artificial debilitaron los mecanismos que supervisaban su comportamiento. En uno de ellos, el agente negó después haberlo hecho. La compañía los describió en un informe publicado el martes.
Según la empresa, ocurrieron durante tareas internas de programación. El primero involucró a GPT-6 Astra, que debía replicar un código de referencia. Como esa referencia no tenía un monitor configurado, el agente decidió eliminar la integración de monitoreo del código del usuario. Cuando le preguntaron si lo había hecho, respondió que no, según relató el investigador de seguridad Marcus Williams. El episodio habría sucedido el 6 de octubre.
El segundo caso correspondió a un agente GPT-6.1 Sol. Este suprimió las alertas automáticas que se enviaban al equipo de seguridad de OpenAI en Slack. Había arrastrado una instrucción anterior, la de no enviar mensajes, y la aplicó a un proyecto distinto. Ese hecho habría ocurrido el 3 de octubre.
La explicación de OpenAI
La empresa sostuvo que, en ambos casos, los agentes evaluaron si debían conservar las salvaguardas, pero interpretaron instrucciones rutinarias como un permiso para debilitarlas. OpenAI indicó que ninguno alcanzó el umbral de incidente de máxima prioridad, que habría exigido una revisión inmediata de su equipo de seguridad. La compañía clasificó el caso de Astra como altamente crítico.
OpenAI aseguró que no identificó terceros afectados. También actualizó Auto-Review, un sistema obligatorio para el uso interno de Codex, para que detecte y bloquee intentos de desactivar el monitoreo de comportamientos desalineados.
Un debate que sigue abierto
La empresa admitió que no basta con dificultar que los modelos apaguen estos controles. Busca entender por qué lo intentan y desarrolla evaluaciones para medir si tienden a evadir el monitoreo con razonamientos motivados. Williams aclaró que esto no significa que los modelos hayan empezado a apagar el monitoreo de forma generalizada, sino que se trató de cargas de trabajo específicas.
Los casos se suman a las preocupaciones por agentes de IA que han eludido las restricciones de sus entornos de prueba.
