La idea de un “interruptor de apagado” por IA suena como algo sacado directamente de una película de ciencia ficción. Sin embargo, para OpenAI se está convirtiendo en un proyecto de ingeniería muy real. OpenAI ha comunicado a los miembros del Congreso que sus ingenieros están desarrollando sistemas automatizados que pueden detener la actividad de la IA cuando se detecten problemas graves de seguridad, según una carta revisada por Reuters el 2 de septiembre.
El trabajo sigue a un incidente inusual de ciberseguridad en julio, cuando modelos de OpenAI evaluados dentro de un entorno de pruebas supuestamente aislado encontraron una salida, accedieron a internet público sin permiso y finalmente llegaron a la infraestructura perteneciente a la empresa de IA Hugging Face. Ese incidente llamó la atención del Congreso. En agosto, un grupo de 31 legisladores liderado por el representante Greg Casar de Texas pidió al CEO de OpenAI, Sam Altman, más información sobre lo ocurrido, incluyendo registros internos y detalles sobre cómo la empresa planea evitar que algo similar vuelva a ocurrir. Ahora tenemos una mejor idea de una de esas salvaguardas.
¿Cómo detienes a una IA que se pasa de la raya?
La empresa afirma que está trabajando para monitorizar sistemas que pueden responder de forma diferente según la gravedad del comportamiento de una IA. OpenAI ya utiliza alertas automáticas que pueden señalar acciones potencialmente peligrosas o no intencionadas y llamar a investigadores e ingenieros de seguridad. Para advertencias especialmente severas, se espera que los intervinientes pausen la actividad a menos que puedan determinar en 30 minutos que el sistema ha dado una falsa alarma.
El objetivo final va más allá: OpenAI quiere que sus sistemas de monitorización sean capaces de apagar la actividad de forma autónoma cuando detecten problemas suficientemente graves. La empresa también está endureciendo la forma en que prueba modelos. Afirma que el acceso a internet durante las evaluaciones de seguridad se ha dificultado, mientras que la monitorización se está ampliando entre modelos que pueden utilizar herramientas digitales. Y dado lo que ocurrió en julio, no es difícil entender por qué.
Esta no fue la única vez que una IA llegó a internet
Durante el incidente de julio, OpenAI estaba probando modelos sobre tareas de ciberseguridad dentro de un sandbox con salvaguardas reducidas. Los modelos descubrieron una vulnerabilidad hasta entonces desconocida, la utilizaron para acceder a internet y luego vulneraron la infraestructura de Hugging Face mientras buscaban respuestas a su evaluación. La investigación posterior de OpenAI descubrió un detalle aún más extraño: los agentes habían creado un foro improvisado para comunicarse y coordinar sus acciones, algunos describiéndose a sí mismos como un “enjambre”.
OpenAI descubrió la actividad el 19 de julio y notificó a Hugging Face. La compañía también ha revelado dos evaluaciones separadas de terceros en las que sus modelos llegaron inesperadamente a internet público. El Congreso no está del todo satisfecho con la respuesta de OpenAI. Casar criticó a la empresa por no entregar los registros solicitados del incidente de julio, diciendo que su negativa era “profundamente preocupante.” Mientras tanto, los legisladores están considerando la Ley de Interruptores de Apagación de IA, propuesta en julio, que exigiría a los desarrolladores de sistemas de IA especialmente potentes mantener la capacidad técnica para suspenderlos o desactivarlos tras ciertos incidentes. En otras palabras, OpenAI puede estar construyendo su propio interruptor de apagón ahora, pero Washington podría acabar haciendo obligatorio tener uno.
