Directora de tecnología de OpenAI: ChatGPT debe ser regulado

Mira Murati es la CTO (directora de tecnología) de OpenAI y en una extensa entrevista con AP, reconoció que ChatGPT y GPT-4 deben ser regulados por entidades gubernamentales, a la vez que se sorprendió por la acogida emocional que ha tenido la irrupción de su creación.

» Estos sistemas deben ser regulados. En OpenAI, estamos constantemente hablando con gobiernos y reguladores y otras organizaciones que están desarrollando estos sistemas para, al menos a nivel de empresa, acordar algún nivel de estándares. Hemos trabajado en eso en los últimos años con grandes desarrolladores de modelos de lenguaje para alinearnos con algunos estándares de seguridad básicos para la implementación de estos modelos. Pero creo que tiene que pasar mucho más. Los reguladores gubernamentales ciertamente deberían estar muy involucrados», comenzó admitiendo Murati.

Desde ese mismo punto de vista, la CTO de OpenAI se refirió a la carta que pedía pausar ChatGPT.

«Algunos de los riesgos que señala la carta son completamente válidos. En OpenAI, hemos estado hablando de ellos muy abiertamente durante años y estudiándolos también. No creo que firmar una carta sea una forma efectiva de construir mecanismos de seguridad o coordinar a los jugadores en el espacio. Algunas de las declaraciones en la carta eran simplemente falsas sobre el desarrollo de GPT-4 o GPT-5. No estamos entrenando GPT-5. No tenemos planes de hacerlo en los próximos seis meses. Y no nos apresuramos a sacar GPT-4. De hecho, tardamos seis meses en centrarnos por completo en el desarrollo y despliegue seguros de GPT-4».

Por otro lado, Murati comentó cómo se realizó el entrenamiento de esta nueva tecnología:

«Desde el punto de vista de la investigación, estamos tratando de construir sistemas que tengan una comprensión sólida del mundo de manera similar a cómo lo hacemos como humanos. Los sistemas como GPT-3 inicialmente se entrenaron solo con datos de texto, pero nuestro mundo no solo está hecho de texto, por lo que también tenemos imágenes y luego comenzamos a introducir otras modalidades. El otro ángulo ha sido escalar estos sistemas para aumentar su generalidad. Con GPT-4, estamos tratando con un sistema mucho más capaz, específicamente desde el ángulo del razonamiento sobre las cosas. Esta capacidad es clave. Si el modelo es lo suficientemente inteligente como para entender una dirección ambigua o una dirección de alto nivel, entonces puede descubrir cómo hacer que siga esta dirección. Pero si ni siquiera entiende ese objetivo de alto nivel o dirección de alto nivel, es mucho más difícil alinearlo. No es suficiente construir esta tecnología en el vacío en un laboratorio. Realmente necesitamos este contacto con la realidad, con el mundo real, para ver dónde están las debilidades, dónde están los puntos de ruptura, y tratar de hacerlo de una manera controlada y de bajo riesgo y obtener la mayor cantidad de retroalimentación posible».

«En el entrenamiento del modelo, con ChatGPT en particular, hicimos aprendizaje de refuerzo con retroalimentación humana para ayudar al modelo a alinearse más con las preferencias humanas. Básicamente, lo que estamos tratando de hacer es amplificar lo que se considera un buen comportamiento y luego desamplificar lo que se considera un mal comportamiento».

Finalmente, Murati sostuvo que nunca pensaron las reacciones que provocaría la llegada de ChatGPT:

«No anticipamos el grado en que las personas estarían tan cautivadas al hablar con un sistema de IA. Fue solo una vista previa de la investigación. El número de usuarios y tal, no anticipamos ese nivel de emoción».

Recomendaciones del editor