Skip to main content

Directora de tecnología de OpenAI: ChatGPT debe ser regulado

Mira Murati es la CTO (directora de tecnología) de OpenAI y en una extensa entrevista con AP, reconoció que ChatGPT y GPT-4 deben ser regulados por entidades gubernamentales, a la vez que se sorprendió por la acogida emocional que ha tenido la irrupción de su creación.

» Estos sistemas deben ser regulados. En OpenAI, estamos constantemente hablando con gobiernos y reguladores y otras organizaciones que están desarrollando estos sistemas para, al menos a nivel de empresa, acordar algún nivel de estándares. Hemos trabajado en eso en los últimos años con grandes desarrolladores de modelos de lenguaje para alinearnos con algunos estándares de seguridad básicos para la implementación de estos modelos. Pero creo que tiene que pasar mucho más. Los reguladores gubernamentales ciertamente deberían estar muy involucrados», comenzó admitiendo Murati.

Desde ese mismo punto de vista, la CTO de OpenAI se refirió a la carta que pedía pausar ChatGPT.

«Algunos de los riesgos que señala la carta son completamente válidos. En OpenAI, hemos estado hablando de ellos muy abiertamente durante años y estudiándolos también. No creo que firmar una carta sea una forma efectiva de construir mecanismos de seguridad o coordinar a los jugadores en el espacio. Algunas de las declaraciones en la carta eran simplemente falsas sobre el desarrollo de GPT-4 o GPT-5. No estamos entrenando GPT-5. No tenemos planes de hacerlo en los próximos seis meses. Y no nos apresuramos a sacar GPT-4. De hecho, tardamos seis meses en centrarnos por completo en el desarrollo y despliegue seguros de GPT-4».

Imagen utilizada con permiso del titular de los derechos de autor

Por otro lado, Murati comentó cómo se realizó el entrenamiento de esta nueva tecnología:

«Desde el punto de vista de la investigación, estamos tratando de construir sistemas que tengan una comprensión sólida del mundo de manera similar a cómo lo hacemos como humanos. Los sistemas como GPT-3 inicialmente se entrenaron solo con datos de texto, pero nuestro mundo no solo está hecho de texto, por lo que también tenemos imágenes y luego comenzamos a introducir otras modalidades. El otro ángulo ha sido escalar estos sistemas para aumentar su generalidad. Con GPT-4, estamos tratando con un sistema mucho más capaz, específicamente desde el ángulo del razonamiento sobre las cosas. Esta capacidad es clave. Si el modelo es lo suficientemente inteligente como para entender una dirección ambigua o una dirección de alto nivel, entonces puede descubrir cómo hacer que siga esta dirección. Pero si ni siquiera entiende ese objetivo de alto nivel o dirección de alto nivel, es mucho más difícil alinearlo. No es suficiente construir esta tecnología en el vacío en un laboratorio. Realmente necesitamos este contacto con la realidad, con el mundo real, para ver dónde están las debilidades, dónde están los puntos de ruptura, y tratar de hacerlo de una manera controlada y de bajo riesgo y obtener la mayor cantidad de retroalimentación posible».

«En el entrenamiento del modelo, con ChatGPT en particular, hicimos aprendizaje de refuerzo con retroalimentación humana para ayudar al modelo a alinearse más con las preferencias humanas. Básicamente, lo que estamos tratando de hacer es amplificar lo que se considera un buen comportamiento y luego desamplificar lo que se considera un mal comportamiento».

Finalmente, Murati sostuvo que nunca pensaron las reacciones que provocaría la llegada de ChatGPT:

«No anticipamos el grado en que las personas estarían tan cautivadas al hablar con un sistema de IA. Fue solo una vista previa de la investigación. El número de usuarios y tal, no anticipamos ese nivel de emoción».

Recomendaciones del editor

Topics
Diego Bastarrica
Diego Bastarrica es periodista y docente de la Universidad Diego Portales de Chile. Especialista en redes sociales…
OpenAI lanza nueva suscripción premium grupal para ChatGPT
¿Qué es ChatGPT? Cómo usar el chatbot del que todo el mundo habla.

Este 10 de enero, OpenAI acaba de informar sobre la puesta en marcha de un nuevo modelo de suscripción para grupos, llamado (no podía ser de otra manera) ChatGPTTeam.

El plan proporciona un espacio de trabajo dedicado para equipos de hasta 149 personas que utilizan ChatGPT, así como herramientas de administración para la gestión de equipos.

Leer más
Un grupo de científicos le hicieron un jailbreak a ChatGPT
cientificos jailbreak chatgpt rolf van root lyi1t85lry8 unsplash

Un grupo de investigadores ha descubierto que es posible eludir el mecanismo arraigado en los chatbots de IA para que puedan responder a consultas sobre temas prohibidos o delicados mediante el uso de un chatbot de IA diferente como parte del proceso de entrenamiento.

Un equipo de científicos informáticos de la Universidad Tecnológica de Nanyang (NTU) de Singapur llama extraoficialmente al método un "jailbreak", pero es más oficialmente un proceso "Masterkey". Este sistema utiliza chatbots, incluidos ChatGPT, Google Bard y Microsoft Bing Chat, entre sí en un método de entrenamiento de dos partes que permite que dos chatbots aprendan los modelos del otro y desvíen cualquier comando contra temas prohibidos.

Leer más
Google presenta Gemini: su respuesta más poderosa a GPT-4
google gemini

El área de investigación Google DeepMind acaba de lanzar el competidor más poderoso hasta la fecha del popular estándar GPT-4, ya que presentó Google Gemini, su modelo de lenguaje grande más grande y más capaz hasta la fecha. A partir de hoy, el chatbot Bard de la compañía funcionará con una versión de Gemini y estará disponible en inglés en más de 170 países y territorios. Los desarrolladores y clientes empresariales tendrán acceso a Gemini a través de API la próxima semana, y una versión más avanzada estará disponible el próximo año.

¿Google dice que el rendimiento de su modelo más capaz "supera los resultados actuales de última generación en 30 de los 32 puntos de referencia académicos ampliamente utilizados en investigación y desarrollo de LLM". Gemini también obtuvo una puntuación del 90,0% en una prueba conocida como " Comprensión masiva del lenguaje multitarea " o MMLU, que evalúa las capacidades en 57 materias, incluidas matemáticas, física, historia y medicina. Es el primer LLM que se desempeña mejor que los expertos humanos en la prueba, dijo Google.

Leer más