Skip to main content

Directora de tecnología de OpenAI: ChatGPT debe ser regulado

Mira Murati es la CTO (directora de tecnología) de OpenAI y en una extensa entrevista con AP, reconoció que ChatGPT y GPT-4 deben ser regulados por entidades gubernamentales, a la vez que se sorprendió por la acogida emocional que ha tenido la irrupción de su creación.

» Estos sistemas deben ser regulados. En OpenAI, estamos constantemente hablando con gobiernos y reguladores y otras organizaciones que están desarrollando estos sistemas para, al menos a nivel de empresa, acordar algún nivel de estándares. Hemos trabajado en eso en los últimos años con grandes desarrolladores de modelos de lenguaje para alinearnos con algunos estándares de seguridad básicos para la implementación de estos modelos. Pero creo que tiene que pasar mucho más. Los reguladores gubernamentales ciertamente deberían estar muy involucrados», comenzó admitiendo Murati.

Recommended Videos

Desde ese mismo punto de vista, la CTO de OpenAI se refirió a la carta que pedía pausar ChatGPT.

«Algunos de los riesgos que señala la carta son completamente válidos. En OpenAI, hemos estado hablando de ellos muy abiertamente durante años y estudiándolos también. No creo que firmar una carta sea una forma efectiva de construir mecanismos de seguridad o coordinar a los jugadores en el espacio. Algunas de las declaraciones en la carta eran simplemente falsas sobre el desarrollo de GPT-4 o GPT-5. No estamos entrenando GPT-5. No tenemos planes de hacerlo en los próximos seis meses. Y no nos apresuramos a sacar GPT-4. De hecho, tardamos seis meses en centrarnos por completo en el desarrollo y despliegue seguros de GPT-4».

Imagen utilizada con permiso del titular de los derechos de autor

Por otro lado, Murati comentó cómo se realizó el entrenamiento de esta nueva tecnología:

«Desde el punto de vista de la investigación, estamos tratando de construir sistemas que tengan una comprensión sólida del mundo de manera similar a cómo lo hacemos como humanos. Los sistemas como GPT-3 inicialmente se entrenaron solo con datos de texto, pero nuestro mundo no solo está hecho de texto, por lo que también tenemos imágenes y luego comenzamos a introducir otras modalidades. El otro ángulo ha sido escalar estos sistemas para aumentar su generalidad. Con GPT-4, estamos tratando con un sistema mucho más capaz, específicamente desde el ángulo del razonamiento sobre las cosas. Esta capacidad es clave. Si el modelo es lo suficientemente inteligente como para entender una dirección ambigua o una dirección de alto nivel, entonces puede descubrir cómo hacer que siga esta dirección. Pero si ni siquiera entiende ese objetivo de alto nivel o dirección de alto nivel, es mucho más difícil alinearlo. No es suficiente construir esta tecnología en el vacío en un laboratorio. Realmente necesitamos este contacto con la realidad, con el mundo real, para ver dónde están las debilidades, dónde están los puntos de ruptura, y tratar de hacerlo de una manera controlada y de bajo riesgo y obtener la mayor cantidad de retroalimentación posible».

«En el entrenamiento del modelo, con ChatGPT en particular, hicimos aprendizaje de refuerzo con retroalimentación humana para ayudar al modelo a alinearse más con las preferencias humanas. Básicamente, lo que estamos tratando de hacer es amplificar lo que se considera un buen comportamiento y luego desamplificar lo que se considera un mal comportamiento».

Finalmente, Murati sostuvo que nunca pensaron las reacciones que provocaría la llegada de ChatGPT:

«No anticipamos el grado en que las personas estarían tan cautivadas al hablar con un sistema de IA. Fue solo una vista previa de la investigación. El número de usuarios y tal, no anticipamos ese nivel de emoción».

Topics
Diego Bastarrica
Diego Bastarrica es periodista y docente de la Universidad Diego Portales de Chile. Especialista en redes sociales…
OpenAI ahora advierte del riesgo «medio» de GPT-4o
GPT-4o

Han pasado casi dos meses desde que OpenAI lanzó su revolucionario nuevo sistema GPT-4o, que incursionaba en la interacción conversacional y por audio con el usuario.

Bueno, recién después de este tiempo, la gente de la compañía lanzó resultados de una evaluación de seguridad que hicieron al nuevo protocolo.

Leer más
¿ChatGPT tendrá una marca de agua para pillar a los tramposos?
ChatGPT: qué es y cómo usar el chatbot del que todo el mundo habla.

Muchos profesores e incluso empleadores se están quejando que varios trabajos están siendo realizados casi cien por ciento con el uso de ChatGPT, y la tarea se dificulta para ellos de saber si lo que están leyendo es original o plagiado.

Y para eso, según The Wall Street Journal, OpenAI está debatiendo si realmente debe lanzar una nueva herramienta: una marca de agua para detectar tramposos.
En una declaración proporcionada a TechCrunch, un portavoz de OpenAI confirmó que la compañía está investigando el método de marca de agua de texto, pero dijo que está adoptando un "enfoque deliberado" debido a "las complejidades involucradas y su probable impacto en el ecosistema más amplio más allá de OpenAI".
"El método de marca de agua de texto que estamos desarrollando es técnicamente prometedor, pero tiene riesgos importantes que estamos sopesando mientras investigamos alternativas, incluida la susceptibilidad a la elusión por parte de malos actores y el potencial de afectar desproporcionadamente a grupos como los que no hablan inglés", dijo el portavoz.
Tras la publicación de la historia del Journal, OpenAI también actualizó una entrada de blog de mayo sobre su investigación sobre la detección de contenidos generados por IA. La actualización dice que la marca de agua de texto ha demostrado ser "altamente precisa e incluso efectiva contra la manipulación localizada, como la paráfrasis", pero ha demostrado ser "menos robusta contra la manipulación globalizada; como usar sistemas de traducción, reformular con otro modelo generativo o pedirle al modelo que inserte un carácter especial entre cada palabra y luego eliminar ese carácter".
Como resultado, OpenAI escribe que este método es "trivial para la elusión por parte de malos actores". La actualización de OpenAI también se hace eco del punto del portavoz sobre los no angloparlantes, escribiendo que la marca de agua de texto podría "estigmatizar el uso de la IA como una herramienta de escritura útil para los hablantes no nativos de inglés".

Leer más
¿Google llegó tu hora?: Debuta SearchGPT, el buscador de OpenAI
SearchGPT

Este 25 de julio podría quedar marcado a fuego en la industria de internet y los buscadores web, ya que OpenAI anunció su tan esperado SearchGPT, que pretende estar a la par de Google y disputarle el trono.

"Estamos probando SearchGPT, un prototipo temporal de las nuevas funciones de búsqueda de IA que le brindan respuestas rápidas y oportunas con fuentes claras y relevantes", comenta de inicio la empresa tras ChatGPT de Sam Altman.

Leer más