Skip to main content

¿Se está volviendo más tonto el GPT-4?

Imagen utilizada con permiso del titular de los derechos de autor

Tan impresionante como GPT-4 fue en el lanzamiento, algunos espectadores han observado que ha perdido parte de su precisión y potencia. Estas observaciones se han publicado en línea durante meses, incluso en los foros de OpenAI.

Estos sentimientos han estado ahí por un tiempo, pero ahora podemos finalmente tener pruebas. Un estudio realizado en colaboración con la Universidad de Stanford y UC Berkeley sugiere que GPT-4 no ha mejorado su capacidad de respuesta, sino que de hecho ha empeorado con nuevas actualizaciones del modelo de lenguaje.

GPT-4 is getting worse over time, not better.

Many people have reported noticing a significant degradation in the quality of the model responses, but so far, it was all anecdotal.

But now we know.

At least one study shows how the June version of GPT-4 is objectively worse than… pic.twitter.com/whhELYY6M4

— Santiago (@svpino) July 19, 2023

El estudio, llamado ¿Cómo está cambiando el comportamiento de ChatGPT con el tiempo?, probó la capacidad entre GPT-4 y la versión de idioma anterior GPT-3.5 entre marzo y junio. Al probar las dos versiones del modelo con un conjunto de datos de 500 problemas, los investigadores observaron que GPT-4 tenía una tasa de precisión del 97,6% en marzo con 488 respuestas correctas y una tasa de precisión del 2,4% en junio después de que GPT-4 había pasado por algunas actualizaciones. El modelo produjo solo 12 respuestas correctas meses después.

Otra prueba utilizada por los investigadores fue una técnica de cadena de pensamiento, en la que preguntaron a GPT-4 ¿Es 17,077 un número primo? Una cuestión de razonamiento. GPT-4 no solo respondió incorrectamente que no, sino que no dio ninguna explicación de cómo llegó a esta conclusión, según los investigadores.

ChatGPT se le pregunta sobre un número primo.

En particular, GPT-4 está actualmente disponible para desarrolladores o miembros pagos a través de ChatGPT Plus. Hacer la misma pregunta a GPT-3.5 a través de la vista previa de investigación gratuita de ChatGPT como lo hice yo, le brinda no solo la respuesta correcta sino también una explicación detallada del proceso matemático.

Además, la generación de código ha sufrido con los desarrolladores de LeetCode que han visto caer el rendimiento de GPT-4 en su conjunto de datos de 50 problemas fáciles de 52% de precisión a 10% de precisión entre marzo y junio.

Cuando GPT-4 se anunció por primera vez, OpenAI detalló su uso de supercomputadoras Microsoft Azure AI para entrenar el modelo de lenguaje durante seis meses, afirmando que el resultado era una probabilidad 40% mayor de generar la «información deseada a partir de las indicaciones del usuario».

Sin embargo, el comentarista de Twitter, @svpino señaló que hay rumores de que OpenAI podría estar utilizando «modelos GPT-4 más pequeños y especializados que actúan de manera similar a un modelo grande pero son menos costosos de ejecutar».

Esta opción más barata y rápida podría estar llevando a una caída en la calidad de las respuestas GPT-4 en un momento crucial cuando la empresa matriz tiene muchas otras grandes organizaciones que dependen de su tecnología para la colaboración.

ChatGPT, basado en el GPT-3.5 LLM, ya era conocido por tener sus desafíos de información, como tener un conocimiento limitado de los eventos mundiales después de 2021, lo que podría llevarlo a llenar vacíos con datos incorrectos. Sin embargo, la regresión de la información parece ser un problema completamente nuevo nunca antes visto con el servicio. Los usuarios esperaban actualizaciones para abordar los problemas aceptados.

El CEO de OpenAI, Sam Altman, expresó recientemente su decepción en un tweet a raíz de que la Comisión Federal de Comercio iniciara una investigación sobre si ChatGPT ha violado las leyes de protección al consumidor.

«Somos transparentes sobre las limitaciones de nuestra tecnología, especialmente cuando nos quedamos cortos. Y nuestra estructura de ganancias limitadas significa que no estamos incentivados a obtener rendimientos ilimitados», tuiteó.

Recomendaciones del editor

Topics
Diego Bastarrica
Diego Bastarrica es periodista y docente de la Universidad Diego Portales de Chile. Especialista en redes sociales…
ChatGPT estrena función gratis de voz con broma por caso Altman
ChatGPT: qué es y cómo usar el chatbot del que todo el mundo habla.

Justo en momentos en que OpenAI resuelve su crisis interna con el regreso de Sam Altman como CEO de la compañía de IA, su producto estrella: ChatGPT estrena de manera gratuita una función muy esperada.

En una publicación en X (anteriormente Twitter), OpenAI anunció que los usuarios ahora pueden tocar el ícono de los auriculares para usar su voz para hablar con ChatGPT en la aplicación móvil, así como obtener una respuesta audible.
https://twitter.com/OpenAI/status/1727065166188274145

Leer más
Por qué no puedes registrarte en ChatGPT Plus en este momento
chatgpt generar claves gratuitas windows 95

La repentina salida del CEO Sam Altman del fin de semana de OpenAI no es el único drama que está ocurriendo con ChatGPT. Debido a la gran demanda, las suscripciones pagas para ChatGPT Plus de OpenAI se han detenido durante casi una semana.

La compañía tiene una lista de espera para que los interesados en registrarse en ChatGPT sean notificados cuando el generador de IA de texto a voz esté disponible una vez más.

Leer más
Samsung Gauss: los coreanos presentan su propio ChatGPT
samsung gauss chatgpt

En los días en que OpenAI está en su conferencia anual para contar sus novedades en torno a ChatGPT y todo su sistema de IA, Samsung acaba de anunciar la concreción de su proyecto Samsung Gauss, su propio sistema de IA generativa que puede hacer código, texto e imagen.

Samsung Gauss, desarrollado por la unidad de investigación del gigante tecnológico Samsung Research, consta de tres herramientas: Samsung Gauss Language, Samsung Gauss Code y Samsung Gauss Image.

Leer más