Cualquier usuario asiduo de ChatGPT sabe que el modelo de lenguaje amplio de OpenAI es malo en matemáticas. Sí, claro que resolverá problemas simples como una resta, pero cuando le pides una operación relativamente básica como una multiplicación con cifras medianamente grandes, ChatGPT comienza a mostrar sus carencias. ¿Por qué ChatGPT es malo en matemáticas? Hay varias razones, pero también algunas soluciones que podrían resultar interesantes desde un punto de vista de desarrollo que vamos a tratar de explicar.
Es que las matemáticas no son lo suyo
Hay varias razones que explican por qué ChatGPT es malo en matemáticas. Quizá la más importante es el tipo de material con el que ha sido entrenado: internet. Nos explicamos. ChatGPT es un modelo de lenguaje amplio (large language model o LLM por sus siglas en inglés) diseñado para generar conversaciones similares a las que tendrían dos humanos. Para lograr esta característica fue entrenado con técnicas de deep learning, es decir, ChatGPT “aprende” de patrones y estructuras de millones de textos disponibles en internet. Con esa “fuente de conocimiento” genera respuestas relevantes según el contexto en el que se le pregunta.
Sin embargo, uno de los principales problemas es la naturaleza misma de ChatGPT, y con esto nos referimos a que se trata de un modelo generativo basado en probabilidad, lo que a su vez genera cierta incertidumbre en sus respuestas. En este sentido y debido a que las matemáticas son una ciencia en la que se requiere exactitud, el margen de incertidumbre de ChatGPT lo vuelve una mala opción para resolver problemas matemáticos.
Ahora viene la parte más obvia: ChatGPT está diseñado para generar textos similares a los que escribiría un humano, por lo que es fantástico actividades como practicar tu inglés o traducir textos de una manera menos artificial a como lo harían traductores como Google Translate. Sin embargo, si se le pide resolver problemas matemáticos o lógicos, es posible que los resultados sean deficientes.
¿Cómo hacer que ChatGPT sea mejor en matemáticas?
Primero, ¿por qué no pruebas GPT-4? Y es que esta versión se ubicó en el top 11 de puntuaciones de la Prueba de Matemáticas SAT, de la que resolvió 700 de 800 problemas.
Igual, la habilidad de ChatGPT, aun en su versión GPT-4, tiene sus entredichos. Y es que según reporta Baeldung, GPT-4 resolvió 30 de los 150 problemas de la prueba AMC 10 (la American Mathematics Competion, dirigida a estudiantes de décimo grado, pero 60 de los 150 problemas de la prueba AMC 12, dirigida a estudiantes de preparatoria. Es decir, fue más apto para resolver problemas complejos que operaciones con un nivel de dificultad menor.
Solo no olvides que tendrás que pagar una cuota de al menos $2.5 dólares por 1 millón de tokens.
Otra opción es que instales un plugin a ChatGPT como Wolfram. Su desarrollador, Stephen Wolfram, destaca que el plugin funciona haciendo que la solicitud o prompt vaya a Wolfram|Alpha para ser analizada y posteriormente resuelta con mayor precisión.
En una nota en su blog personal, Wolfram destaca dos ejemplos. Uno preguntándole a ChatGPT la distancia entre Chicago y Tokio, desglosada en millas / kilómetros, así como el tiempo que tomaría llegar al destino volando en avión. Sobre su habilidad matemática, Wolfram también permite a ChatGPT resolver y graficar una integral, así que por qué no lo pruebas.
