Skip to main content

ChatGPT y Mistral ahora se prueban jugando Street Fighter III

Las pruebas de rendimiento o benchmark son sumamente comunes en el mundo de la tecnología, pero sin el contexto adecuado pueden ser realmente aburridas. Ni qué decir cuando esas pruebas evalúan el rendimiento de un algoritmo de inteligencia artificial. ¿Y si en vez de usar estas pruebas se midiera el rendimiento de modelos de inteligencia artificial como ChatGPT o Mistral usando un videojuego de peleas? Bueno, pues esa debió ser la motivación detrás de Stan Girard para crear LLM Colosseum, básicamente un módulo de pruebas basadas en un emulador de videojuegos para comparar modelos de lenguaje de gran tamaño poniéndolos “a pelear” en Street Fighter III 3rd Strike.

Introducing LLM Colosseum ! 🔥

Evaluate LLMs quality by having them fight in realtime in Street Fighter III !

Who is the best ? @OpenAI or @MistralAI ?

Let them fight ! Open source code and ranking 👇 pic.twitter.com/GF6HOkVHIA

— Stan Girard (@_StanGirard) March 24, 2024

El módulo, explica su desarrollador, se basa en una premisa simple: cada modelo de lenguaje controla a un jugador (por ahora un Ken diferenciado por colores) y LLM Colosseum envía una descripción de la pantalla a cada modelo (el equivalente a un prompt). Cada modelo responde con un movimiento que a su vez recibe como respuesta otro movimiento y así hasta que termina el round. Los comandos de movimiento van desde acercarse, alejarse, lanzar un hodouken o hacer un shoryuken.

Matthew Berman, un youtuber entusiasta de la inteligencia artificial, cuenta en un video algunas observaciones interesantes en torno a los resultados de estos enfrentamientos. Quizá el más interesante es que la velocidad de respuesta es un aspecto crucial para salir triunfante en LLM Colosseum y que por eso modelos de lenguaje como Mistral Small superan a GPT-4.

A la vista las peleas lucen años luz de aquel legendario enfrentamiento entre Daigo Umehara y Justin Wong. Sin embargo, no perdamos de vista que se trata de un sistema para probar un modelo de lenguaje de gran tamaño de una forma más visual y que les exige mostrar qué tan adaptables se muestran en un escenario, digamos de vida o muerte. Encima, cada modelo debe actuar en tiempo real.

Hasta ahora, LLM Colosseum ha puesto a prueba siete modelos de lenguaje: Mistral Small, Mistral Medium, Mistral Large, GPT-3.5 Turbo, GPT-4, GPT-4-0125-preview y GPT-4-1106-preview. Hasta ahora, las pruebas ubican a GPT-3.5 Turbo como el ganador, seguido de cerca por Mistral Small y GPT-4-1106 preview.

Por ahora, todas las pruebas realizadas en LLm Colosseum son en Street Fighter III 3rd Strike, pero el emulador utilizado (Diambra) es compatible con otros títulos de peleas como Dead or Alive y The King of Fighters 98, entre otros.

Peleas de inteligencia artificial en tu PC

Como era de esperarse, LLM Colosseum está basado en un modelo de código abierto que puedes instalar en tu propia computadora para realizar pruebas tú mismo.

Your Favorite LLMs BATTLE In Street Fighter - New Benchmark!! (Tutorial)

Si estás interesado en instalar LLM Colosseum en tu PC, Matthew Berman explica paso a paso cómo hacerlo. El proceso involucra correr LLM Colosseum en DS Code e instalar Diambra y ejecutar algunos comandos de código. Buena suerte y hadouken.

Topics
Allan Vélez
Allan Vélez es un periodista mexicano especializado en tecnología. Inició su carrera en 2013 en La Revista Oficial de…
3 videojuegos gratuitos que deberías jugar este fin de semana (del 10 al 12 de mayo)
videojuegos gratis fin de semana 10 12 mayo bungie

Bungie
Cada vez que recomendamos juegos en Digital Trends, tendemos a apostar por los títulos disponibles en servicios de suscripción como Xbox Game Pass. En lugar de decirles a nuestros lectores que compren juegos nuevos, siempre tratamos de encontrar los que podrían estar en servicios por los que ya están pagando. Sin embargo, eso no cubre a todos los jugadores. Hay muchos fanáticos de los juegos más casuales que no están suscritos a ningún servicio que ofrezca juegos adicionales. No queremos dejarlos fuera, ¿verdad?

Si estás en esa categoría, o simplemente no tienes mucho dinero, tenemos algunas recomendaciones de algunos juegos gratuitos que puedes probar este fin de semana. Tampoco me refiero a "gratis con una suscripción". Estoy hablando de juegos que no te costarán nada para empezar, incluso si decides que quieres gastar dinero en ellos más tarde. Desde un juego móvil del que no me canso hasta un MMO popular que acaba de hacer que todos sus DLC sean gratuitos, estos son tres juegos gratuitos en los que puedes sumergirte este fin de semana.
Destiny 2
Bungie
Es muy probable que ya conozcas Destiny 2, el shooter online de larga duración de Bungie. El MMO ha tenido una buena cantidad de altibajos a lo largo de su vida, pero este fin de semana podría ser el mejor momento para saltar si nunca lo has probado antes. Esto se debe a que Bungie ha hecho que tres de sus expansiones sean gratuitas para todos los jugadores antes de su próxima gran actualización, The Final Shape de junio.

Leer más
171: así es el videojuego “clon” de GTA ambientado en Brasil
171 juego para pc android

A simple vista parece GTA V en PS4 o Xbox 360, donde debutó originalmente el que es  hasta la fecha el tercer videojuego más vendido de la historia y por amplio margen. Sin embargo, si se le mira con detenimiento se vuelve evidente que estamos frente a un clon de Grand Theft Auto. Su nombre es 171 y se ha convertido en una micro tendencia en ciertos nichos de videojugadores, particularmente en Steam, donde el videojuego se encuentra a la venta bajo acceso anticipado.

El desarrollador detrás de 171 es Betagames Group, un estudio con sede en Sao Paulo, Brasil. De hecho, el principal atractivo de 171 es que el juego se desarrolla en una versión semificticia de Sao Paulo, la gigantesca urbe brasileña que es lo mismo sede de grandes empresas que de barrios marginados dominados por el crimen organizado. El juego te pone en el control de Nicolau Souza, quien encuentra en el crimen una forma de subsistir.

Leer más
Gamma: el emulador gratuito de PS1 que arrasa en iPhone
gamma emulador gratuito ps1 iphone

Hace poco tiempo la App Store permitió los emuladores para PS1 en el ecosistema Apple, y ahora una de las más populares es Gamma, un emulador de PS1, gratuito y cortesía del desarrollador ZodTTD.

La aplicación es principalmente para el teléfono inteligente de Apple, pero hay una versión dedicada para iPad. Gamma se integra con controladores y teclados Bluetooth, ofreciendo una gran cantidad de opciones de entrada. También cuenta con máscaras de controlador personalizables en pantalla.

Leer más