OpenAI ha lanzado tres nuevos modelos de audio en su API en tiempo real, y son un gran acontecimiento para cualquiera que desarrolle aplicaciones basadas en voz. Los tres modelos son GPT-Realtime-2, GPT-Realtime-Translate y GPT-Realtime-Whisper.
Juntos, llevan la IA de voz más allá de simples respuestas de ida y vuelta hacia algo que pueda entenderte, actuar y mantener una conversación real.
Si su demo sirve de referencia, acabamos de ver la siguiente evolución en cómo funcionan los modelos de IA de voz.
¿Entonces, qué pueden hacer realmente estos modelos?
GPT-Realtime-2 es el acto principal. Incorpora razonamiento de clase GPT-5 a interacciones de voz en directo, lo que significa que puede gestionar peticiones más difíciles sin perder el hilo de la conversación.
Puede llamar a varias herramientas a la vez e incluso narrar lo que hace con frases como “mirando tu calendario” o “déjame mirar eso”. Además, tiene una ventana de contexto más amplia de 128K tokens, lo que significa sesiones más largas y coherentes. Los desarrolladores incluso pueden ajustar el esfuerzo de razonamiento según la complejidad de la solicitud.
GPT-Realtime-Translate es probablemente mi favorito. Es lo más cerca que hemos estado de tener el Universal Translator de Star Trek en la vida real. Soporta traducción de voz en directo a través de 70+ idiomas de entrada y 13 idiomas de salida.
Lo mejor de la demo fue que, incluso cuando una persona nueva se unió y hablaba otro idioma, GPT-Realtime-Translate no tuvo problemas para traducir a ambos hablantes al inglés en tiempo real.
Por último, está el susurro en tiempo real de GPT. La mayoría de los modelos de reconocimiento de voz esperan a que el hablante termine antes de proporcionar la traducción completa. Este es un modelo de transcripción en streaming que convierte el habla en texto mientras el hablante habla. Es útil para subtítulos en directo, notas de reuniones y cualquier flujo de trabajo basado en voz donde esperar una transcripción no sea una opción.
¿Alguien puede usar estos nuevos modelos de IA de voz?
Actualmente, OpenAI ha lanzado estos modelos para desarrolladores. Pero las aplicaciones que creen afectarán a todos. Por ejemplo, un desarrollador puede crear una aplicación traductora en tiempo real, permitiendo a los usuarios conversar con personas en diferentes idiomas.
Muchas empresas ya están probando estos nuevos modelos. Zillow está desarrollando un asistente de voz que puede registrar viviendas y programar visitas a partir de una sola solicitud hablada. Priceline puede revisar tus vuelos y hoteles, cancelarlos y reservar nuevos. Vimeo lo está usando para transcripción en tiempo real, y así sucesivamente.
El precio comienza en 0,017 $ por minuto para Whisper, 0,034 $ por minuto para Translate y 32 $ por cada token de entrada de audio de 1 millón para GPT-Realtime-2.
