Skip to main content

AudioCraft: el modelo de IA de Meta para crear música

Meta lanzó un nuevo código de IA de código abierto llamado AudioCraft, que permite a los usuarios crear música y sonidos completamente a través de IA generativa.

Consta de tres modelos de IA, todos abordando diferentes áreas de generación de sonido. MusicGen toma entradas de texto para generar música. Este modelo fue entrenado en «20,000 horas de música propiedad de Meta o licenciada específicamente para este propósito». AudioGen crea audio a partir de indicaciones escritas, simulando ladridos de perros o pasos, y fue entrenado en efectos de sonido públicos. Una versión mejorada del decodificador EnCodec de Meta permite a los usuarios crear sonidos con menos artefactos, que es lo que sucede cuando manipulas demasiado el audio.

«Imagina a un músico profesional capaz de explorar nuevas composiciones sin tener que tocar una sola nota en un instrumento. O un desarrollador de juegos independientes que puebla mundos virtuales con efectos de sonido realistas y ruido ambiental con un presupuesto reducido. O el propietario de una pequeña empresa que agrega una banda sonora a su última publicación de Instagram con facilidad. Esa es la promesa de AudioCraft, nuestro marco simple que genera audio y música realistas y de alta calidad a partir de entradas de usuario basadas en texto después de entrenar en señales de audio sin procesar en lugar de MIDI o rollos de piano», señala Meta.

Imagen utilizada con permiso del titular de los derechos de autor

La familia de modelos AudioCraft es capaz de producir audio de alta calidad con consistencia a largo plazo, y se puede interactuar fácilmente con ella a través de una interfaz natural. Con AudioCraft, simplificamos el diseño general de modelos generativos para audio en comparación con el trabajo anterior en el campo, brindando a las personas la receta completa para jugar con los modelos existentes que Meta ha estado desarrollando en los últimos años, al tiempo que les permitimos superar los límites y desarrollar sus propios modelos.

AudioCraft funciona para la generación y compresión de música y sonido, todo en el mismo lugar. Debido a que es fácil de construir y reutilizar, las personas que desean construir mejores generadores de sonido, algoritmos de compresión o generadores de música pueden hacerlo todo en la misma base de código y construir sobre lo que otros han hecho.

«Creemos que MusicGen puede convertirse en un nuevo tipo de instrumento, al igual que los sintetizadores cuando aparecieron por primera vez», dijo la compañía en un blog.

La compañía dice que AudioCraft necesita código abierto para diversificar los datos utilizados para entrenarlo.

«Reconocemos que los conjuntos de datos utilizados para entrenar nuestros modelos carecen de diversidad. En particular, el conjunto de datos de música utilizado contiene una porción más grande de música de estilo occidental y solo contiene pares de audio-texto con texto y metadatos escritos en inglés», dijo Meta. «Al compartir el código de AudioCraft, esperamos que otros investigadores puedan probar más fácilmente nuevos enfoques para limitar o eliminar el posible sesgo y el mal uso de los modelos generativos».

Recomendaciones del editor

Diego Bastarrica
Diego Bastarrica es periodista y docente de la Universidad Diego Portales de Chile. Especialista en redes sociales…
Ikea Kreativ: el uso de IA para armar la casa ideal
ikea kreativ ia

La tienda de diseño sueca Ikea acaba de estrenar su aplicación basada en IA llamada Ikea Kreativ, que permite a los clientes imaginar y diseñar los espacios ideales para la casa y la oficina.
La aplicación permite diseñar las habitaciones de casa con un gran nivel de detalles. Solo se debe utilizar el celular, apuntar y la herramienta generará una réplica virtual que podremos editar para añadir los muebles y elementos que queramos.
La nueva app es gratuita y está disponible para Android e iOS, así como a través de la web.

La propuesta de IKEA Kreativ es que una vez tenemos una copia de nuestra habitación, podemos mover, eliminar y diseñar al máximo detalle cada espacio. Hay hasta 3.000 elementos que podemos incorporar, incluyendo todos los muebles, decoración, alfombras y accesorios que ofrece la gran superficie.

Leer más
Ubisoft crea una IA para hacer guiones de videojuegos
ubisoft crea ia ghostwriter jeshoots com wrgaix9dhi0 unsplash

La inteligencia artificial (IA) está llegando a todas las industrias y los videojuegos no están exentos, por eso Ubisoft ha presentado una herramienta llamada Ghostwriter, "para ahorrar tiempo a los guionistas".

En síntesis es una "herramienta de inteligencia artificial" que está ayudando a sus desarrolladores a escribir diálogos para algunos de sus juegos.
Ghostwriter, se describe como:
"Presentamos Ubisoft Ghostwriter, una herramienta de IA desarrollada internamente que tiene como objetivo apoyar a nuestros guionistas generando el primer borrador de nuestros ladridos de NPC, las frases o sonidos hechos por los NPC cuando los jugadores interactúan con el mundo del juego. Esta herramienta fue creada mano a mano con los guionistas para crear interacciones NPC más realistas al generar variaciones en un diálogo Descubre cómo nuestros equipos usarán la IA para manejar tareas repetitivas y liberar tiempo para trabajar en otros elementos centrales del juego".
Ubisoft is Developing an AI Ghostwriter to Save Scriptwriters Time

Leer más
Mark Zuckerberg dice que Meta está construyendo ‘personas de IA’
mark zuckerberg nuevos graficos meta tras criticas horizon worlds

Con la industria tecnológica centrándose cada vez más en productos de IA generativa siguiendo el torbellino de interés en el chatbot ChatGPT de OpenAI, Meta está dispuesto a asegurarse de que todos sepan que también está tomando un gran interés en el espacio.

En una publicación en línea el lunes, el jefe de Meta, Mark Zuckerberg, dijo que la compañía está reuniendo a sus equipos actuales de inteligencia artificial para crear un solo grupo en un movimiento diseñado para "impulsar nuestro trabajo en esta área".

Leer más