Meta no se quiere quedar abajo de la IA y de la generación automática de música y canciones a partir de texto, por eso, acaba de estrenar MusicGen.
Una demostración se puede encontrar aquí, puede convertir una descripción de texto (por ejemplo, «Una canción pop de conducción de los 80 con baterías pesadas y pads de sintetizador en el fondo») en aproximadamente 12 segundos de audio, más o menos. MusicGen puede ser opcionalmente «dirigido» con audio de referencia, como una canción existente, en cuyo caso intentará seguir tanto la descripción como la melodía.
We present MusicGen: A simple and controllable music generation model. MusicGen can be prompted by both text and melody.
We release code (MIT) and models (CC-BY NC) for open research, reproducibility, and for the music community: https://t.co/OkYjL4xDN7 pic.twitter.com/h1l4LGzYgf— Felix Kreuk (@FelixKreuk) June 9, 2023
MusicGen fue entrenado en 20,000 horas de música, incluidas 10,000 pistas de música con licencia de «alta calidad» y 390,000 pistas solo para instrumentos de ShutterStock y Pond5, una gran biblioteca de medios de stock. La compañía no ha proporcionado el código que utilizó para entrenar el modelo, pero ha puesto a disposición modelos previamente entrenados que cualquier persona con el hardware adecuado, principalmente una GPU con alrededor de 16 GB de memoria, puede ejecutar.
Meta, que no está imponiendo restricciones sobre cómo se puede usar MusicGen, dice que toda la música en la que MusicGen fue entrenada estaba «cubierta por acuerdos legales con los titulares de derechos», incluido un acuerdo con Shutterstock.
