Meta lanzó un nuevo código de IA de código abierto llamado AudioCraft, que permite a los usuarios crear música y sonidos completamente a través de IA generativa.
Consta de tres modelos de IA, todos abordando diferentes áreas de generación de sonido. MusicGen toma entradas de texto para generar música. Este modelo fue entrenado en «20,000 horas de música propiedad de Meta o licenciada específicamente para este propósito». AudioGen crea audio a partir de indicaciones escritas, simulando ladridos de perros o pasos, y fue entrenado en efectos de sonido públicos. Una versión mejorada del decodificador EnCodec de Meta permite a los usuarios crear sonidos con menos artefactos, que es lo que sucede cuando manipulas demasiado el audio.
«Imagina a un músico profesional capaz de explorar nuevas composiciones sin tener que tocar una sola nota en un instrumento. O un desarrollador de juegos independientes que puebla mundos virtuales con efectos de sonido realistas y ruido ambiental con un presupuesto reducido. O el propietario de una pequeña empresa que agrega una banda sonora a su última publicación de Instagram con facilidad. Esa es la promesa de AudioCraft, nuestro marco simple que genera audio y música realistas y de alta calidad a partir de entradas de usuario basadas en texto después de entrenar en señales de audio sin procesar en lugar de MIDI o rollos de piano», señala Meta.
La familia de modelos AudioCraft es capaz de producir audio de alta calidad con consistencia a largo plazo, y se puede interactuar fácilmente con ella a través de una interfaz natural. Con AudioCraft, simplificamos el diseño general de modelos generativos para audio en comparación con el trabajo anterior en el campo, brindando a las personas la receta completa para jugar con los modelos existentes que Meta ha estado desarrollando en los últimos años, al tiempo que les permitimos superar los límites y desarrollar sus propios modelos.
AudioCraft funciona para la generación y compresión de música y sonido, todo en el mismo lugar. Debido a que es fácil de construir y reutilizar, las personas que desean construir mejores generadores de sonido, algoritmos de compresión o generadores de música pueden hacerlo todo en la misma base de código y construir sobre lo que otros han hecho.
«Creemos que MusicGen puede convertirse en un nuevo tipo de instrumento, al igual que los sintetizadores cuando aparecieron por primera vez», dijo la compañía en un blog.
La compañía dice que AudioCraft necesita código abierto para diversificar los datos utilizados para entrenarlo.
«Reconocemos que los conjuntos de datos utilizados para entrenar nuestros modelos carecen de diversidad. En particular, el conjunto de datos de música utilizado contiene una porción más grande de música de estilo occidental y solo contiene pares de audio-texto con texto y metadatos escritos en inglés», dijo Meta. «Al compartir el código de AudioCraft, esperamos que otros investigadores puedan probar más fácilmente nuevos enfoques para limitar o eliminar el posible sesgo y el mal uso de los modelos generativos».
