Skip to main content

AudioCraft: el modelo de IA de Meta para crear música

Meta lanzó un nuevo código de IA de código abierto llamado AudioCraft, que permite a los usuarios crear música y sonidos completamente a través de IA generativa.

Consta de tres modelos de IA, todos abordando diferentes áreas de generación de sonido. MusicGen toma entradas de texto para generar música. Este modelo fue entrenado en «20,000 horas de música propiedad de Meta o licenciada específicamente para este propósito». AudioGen crea audio a partir de indicaciones escritas, simulando ladridos de perros o pasos, y fue entrenado en efectos de sonido públicos. Una versión mejorada del decodificador EnCodec de Meta permite a los usuarios crear sonidos con menos artefactos, que es lo que sucede cuando manipulas demasiado el audio.

«Imagina a un músico profesional capaz de explorar nuevas composiciones sin tener que tocar una sola nota en un instrumento. O un desarrollador de juegos independientes que puebla mundos virtuales con efectos de sonido realistas y ruido ambiental con un presupuesto reducido. O el propietario de una pequeña empresa que agrega una banda sonora a su última publicación de Instagram con facilidad. Esa es la promesa de AudioCraft, nuestro marco simple que genera audio y música realistas y de alta calidad a partir de entradas de usuario basadas en texto después de entrenar en señales de audio sin procesar en lugar de MIDI o rollos de piano», señala Meta.

Imagen utilizada con permiso del titular de los derechos de autor

La familia de modelos AudioCraft es capaz de producir audio de alta calidad con consistencia a largo plazo, y se puede interactuar fácilmente con ella a través de una interfaz natural. Con AudioCraft, simplificamos el diseño general de modelos generativos para audio en comparación con el trabajo anterior en el campo, brindando a las personas la receta completa para jugar con los modelos existentes que Meta ha estado desarrollando en los últimos años, al tiempo que les permitimos superar los límites y desarrollar sus propios modelos.

AudioCraft funciona para la generación y compresión de música y sonido, todo en el mismo lugar. Debido a que es fácil de construir y reutilizar, las personas que desean construir mejores generadores de sonido, algoritmos de compresión o generadores de música pueden hacerlo todo en la misma base de código y construir sobre lo que otros han hecho.

«Creemos que MusicGen puede convertirse en un nuevo tipo de instrumento, al igual que los sintetizadores cuando aparecieron por primera vez», dijo la compañía en un blog.

La compañía dice que AudioCraft necesita código abierto para diversificar los datos utilizados para entrenarlo.

«Reconocemos que los conjuntos de datos utilizados para entrenar nuestros modelos carecen de diversidad. En particular, el conjunto de datos de música utilizado contiene una porción más grande de música de estilo occidental y solo contiene pares de audio-texto con texto y metadatos escritos en inglés», dijo Meta. «Al compartir el código de AudioCraft, esperamos que otros investigadores puedan probar más fácilmente nuevos enfoques para limitar o eliminar el posible sesgo y el mal uso de los modelos generativos».

Recomendaciones del editor

Diego Bastarrica
Diego Bastarrica es periodista y docente de la Universidad Diego Portales de Chile. Especialista en redes sociales…
Emu Video: Meta presenta su IA generativa para hacer películas
Un emu dirigiendo una película

La gente de Meta quiere profundizar en la IA generativa en video y aunque no es un tema nuevo, ahora con Emu Video busca profesionalizar los clips de películas, sobre todo para acceso fácil en plataformas de redes sociales como Instagram y Facebook.

"La tecnología de Emu es la base de muchas de nuestras experiencias de IA generativa, algunas herramientas de edición de imágenes de IA para Instagram que te permiten tomar una foto y cambiar su estilo visual o fondo, y la función Imagine dentro de Meta AI que te permite generar imágenes fotorrealistas directamente en mensajes con ese asistente o en chats grupales en nuestra familia de aplicaciones. Nuestro trabajo en este apasionante campo está en curso, y hoy anunciamos una nueva investigación sobre la edición controlada de imágenes basada únicamente en instrucciones de texto y un método para la generación de texto a vídeo basado en modelos de difusión", comienza anunciando la gente de Meta.

Leer más
Los lentes Ray Ban IA de Meta pueden transmitir video en vivo
lentes ia meta ray ban

Se muestran las gafas inteligentes Ray-Ban Meta en la mano en el evento Meta. Fionna Agomuoh / DT
Meta acaba de anunciar sus gafas inteligentes de segunda generación, una vez más asociándose con Ray-Ban para agregar más estilo a esta colección de gafas y pantallas mejoradas con tecnología. La característica principal es la capacidad de transmitir video en vivo directamente a Instagram y Facebook, pero a diferencia de algunas opciones más premium, los marcos no incluyen pantallas para una experiencia de realidad mixta.

Cada par de gafas inteligentes de la colección Ray-Ban Meta contiene cámaras visibles en los marcos, una a cada lado. Los auriculares ocultan altavoces y micrófonos, para que pueda escuchar música, recibir llamadas y más. A diferencia de las gafas inteligentes Xreal Air más caras, no hay pantallas en las gafas inteligentes Ray-Ban Meta. La solución de Meta es algo así como los Echo Frames de Amazon pero con cámaras.

Leer más
Meta debuta con Code Llama: su herramienta de escritura de código IA
Crea presentaciones usando la IA con estas 3 herramientas.

Siguiendo con su incursión en IA, Meta presentó su Code Llama, su nueva herramienta de escritura de código. Utilizará la misma licencia comunitaria que Llama 2 y es gratuito para investigación y uso comercial.
Code Llama, dijo Meta, puede crear cadenas de código a partir de mensajes o completar y depurar código cuando se apunta a una cadena de código específica. Además del modelo base de Code Llama, Meta lanzó una versión especializada en Python llamada Code Llama-Python y otra versión llamada Code Llama-Instrct, que puede entender instrucciones en lenguaje natural. Según Meta, cada versión específica de Code Llama no es intercambiable, y la compañía no recomienda el Code Llama base o Code Llama-Python para instrucciones en lenguaje natural.

"Los programadores ya están utilizando LLM para ayudar en una variedad de tareas, que van desde escribir nuevo software hasta depurar el código existente", dijo Meta en una publicación de blog. "El objetivo es hacer que los flujos de trabajo de los desarrolladores sean más eficientes para que puedan centrarse en los aspectos más centrados en el ser humano de sus trabajos".
La compañía dijo que Code Llama obtuvo un 53,7 por ciento en el punto de referencia de código HumanEval y pudo escribir con precisión código basado en una descripción de texto.
Meta lanzará tres tamaños de Code Llama y dijo que su tamaño más pequeño cabe en una sola GPU para proyectos de baja latencia.

Leer más