Este viernes 4 de octubre, Meta acaba de estrenar su nuevo sistema de IA generativa para realizar videos, llamado Meta Movie Gen, que se puede utilizar para generar clips de vídeo y audio realistas.
La compañía compartió varios clips de 10 segundos generados con Movie Gen, incluido un hipopótamo bebé al estilo de Moo Deng nadando, para demostrar sus capacidades.
“Nuestras últimas investigaciones demuestran cómo puedes utilizar entradas de texto sencillas para producir vídeos y sonidos personalizados, editar vídeos existentes y transformar tu imagen personal en un vídeo único. Movie Gen supera a modelos similares en la industria en estas tareas cuando es evaluado por humanos”, dice la gente de Meta.
Movie Gen tiene cuatro capacidades: generación de video, generación de video personalizada, edición de video precisa y generación de audio. Ha sido entrenado con modelos en una combinación de conjuntos de datos con licencia y disponibles públicamente.
Más allá de la generación de clips directos de texto a vídeo, el modelo Movie Gen puede realizar ediciones específicas en un clip existente, como añadir un objeto a las manos de alguien o cambiar el aspecto de una superficie. En uno de los videos de ejemplo de Meta, una mujer que usaba un casco de realidad virtual se transformó para parecer que estaba usando binoculares steampunk.
También Meta presentó Meta Audio Gen, un modelo de generación de audio con parámetros 13B que puede tomar un video y mensajes de texto opcionales y generar audio de alta calidad y alta fidelidad durante un máximo de 45 segundos, incluido el sonido ambiental, los efectos de sonido (Foley) y la música de fondo instrumental, todo sincronizado con el contenido del video.
“A medida que sigamos mejorando nuestros modelos y nos acerquemos a un posible lanzamiento futuro, trabajaremos en estrecha colaboración con cineastas y creadores para integrar sus comentarios. Al adoptar un enfoque colaborativo, queremos asegurarnos de crear herramientas que ayuden a las personas a mejorar su creatividad inherente de nuevas formas que nunca soñaron que serían posibles”, concluye Meta.
