La gente de Meta quiere profundizar en la IA generativa en video y aunque no es un tema nuevo, ahora con Emu Video busca profesionalizar los clips de películas, sobre todo para acceso fácil en plataformas de redes sociales como Instagram y Facebook.
«La tecnología de Emu es la base de muchas de nuestras experiencias de IA generativa, algunas herramientas de edición de imágenes de IA para Instagram que te permiten tomar una foto y cambiar su estilo visual o fondo, y la función Imagine dentro de Meta AI que te permite generar imágenes fotorrealistas directamente en mensajes con ese asistente o en chats grupales en nuestra familia de aplicaciones. Nuestro trabajo en este apasionante campo está en curso, y hoy anunciamos una nueva investigación sobre la edición controlada de imágenes basada únicamente en instrucciones de texto y un método para la generación de texto a vídeo basado en modelos de difusión», comienza anunciando la gente de Meta.
Los clips de Emu Video de 512×512 y 16 fotogramas por segundo se pueden editar con un modelo de IA complementario llamado Emu Edit, que también se anunció hoy. Los usuarios pueden describir las modificaciones que desean realizar en Emu Edit en lenguaje natural, por ejemplo, «el mismo clip, pero en cámara lenta», y ver los cambios reflejados en un video recién generado.
Meta señala que, Emu Video «se trata de una arquitectura unificada para tareas de generación de vídeo que puede responder a una variedad de entradas: solo texto, solo imagen y texto e imagen. Hemos dividido el proceso en dos pasos: primero, generar imágenes condicionadas a un mensaje de texto y, a continuación, generar vídeo condicionado tanto al texto como a la imagen generada. Este enfoque «factorizado» o dividido para la generación de vídeo nos permite entrenar modelos de generación de vídeo de forma eficiente. Demostramos que la generación de video factorizado se puede implementar a través de un único modelo de difusión. Presentamos decisiones de diseño críticas, como el ajuste de los programas de ruido para la difusión de video, y capacitación de varias etapas que nos permite generar directamente videos de mayor resolución».
Emu Edit es capaz de editar de forma libre a través de instrucciones, abarcando tareas como la edición local y global, la eliminación y adición de un fondo, las transformaciones de color y geometría, la detección y segmentación, y más.
