El mundo de la IA generativa y sobre todo lo que tiene que ver con la creación de video a partir de instrucciones, está agarrando nuevos vuelos, ya que este lunes 14 de octubre Adobe presentó actualizaciones y nuevas capacidades de su modelo Firefly, que ya está integrado con Premiere Pro para.
El modelo de video Firefly, como se llama la tecnología, competirá con Sora de OpenAI, que se presentó a principios de este año, mientras que el propietario de TikTok, ByteDance, y Meta Platforms también han anunciado sus herramientas de video en los últimos meses.
Las nuevas características
La primera herramienta, Generative Extend, se lanza en versión beta para Premiere Pro. Se puede utilizar para ampliar el final o el principio de un metraje que es un poco demasiado corto, o hacer ajustes a mitad de la toma, como para corregir cambios en las líneas de los ojos o movimientos inesperados.
Los clips solo se pueden extender dos segundos, por lo que la extensión generativa solo es realmente adecuada para pequeños ajustes, pero eso podría reemplazar la necesidad de volver a tomar el metraje para corregir pequeños problemas. Los clips extendidos se pueden generar a 720p o 1080p a 24 FPS. También se puede usar en audio para ayudar a suavizar las ediciones, aunque con limitaciones. Extenderá los efectos de sonido y el “tono de la habitación” ambiental hasta diez segundos, por ejemplo, pero no los diálogos hablados o la música.
También está Text-to-Video, que funciona de manera similar a otros generadores de video como Runway y Sora de OpenAI: los usuarios solo necesitan ingresar una descripción de texto para lo que desean generar. Puede emular una variedad de estilos como película “real” normal, animación 3D y stop motion, y los clips generados se pueden refinar aún más utilizando una selección de “controles de cámara” que simulan cosas como los ángulos de la cámara, el movimiento y la distancia de disparo.
Image-to-Video va un paso más allá al permitir a los usuarios agregar una imagen de referencia junto con un mensaje de texto para proporcionar más control sobre los resultados. Adobe sugiere que esto podría usarse para hacer b-roll a partir de imágenes y fotografías, o ayudar a visualizar retomas cargando una imagen fija de un video existente.
:no_upscale():format(webp)/cdn.vox-cdn.com/uploads/chorus_asset/file/25674300/Adobe_Firefly_image_generator_dragon_example.gif)
Text-to-Video, Image-to-Video y Generative Extend tardan unos 90 segundos en generarse, pero Adobe dice que está trabajando en un “modo turbo” para reducirlo.
Para sus herramientas de video, Adobe ha apuntado a hacerlas prácticas para el uso diario de los creadores y editores de video, con un enfoque especial en hacer que el metraje se mezcle con el metraje convencional, dijo Ely Greenfield, director de tecnología de Adobe para medios digitales.
“Realmente nos enfocamos en el control de grano fino, enseñando al modelo los conceptos que usan los editores de video y los videógrafos, cosas como la posición de la cámara, el ángulo de la cámara, el movimiento de la cámara”, dijo Greenfield a Reuters en una entrevista.
