Skip to main content
  1. Home
  2. Tendencias
  3. Computación
  4. Entretenimiento
  5. News

Con IA se puede: Google observa píxeles para crear bandas sonoras

Add as a preferred source on Google
Un lobo generado por IA aullando
Deep Mind de Google

Deep Mind mostró el martes los últimos resultados de su investigación generativa de video a audio de IA. Es un sistema novedoso que combina lo que ve en pantalla con la indicación escrita del usuario para crear paisajes sonoros de audio sincronizados para un videoclip determinado.

La IA V2A se puede emparejar con modelos de generación de video como Veo, escribió el equipo de audio generativo de Deep Mind en una publicación de blog, y puede crear bandas sonoras, efectos de sonido e incluso diálogos para la acción en pantalla. Además, Deep Mind afirma que su nuevo sistema puede generar “un número ilimitado de bandas sonoras para cualquier entrada de video” ajustando el modelo con indicaciones positivas y negativas que fomentan o desalientan el uso de un sonido en particular, respectivamente.

V2A Cars

El sistema funciona primero codificando y comprimiendo la entrada de vídeo, que el modelo de difusión aprovecha para refinar de forma iterativa los efectos de audio deseados a partir del ruido de fondo en función de la indicación de texto opcional del usuario y de la entrada visual. Esta salida de audio finalmente se decodifica y se exporta como una forma de onda que luego se puede recombinar con la entrada de video.

Recommended Videos

Lo mejor es que el usuario no tiene que entrar y sincronizar manualmente (léase: tediosamente) las pistas de audio y vídeo, ya que el sistema V2A lo hace automáticamente. “Al entrenar en video, audio y las anotaciones adicionales, nuestra tecnología aprende a asociar eventos de audio específicos con varias escenas visuales, mientras responde a la información proporcionada en las anotaciones o transcripciones”, escribió el equipo de Deep Mind.

V2A Wolf

Sin embargo, el sistema aún no está perfeccionado. Por un lado, la calidad del audio de salida depende de la fidelidad de la entrada de vídeo y el sistema se estropea cuando hay artefactos de vídeo u otras distorsiones en la entrada. Según el equipo de Deep Mind, la sincronización del diálogo con la pista de audio sigue siendo un desafío continuo.

V2A Claymation family

“V2A intenta generar voz a partir de las transcripciones de entrada y sincronizarla con los movimientos de los labios de los personajes”, explicó el equipo. “Pero el modelo de generación de videos emparejados puede no estar condicionado por las transcripciones. Esto crea un desajuste, lo que a menudo resulta en una extraña sincronización de labios, ya que el modelo de video no genera movimientos de la boca que coincidan con la transcripción”.

El sistema aún debe someterse a “rigurosas evaluaciones y pruebas de seguridad” antes de que el equipo considere lanzarlo al público. Todos los vídeos y bandas sonoras generados por este sistema se incluirán con las marcas de agua SynthID de Deep Mind. Este sistema está lejos de ser la única IA generadora de audio actualmente en el mercado. Stability AI lanzó un producto similar la semana pasada, mientras que ElevenLabs lanzó su herramienta de efectos de sonido el mes pasado.

Diego Bastarrica
Diego Bastarrica es Senior Editor y Head of Content en Digital Trends en Español, donde lidera la estrategia editorial, SEO…
Una startup ofreció 20 dólares la hora para pasear a sus perros robots
Perro Robot

La startup de San Francisco Dimensional anunciaba que la gente paseara a perros robot por las calles de la ciudad. The New York Times informó que el trabajo podría incluir llevar un robot de aproximadamente 33 libras de vuelta a la oficina si se sobrecalentaba. Llevarse a casa es un requisito incómodo para una máquina que ahorra trabajo.

Mantener el hardware funcionando es solo un desafío. Las pruebas de robótica de Anthropic encontraron que los modelos de lenguaje fallaban en su mayoría al controlar directamente las articulaciones, pero funcionaban mejor al dirigir a controladores entrenados. Dar un cuerpo a un agente de IA no le enseña a manejar objetos domésticos ordinarios.

Read more
Las acciones de IA suben en Wall Street ante el inminente debut bursátil de Anthropic
Electronics, Mobile Phone, Phone

Las acciones vinculadas a la inteligencia artificial (IA) avanzaron este lunes en Wall Street, después de que Anthropic hiciera pública la documentación de su oferta pública inicial (OPI). La subida ocurre en un contexto de cautela entre los inversionistas, preocupados por el gasto en infraestructura financiado con deuda.

La empresa, creadora del chatbot Claude, presentó ante la Comisión de Valores de Estados Unidos (SEC) el formulario S-1. En él detalla que cotizará en el Nasdaq con el símbolo "ANT". Según CNN, el documento no precisa cuántas acciones venderá ni a qué precio. Sin embargo, el debut podría concretarse desde la semana del 16 de noviembre.

Read more
Palmer Luckey quiere crear perros soldado genéticamente modificados
Warhound perros cibernéticos

Palmer Luckey, cofundador de Oculus y actual CEO de la empresa de defensa Anduril, quiere llevar la ciencia ficción al campo de batalla: perros modificados genéticamente, clonados y equipados con tecnología cibernética para acompañar a soldados, policías y equipos de emergencia. El proyecto se llama Warhound, surgió de una colaboración con la biotech Colossal Biosciences y arrancó con 200 millones de dólares en financiamiento semilla.

La propuesta no es crear una nueva especie de animal: se trata de producir perros de trabajo de alto rendimiento, con mejores condiciones de salud, mayor resistencia y capacidades adaptadas a misiones exigentes. La empresa los describe como “perros soldado”, aunque, por ahora, los animales todavía no existen.finance.

Read more