Los desarrolladores de Disney Research diseñaron un sistema que ilumina la cara de un actor con efectos dinámicos en tiempo real. Bajo el nombre de Makeup Lamps, este sistema funciona ajustándose a las expresiones faciales sin necesidad de marcadores específicos, lo que le permite proyectar colores o texturas, como vello facial, arrugas, iluminación simulada y maquillaje durante presentaciones en vivo.
El nuevo método utiliza una cámara de alta velocidad junto a un proyector de alta velocidad, alineados en el mismo eje óptico y conectados a un conjunto de algoritmos para rastrear movimientos faciales sutiles para proyecciones dinámicas. La cámara captura imágenes en el espectro infrarrojo, mientras que el proyector ilumina la cara con luz visible. Estas características combinadas permiten al sistema procesar imágenes en dos dimensiones.
Con el fin de aumentar el realismo, una meta principal para el equipo de investigación fue disminuir la latencia, es decir, el desfase entre las proyecciones a medida que cambian.
«El desafío clave de las proyecciones dinámicas en vivo es la latencia, el tiempo entre generar una imagen que coincida con la pose del actor, y cuándo se muestra la imagen», dijo Anselm Grundhöfer, ingeniero principal de investigación de Disney Research, en un comunicado de prensa. «Cuanto mayor sea la latencia, más la actitud del actor habrá cambiado y mayor será la potencial desalineación entre la proyección y la cara».
La presencia de un poco de latencia es inevitable, dicen los expertos. Sin embargo, utilizando el filtro de Kalman, un método que hace pequeñas mediciones para predecir los cambios, en Disney fueron capaces de reducir la latencia percibida al predecir la siguiente expresión del ejecutante. El sistema todavía necesita ser entrenado en cada actor para determinar los límites faciales y los matices de la expresión, pero el trabajo demuestra progreso. Además, es el primer sistema de este tipo que funciona sin la necesidad de marcas específicas de seguimiento.
«Hemos visto avances asombrosos en los últimos años en la captura de actuaciones faciales de los actores y la transferencia de esas expresiones a los personajes virtuales», dijo Markus Gross, vicepresidente de Disney Research. «Aprovechar estas tecnologías para aumentar la aparición de actores en vivo es el siguiente paso, y podría dar lugar a sorprendentes transformaciones ante nuestros ojos de los actores en los teatros u otros lugares en vivo».
El equipo presentará su trabajo esta semana en la conferencia de la Asociación Europea de Computación Gráfica, Eurographics 2017, en Francia.
