Descubre cómo funcionan los AR Emojis de Samsung

Samsung aprovechó el talento de Hollywood para darle vida a AR Emoji

Los AR Emojis de Samsung llegaron hace muy poco al nuevo Galaxy S9 para crear y enviar avatares digitales de dibujos animados, usando la cámara frontal, muy parecido a los Animojis de Apple.

Los AR Emojis capturan tus movimientos faciales y los refleja en forma de personaje o animal. Pero lo mejor de todo es que con la función “Crear mi Emoji”, también puedes crear uno totalmente personalizado con solo tomarte una selfie, permitiéndote elegir un tono de piel, atuendo, peinado, color de pelo y si quieres lentes o no.

Para crear estos divertidos y entretenidos AR Emojis, debes saber que Samsung primeramente se dirigió a los expertos en animación en 3D que dieron vida a algunos de los personajes más populares de Hollywood. Pero ¿quisieras saber detenidamente su historia y cómo funcionan? Descúbrelos con nosotros en esta guía.

De la pantalla grande a la cámara del teléfono inteligente

Para potenciar esta nueva función, Samsung colaboró ​​con Loom.ai, una startup con sede en San Francisco especializada en animación 3D. El software de la compañía permite a los usuarios crear avatares 3D totalmente personalizados desde una sola fotografía, sin hardware personalizado, ni sensores de profundidad.

A través de una asociación y un kit de desarrollo de software (SDK), Samsung combinó la tecnología de Loom.ai con la tecnología de la cámara del S9 (que tiene realidad aumentada y reconocimiento facial) para hacer posible AR Emoji personalizado.

Vale la pena acotar que actualmente Loom.ai es una empresa reconocida. Aunque sus primeros trabajos empezaron con películas, dibujos animados y superhéroes sencillos, su popularidad y profesionalismo fue reconocido al empezar a trabajar en empresas de efectos visuales populares como DreamWorks y Lucasfilm y al ayudar a recrear personajes tan famosos de la gran pantalla como Shrek y Hulk.

Para inyectar personalidad a esos personajes, utilizaron la tecnología de captura del rendimiento que permite incorporar los gestos o movimientos de los actores que los interpretaron, sin necesidad de tomar su apariencia visual. Pero después de ver cómo el público de la película reaccionó a sus creaciones en 3D, los fundadores de Loom.ai, Ramasubramanian y Bhat, decidieron llevar esa tecnología más allá de Hollywood y por eso iniciaron Loom.ai, que se enfoca en teléfonos inteligentes.

“La gente reacciona instantáneamente al hacer que estos personajes cobren vida cuando es conducido por actores humanos”, dijo Ramasubramanian, director ejecutivo y cofundador de Loom.ai, a Digital Trends en Español. “Comenzamos Loom.ai con el objetivo de que pudiéramos encontrar una manera fácil para que cada individuo pueda verse a sí mismo en 3D, y para eso tuvimos que construir una nueva tecnología”.

AR emoji
Brenda Stolyar/Digital Trends

Con las películas, la creación de un avatar 3D requiere una gran cantidad de equipos: hardware y software costosos, maquillaje y una configuración de estudio. Pero Loom.ai encontró una manera de simplificar el proceso de capturar las características de una persona sin las herramientas habituales para hacerla más fácil y económica.

Por eso, decidió patentar una tecnología que solo necesita de una fotografía y el aprendizaje profundo para analizar una imagen. Por ejemplo, si una fotografía está libre de cualquier expresión facial, el algoritmo de aprendizaje profundo observa los píxeles y produce automáticamente una cara que encapsula el movimiento muscular correcto.

“Cuando la asociación con Samsung comenzó tuvimos la oportunidad de implementar esa tecnología sofisticada en un dispositivo, y la verdad creemos que es una tarea de ingeniería bastante atractiva por sí sola”, dijo Bhat, director de tecnología y cofundador de Loom.ai, a Digital Trends en Español. “Es un gran avance tecnológico el poder tomar algunas de esas ideas y aspiraciones de la pantalla grande y llevarlas al móvil”, aseguró Bhat.

Sin embargo, la incorporación de esta tecnología en el hardware de Galaxy S9 no fue tan sencilla, ya que requería que Loom.ai reestructurara sus algoritmos para poder ejecutarlo en el dispositivo. Además, tanto Ramasubramanian como Bhat aseguran que este trabajo magnifico de Emojis, no hubiese sido posible sin la ayuda Samsung y su enorme esfuerzo de optimizar el software.

¿Cómo el Galaxy S9 crea un avatar digital?

Pero la gran pregunta es, ¿cómo el S9 y el S9 Plus crean exactamente un AR Emojis? Aunque Samsung no reveló la receta secreta del éxito, al menos se encargó de darle unas pistas a Digital Trends en Español.

Gracias a la tecnología de Loom.ai, la cámara del Galaxy S9 es capaz de capturar y procesar una imagen 2D en 3D. Pero eso es no todo, porque para mejorar esta tecnología aún más, Samsung decidió utilizar en su S9 un software adicional, el seguimiento facial y la tecnología Blend Shape de Samsung, y así captar expresiones faciales más exactas para AR Emoji.

Después de este proceso, el teléfono se queda con una versión de ti mismo en dibujos animados que puede emular hasta 18 expresiones diferentes (pero que Samsung espera expandir lentamente hasta llegar a 54), los cuales van desde la alegría y el placer hasta el dolor y la ira.

Vale la pena acotar que, por cuestión de seguridad y privacidad, todos estos datos estarán solo disponibles en tu dispositivo y no se almacenan en ningún otro lado.

Tanto la tecnología de seguimiento facial que rastrea más de 100 características faciales en tiempo real (como guiñar o sonreír) para capturar emociones individuales, como la tecnología Blend Shape, que ayuda a ofrecer una mayor gama de ellas y que combina expresiones basadas en 75 rasgos faciales humanos básicos trabajan juntas como hermanas.

Además, Samsung dijo que para poner en funcionamiento Blend Shape, se realizaron al menos 100 pruebas semanales en sus laboratorios, para así, asegurarse de que hubiese suficientes datos de los usuarios.

En nuestra prueba con AR Emoji, la mayoría de nosotros sentimos que nuestros personajes parecían bastante inexactos. Uno de nuestros escritores sintió que había una falta de opciones de tono de piel disponibles, además que no tiene tonos oscuros para elegir. Otros sintieron que su AR Emoji no se parecía en nada a ellos, y tuvieron que editarlo muchas veces para lograr algo parecido al resultado que tenían en mente.

Según Loom.ai, la creación de un AR Emoji preciso se basa en gran medida en la forma en que se dispara la selfie. Los usuarios deben tomar la foto de la misma manera que tomarían una foto de pasaporte. “Necesitas luz uniforme, nada que cubra tu rostro, y una expresión neutral para que podamos agregar las expresiones más acertadas”, explicó Ramasubramanian. “Se trata de que las personas se acostumbren un poco y luego vean las posibilidades de animarlo y usarlo”.

Lo bueno de todo esto, es que AR Emoji te permite crear avatares múltiples, lo que te permite compararlos para encontrar el que más te guste. Además, cada uno de ellos se guarda en tu teléfono, lo para que puedes cambiar la versión que usas dependiendo de tu estado de ánimo.

La última actualización de AR Emoji incluye peinados adicionales, sombreros y otras opciones. La actualización se está ejecutando a las versiones desbloqueadas del Samsung Galaxy S9 y S9 Plus en Corea, China y Europa. Pero se espera que aquellos que viven en Europa y los Estados Unidos puedan tener la actualización disponible muy pronto.