Un impresionante avance y estudio científico de investigadores de la Universidad Nacional de Singapur y la Universidad China de Hong Kong, que informaron que han desarrollado un proceso capaz de generar video a partir de escáneres cerebrales. La investigación se publica en el servidor de preimpresión arXiv.
Utilizando un proceso llamado resonancia magnética funcional (fMRI), los investigadores Jiaxin Qing, Zijiao Chen y Juan Helen Zhou combinaron datos recuperados a través de imágenes con el modelo de aprendizaje profundo Stable Diffusion para crear videos fluidos y de alta calidad.
El proceso de fMRI generalmente aprovecha las señales dependientes del nivel de oxigenación de la sangre (BOLD) y captura imágenes de la actividad cerebral una vez cada pocos segundos. Esto produciría imágenes de video de baja calidad. Una velocidad de captura de vídeo estándar es de 30 fotogramas por segundo.
“Comprender la información oculta dentro de nuestras complejas actividades cerebrales es un gran rompecabezas en la neurociencia cognitiva”, dijo Qing. “La tarea de recrear la visión humana a partir de grabaciones cerebrales, especialmente utilizando herramientas no invasivas como fMRI, es una tarea emocionante pero difícil”.
Su equipo logró un video de alto calibre con su modelo Mind-Video. Descrito como “una tubería de dos módulos diseñada para cerrar la brecha entre la decodificación cerebral de imagen y video”, su decodificador fMRI aprende progresivamente de las señales cerebrales adquiridas, entrenando con bases de datos de imágenes y ajustando finamente.
Los resultados fueron videos de alta calidad, dijeron, completos con dinámica de movimiento y escena a una tasa de precisión del 85%.
Qing dice que su trabajo es prometedor para futuras aplicaciones de grandes modelos “desde la neurociencia hasta las interfaces cerebro-computadora”.
Shinji Nishimoto, neurocientífico de la Universidad de Osaka, dice que estos procesos pueden algún día ser utilizados para capturar pensamientos y sueños.
La persona promedio tiene hasta seis sueños por noche, pero olvida el 90% de ellos a los pocos minutos de despertarse. La perspectiva de capturar un registro permanente de sueños es estimulante.
