El último esfuerzo de OpenAI, Shap-E, es un modelo que le permite generar objetos 3D a partir de texto, no muy diferente de cómo Dall-E puede crear imágenes 2D.
Según OpenAI, Shap-E es “un modelo generativo condicional para activos 3D. A diferencia del trabajo reciente en modelos generativos 3D que producen una representación de salida única, Shap-E genera directamente los parámetros de las funciones implícitas que se pueden representar como mallas texturizadas y campos de radiación neuronal”.
La publicación de GitHub de la compañía continúa explicando cómo Shap-E está entrenado en una combinación de mapeo de activos 3D y un modelo de difusión condicional.
Sin embargo, este programa gratuito es un poco más difícil de instalar y configurar que el siempre popular ChatGPT de la compañía, como fue explorado por Tom’s Hardware.
Puede descargar el modelo Shap-E en GitHub sin cargo y acceder a él en Microsoft Paint 3D. También funciona cuando se convierte en un archivo STL, lo que permite que los renders que cree cobren vida a través de impresoras 3D.
Si bien este conocimiento básico del modelo Shap-E puede parecer bastante simple, es posible que se requiera cierta experiencia tecnológica para instalar y ejecutar el modelo.
El editor en jefe de la publicación, Avram Piltch, probó Shap-E, que según él le tomó ocho horas para entender. Agregó que OpenAI ofrece pocas instrucciones fuera de explicar que debe usar un comando pip de Python para la instalación.
Una vez instalado, Piltch dice que pudo probar indicaciones con archivos GIF animados en color y archivos PLY monocromáticos, y los GIF animados son favorables, señaló.
Algunas indicaciones incluían un tiburón, una enredadera de Minecraft y “un avión que parece un plátano”, todos los cuales tenían diferentes niveles de calidad según su tipo de archivo. Piltch también utilizó la función del modelo, que permite a los usuarios cargar una imagen 2D para convertirla en un objeto 3D.
El editor señaló que aquellos que intenten instalar Shap-E y renderizar objetos 3D deben tener en cuenta que el modelo requiere muchos recursos del sistema de una PC.
En particular, Shap-E es compatible solo con GPU Nvidia y requiere CPU de alto rendimiento para renderizar en cuestión de minutos en lugar de horas.
