NVIDIA ha presentado TRELLIS.2, una nueva canalización de generación de activos 3D que, según se informa, reduce el tiempo de creación de horas a segundos —una aceleración del 99%— para artistas de IA que trabajan a partir de imágenes 2D. Este avance tiene como objetivo agilizar significativamente la producción de contenido 3D, haciéndola más rápida y accesible para integrar elementos generados por IA en mundos virtuales, juegos y animaciones.
Puntos clave
- La canalización TRELLIS.2 de NVIDIA acelera la generación de activos 3D a partir de imágenes 2D en un 99%, reduciendo el tiempo de procesamiento de horas a segundos.
- El sistema utiliza un enfoque de dos etapas: primero genera una forma 3D aproximada y luego la refina con detalles y texturas a partir de entradas 2D.
- TRELLIS.2 está optimizado para las GPU de NVIDIA, aprovechando tecnologías como NeRF y 3D Gaussian Splatting para una salida de alta fidelidad.
- Es compatible con varias aplicaciones 3D al generar formatos estándar, lo que permite a los artistas de IA integrar los activos generados en los flujos de trabajo existentes.
Acelerando la canalización de 2D a 3D
La creación tradicional de activos 3D a partir de entradas 2D es un proceso que consume mucho tiempo, a menudo requiriendo modelado manual, texturizado y optimización. TRELLIS.2 aborda esto empleando un flujo de trabajo de múltiples etapas impulsado por IA. La idea central es generar rápidamente una estructura 3D fundamental y luego agregar progresivamente detalles y texturas utilizando técnicas de renderizado neuronal.
El enfoque de NVIDIA comienza convirtiendo imágenes 2D en tokens de características, que luego informan la creación inicial de una representación 3D burda. Esta etapa temprana se centra en establecer la forma y estructura general, en lugar de detalles intrincados, lo que permite una rápida iteración. Para los artistas de IA, esto significa poder probar rápidamente diferentes conceptos y composiciones sin esperar horas para un renderizado básico.
Dos etapas: primero la forma, luego el detalle
La canalización TRELLIS.2 opera en dos etapas principales. La Etapa 1 se centra en generar un modelo 3D preliminar, descrito como un campo O-Voxel. Esta es una representación volumétrica de baja resolución que captura la forma general del objeto. Según NVIDIA, este paso inicial es crucial por su velocidad, proporcionando una forma utilizable casi instantáneamente.
La Etapa 2 refina esta forma inicial. Aquí, el sistema aprovecha técnicas como los Campos de Radiación Neural (NeRFs) y el 3D Gaussian Splatting. Los NeRFs son conocidos por su capacidad para renderizar escenas complejas con iluminación y reflejos intrincados a partir de unas pocas imágenes de entrada, mientras que el 3D Gaussian Splatting ofrece capacidades de renderizado en tiempo real. Al combinar estos, TRELLIS.2 agrega texturas, materiales y efectos de iluminación de alta fidelidad al modelo 3D burdo, transformándolo en un activo detallado y listo para usar. Este refinamiento iterativo permite un nivel de detalle que de otro modo exigiría un extenso trabajo manual.
Para los creadores que utilizan plataformas como los generadores de imágenes de Charmloop, la capacidad de convertir rápidamente una imagen 2D generada por IA en un activo 3D podría abrir nuevas vías para la expresión creativa, particularmente en el desarrollo de juegos o el diseño de entornos virtuales. Esto se alinea con las tendencias más amplias de la industria hacia la integración de la IA en los flujos de trabajo 3D, como se ha visto en otros desarrollos recientes como las herramientas de navegación de fotos 3D de Adobe. Puedes obtener más información sobre técnicas como NeRF en nuestra sección de guías.
Sinergia de hardware y software
NVIDIA afirma explícitamente que TRELLIS.2 está optimizado para su hardware GPU, lo cual no es sorprendente dada la intensidad computacional del renderizado neuronal y la reconstrucción 3D. La canalización se integra con los ecosistemas de software 3D existentes al admitir formatos de exportación estándar, asegurando que los activos generados sean compatibles con las herramientas populares utilizadas por los artistas 3D. Este enfoque en la compatibilidad es crítico para la adopción, ya que minimiza la interrupción de las canalizaciones de producción establecidas.
«La canalización TRELLIS.2 puede generar un activo 3D de alta calidad a partir de una sola imagen 2D en cuestión de segundos».
— NVIDIA Blog
Si bien la cifra de aceleración del 99% es convincente, aún no hay puntos de referencia independientes disponibles. Sin embargo, si el rendimiento reportado se mantiene, TRELLIS.2 podría reducir significativamente la barrera de entrada para la creación de contenido 3D, permitiendo a más artistas de IA experimentar con escenas y animaciones 3D complejas. Esto también podría impactar la economía de la generación de activos, reduciendo potencialmente la necesidad de una extensa mano de obra manual y los costos asociados. Para los creadores interesados en los modelos subyacentes, explorar el catálogo de modelos de Charmloop puede proporcionar información sobre diversas capacidades de IA.
La rápida generación de activos 3D también tiene implicaciones para aplicaciones en tiempo real y experiencias interactivas, donde la demanda de contenido 3D único y de alta calidad está en constante crecimiento. La capacidad de generar activos bajo demanda podría conducir a entornos virtuales más dinámicos y personalizados.
