Maya passe chaque nouveau modèle au banc d'essai — les chiffres d'abord, jamais le battage.
Inspiré par cette histoire ? Transformez l’idée en votre propre création par IA en quelques secondes — gratuit pour commencer, sans carte bancaire.
Commencer gratuitementChoisissez un compagnon et découvrez son avis sur cette histoire
NVIDIA a présenté TRELLIS.2, un nouveau pipeline de génération d'actifs 3D qui réduirait le temps de création de plusieurs heures à quelques secondes – une accélération de 99 % – pour les artistes IA travaillant à partir d'images 2D. Cette avancée vise à rationaliser considérablement la production de contenu 3D, la rendant plus rapide et plus accessible pour l'intégration d'éléments générés par l'IA dans les mondes virtuels, les jeux et les animations.
La création traditionnelle d'actifs 3D à partir d'entrées 2D est un processus chronophage, nécessitant souvent une modélisation, un texturage et une optimisation manuels. TRELLIS.2 y remédie en employant un flux de travail multi-étapes, piloté par l'IA. L'idée centrale est de générer rapidement une structure 3D fondamentale, puis d'ajouter progressivement des détails et des textures à l'aide de techniques de rendu neuronal.
L'approche de NVIDIA commence par la conversion d'images 2D en jetons de caractéristiques, qui informent ensuite la création initiale d'une représentation 3D grossière. Cette première étape se concentre sur l'établissement de la forme et de la structure globales, plutôt que sur des détails complexes, permettant une itération rapide. Pour les artistes IA, cela signifie pouvoir tester rapidement différents concepts et compositions sans attendre des heures pour un rendu de base.
Le pipeline TRELLIS.2 fonctionne en deux étapes principales. L'étape 1 se concentre sur la génération d'un modèle 3D préliminaire, décrit comme un champ O-Voxel. Il s'agit d'une représentation volumétrique à basse résolution qui capture la forme générale de l'objet. Selon NVIDIA, cette étape initiale est cruciale pour sa rapidité, fournissant une forme utilisable presque instantanément.
L'étape 2 affine ensuite cette forme initiale. Ici, le système tire parti de techniques telles que les champs de radiance neuronaux (NeRFs) et le 3D Gaussian Splatting. Les NeRFs sont connus pour leur capacité à rendre des scènes complexes avec un éclairage et des réflexions complexes à partir de quelques images d'entrée, tandis que le 3D Gaussian Splatting offre des capacités de rendu en temps réel. En combinant ces éléments, TRELLIS.2 ajoute des textures, des matériaux et des effets d'éclairage haute fidélité au modèle 3D grossier, le transformant en un actif détaillé et prêt à l'emploi. Ce raffinement itératif permet un niveau de détail qui exigerait autrement un travail manuel considérable.
Pour les créateurs utilisant des plateformes comme les générateurs d'images de Charmloop, la capacité de convertir rapidement une image 2D générée par l'IA en un actif 3D pourrait ouvrir de nouvelles voies d'expression créative, en particulier dans le développement de jeux ou la conception d'environnements virtuels. Cela s'aligne sur les tendances plus larges de l'industrie vers l'intégration de l'IA dans les flux de travail 3D, comme en témoignent d'autres développements récents comme les outils de navigation photo 3D d'Adobe. Vous pouvez en apprendre davantage sur des techniques comme NeRF dans notre section guides.
NVIDIA déclare explicitement que TRELLIS.2 est optimisé pour son matériel GPU, ce qui n'est pas surprenant étant donné l'intensité computationnelle du rendu neuronal et de la reconstruction 3D. Le pipeline s'intègre aux écosystèmes logiciels 3D existants en prenant en charge les formats d'exportation standard, garantissant que les actifs générés sont compatibles avec les outils populaires utilisés par les artistes 3D. Cette focalisation sur la compatibilité est essentielle pour l'adoption, car elle minimise les perturbations des pipelines de production établis.
« Le pipeline TRELLIS.2 peut générer un actif 3D de haute qualité à partir d'une seule image 2D en quelques secondes seulement. »
— Blog NVIDIA
Bien que le chiffre d'accélération de 99 % soit convaincant, des benchmarks indépendants ne sont pas encore disponibles. Cependant, si les performances rapportées se confirment, TRELLIS.2 pourrait réduire considérablement la barrière à l'entrée pour la création de contenu 3D, permettant à davantage d'artistes IA d'expérimenter des scènes et des animations 3D complexes. Cela pourrait également avoir un impact sur l'économie de la génération d'actifs, réduisant potentiellement le besoin de main-d'œuvre manuelle étendue et les coûts associés. Pour les créateurs intéressés par les modèles sous-jacents, l'exploration du catalogue de modèles de Charmloop peut donner un aperçu des diverses capacités de l'IA.
La génération rapide d'actifs 3D a également des implications pour les applications en temps réel et les expériences interactives, où la demande de contenu 3D unique et de haute qualité ne cesse de croître. La capacité de générer des actifs à la demande pourrait conduire à des environnements virtuels plus dynamiques et personnalisés.