NVIDIA ha introdotto TRELLIS.2, una nuova pipeline di generazione di asset 3D che, secondo quanto riferito, riduce il tempo di creazione da ore a secondi—un'accelerazione del 99%—per gli artisti AI che lavorano con immagini 2D. Questo progresso mira a snellire significativamente la produzione di contenuti 3D, rendendola più veloce e accessibile per l'integrazione di elementi generati dall'AI in mondi virtuali, giochi e animazioni.
Punti chiave
- La pipeline TRELLIS.2 di NVIDIA accelera la generazione di asset 3D da immagini 2D del 99%, riducendo il tempo di elaborazione da ore a secondi.
- Il sistema utilizza un approccio a due fasi: prima genera una forma 3D approssimativa e poi la affina con dettagli e texture dagli input 2D.
- TRELLIS.2 è ottimizzato per le GPU NVIDIA, sfruttando tecnologie come NeRF e 3D Gaussian Splatting per un output ad alta fedeltà.
- Supporta varie applicazioni 3D producendo formati standard, consentendo agli artisti AI di integrare gli asset generati nei flussi di lavoro esistenti.
Accelerare la pipeline da 2D a 3D
La creazione tradizionale di asset 3D da input 2D è un processo che richiede tempo, spesso necessitando di modellazione manuale, texturizzazione e ottimizzazione. TRELLIS.2 affronta questo problema impiegando un flusso di lavoro multistadio, guidato dall'AI. L'idea centrale è quella di generare rapidamente una struttura 3D fondamentale, quindi aggiungere progressivamente dettagli e texture utilizzando tecniche di rendering neurale.
L'approccio di NVIDIA inizia convertendo le immagini 2D in token di funzionalità, che poi informano la creazione iniziale di una rappresentazione 3D grezza. Questa fase iniziale si concentra sulla definizione della forma e della struttura complessiva, piuttosto che sui dettagli intricati, consentendo un'iterazione rapida. Per gli artisti AI, questo significa essere in grado di testare rapidamente diversi concetti e composizioni senza attendere ore per un rendering di base.
Due fasi: prima la forma, poi il dettaglio
La pipeline TRELLIS.2 opera in due fasi principali. La Fase 1 si concentra sulla generazione di un modello 3D preliminare, descritto come un campo O-Voxel. Questa è una rappresentazione volumetrica a bassa risoluzione che cattura la forma generale dell'oggetto. Secondo NVIDIA, questo passaggio iniziale è cruciale per la sua velocità, fornendo una forma utilizzabile quasi istantaneamente.
La Fase 2 affina quindi questa forma iniziale. Qui, il sistema sfrutta tecniche come i Neural Radiance Fields (NeRFs) e il 3D Gaussian Splatting. I NeRFs sono noti per la loro capacità di renderizzare scene complesse con illuminazione e riflessi intricati da poche immagini di input, mentre il 3D Gaussian Splatting offre capacità di rendering in tempo reale. Combinando queste tecniche, TRELLIS.2 aggiunge texture, materiali ed effetti di illuminazione ad alta fedeltà al modello 3D grezzo, trasformandolo in un asset dettagliato e pronto all'uso. Questo affinamento iterativo consente un livello di dettaglio che altrimenti richiederebbe un esteso lavoro manuale.
Per i creatori che utilizzano piattaforme come i generatori di immagini di Charmloop, la capacità di convertire rapidamente un'immagine 2D generata dall'AI in un asset 3D potrebbe aprire nuove strade per l'espressione creativa, in particolare nello sviluppo di giochi o nella progettazione di ambienti virtuali. Questo si allinea con le tendenze più ampie del settore verso l'integrazione dell'AI nei flussi di lavoro 3D, come si è visto in altri recenti sviluppi come gli strumenti di navigazione fotografica 3D di Adobe. Puoi saperne di più sulle tecniche come NeRF nella nostra sezione guide.
Sinergia hardware e software
NVIDIA afferma esplicitamente che TRELLIS.2 è ottimizzato per il suo hardware GPU, il che non sorprende data l'intensità computazionale del rendering neurale e della ricostruzione 3D. La pipeline si integra con gli ecosistemi software 3D esistenti supportando formati di esportazione standard, garantendo che gli asset generati siano compatibili con gli strumenti più diffusi utilizzati dagli artisti 3D. Questa attenzione alla compatibilità è fondamentale per l'adozione, poiché minimizza le interruzioni delle pipeline di produzione consolidate.
«La pipeline TRELLIS.2 può generare un asset 3D di alta qualità da una singola immagine 2D in pochi secondi.»
— NVIDIA Blog
Sebbene il dato di accelerazione del 99% sia convincente, non sono ancora disponibili benchmark indipendenti. Tuttavia, se le prestazioni riportate si mantengono, TRELLIS.2 potrebbe abbassare significativamente la barriera all'ingresso per la creazione di contenuti 3D, consentendo a più artisti AI di sperimentare scene e animazioni 3D complesse. Ciò potrebbe anche influenzare l'economia della generazione di asset, riducendo potenzialmente la necessità di un'ampia manodopera manuale e i costi associati. Per i creatori interessati ai modelli sottostanti, esplorare il catalogo modelli di Charmloop può fornire informazioni sulle diverse capacità dell'AI.
La rapida generazione di asset 3D ha anche implicazioni per le applicazioni in tempo reale e le esperienze interattive, dove la domanda di contenuti 3D unici e di alta qualità è in costante crescita. La capacità di generare asset su richiesta potrebbe portare a ambienti virtuali più dinamici e personalizzati.
