NVIDIA wprowadziła TRELLIS.2, nowy potok generowania zasobów 3D, który podobno skraca czas tworzenia z godzin do sekund – przyspieszenie o 99% – dla artystów AI pracujących z obrazami 2D. To osiągnięcie ma na celu znaczące usprawnienie produkcji treści 3D, czyniąc ją szybszą i bardziej dostępną do integrowania elementów generowanych przez AI w wirtualnych światach, grach i animacjach.
Kluczowe wnioski
- Potok TRELLIS.2 firmy NVIDIA przyspiesza generowanie zasobów 3D z obrazów 2D o 99%, skracając czas przetwarzania z godzin do sekund.
- System wykorzystuje dwuetapowe podejście: najpierw generuje zgrubny kształt 3D, a następnie udoskonala go detalami i teksturami z danych wejściowych 2D.
- TRELLIS.2 jest zoptymalizowany pod kątem procesorów graficznych NVIDIA, wykorzystując technologie takie jak NeRF i 3D Gaussian Splatting do uzyskania wysokiej wierności wyjściowej.
- Obsługuje różne aplikacje 3D, eksportując standardowe formaty, co pozwala artystom AI integrować generowane zasoby z istniejącymi przepływami pracy.
Przyspieszenie potoku 2D do 3D
Tradycyjne tworzenie zasobów 3D z danych wejściowych 2D jest czasochłonnym procesem, często wymagającym ręcznego modelowania, teksturowania i optymalizacji. TRELLIS.2 rozwiązuje ten problem, stosując wieloetapowy, oparty na AI przepływ pracy. Podstawową ideą jest szybkie generowanie podstawowej struktury 3D, a następnie stopniowe dodawanie szczegółów i tekstur za pomocą technik renderowania neuronowego.
Podejście NVIDIA rozpoczyna się od konwersji obrazów 2D na tokeny cech, które następnie informują o początkowym tworzeniu zgrubnej reprezentacji 3D. Ten wczesny etap koncentruje się na ustaleniu ogólnego kształtu i struktury, a nie skomplikowanych szczegółów, co pozwala na szybką iterację. Dla artystów AI oznacza to możliwość szybkiego testowania różnych koncepcji i kompozycji bez czekania godzin na podstawowe renderowanie.
Dwa etapy: najpierw kształt, potem szczegóły
Potok TRELLIS.2 działa w dwóch głównych etapach. Etap 1 koncentruje się na generowaniu wstępnego modelu 3D, opisanego jako pole O-Voxel. Jest to wolumetryczna reprezentacja o niskiej rozdzielczości, która oddaje ogólną formę obiektu. Według NVIDIA, ten początkowy krok jest kluczowy ze względu na jego szybkość, zapewniając użyteczny kształt niemal natychmiast.
Etap 2 następnie udoskonala ten początkowy kształt. Tutaj system wykorzystuje techniki takie jak Neural Radiance Fields (NeRFs) i 3D Gaussian Splatting. NeRFs są znane ze swojej zdolności do renderowania złożonych scen ze skomplikowanym oświetleniem i odbiciami z kilku obrazów wejściowych, podczas gdy 3D Gaussian Splatting oferuje możliwości renderowania w czasie rzeczywistym. Łącząc te techniki, TRELLIS.2 dodaje wysokiej jakości tekstury, materiały i efekty świetlne do zgrubnego modelu 3D, przekształcając go w szczegółowy, gotowy do użycia zasób. To iteracyjne udoskonalanie pozwala na poziom szczegółowości, który w przeciwnym razie wymagałby obszernej pracy ręcznej.
Dla twórców korzystających z platform takich jak generatory obrazów Charmloop, możliwość szybkiej konwersji obrazu 2D generowanego przez AI w zasób 3D może otworzyć nowe możliwości twórczej ekspresji, szczególnie w tworzeniu gier lub projektowaniu środowisk wirtualnych. Jest to zgodne z szerszymi trendami branżowymi w kierunku integracji AI z przepływami pracy 3D, co widać w innych ostatnich osiągnięciach, takich jak narzędzia Adobe do nawigacji po zdjęciach 3D. Więcej o technikach takich jak NeRF można dowiedzieć się w naszej sekcji przewodników.
Synergia sprzętu i oprogramowania
NVIDIA wyraźnie stwierdza, że TRELLIS.2 jest zoptymalizowany pod kątem jej sprzętu GPU, co nie jest zaskakujące, biorąc pod uwagę intensywność obliczeniową renderowania neuronowego i rekonstrukcji 3D. Potok integruje się z istniejącymi ekosystemami oprogramowania 3D, obsługując standardowe formaty eksportu, zapewniając, że generowane zasoby są kompatybilne z popularnymi narzędziami używanymi przez artystów 3D. To skupienie się na kompatybilności jest kluczowe dla przyjęcia, ponieważ minimalizuje zakłócenia w ustalonych potokach produkcyjnych.
„Potok TRELLIS.2 może wygenerować wysokiej jakości zasób 3D z pojedynczego obrazu 2D w zaledwie kilka sekund.”
— Blog NVIDIA
Chociaż liczba 99% przyspieszenia jest przekonująca, niezależne testy porównawcze nie są jeszcze dostępne. Jednak jeśli zgłoszona wydajność się utrzyma, TRELLIS.2 może znacząco obniżyć barierę wejścia do tworzenia treści 3D, umożliwiając większej liczbie artystów AI eksperymentowanie ze złożonymi scenami i animacjami 3D. Może to również wpłynąć na ekonomię generowania zasobów, potencjalnie zmniejszając potrzebę obszernej pracy ręcznej i związanych z nią kosztów. Dla twórców zainteresowanych podstawowymi modelami, eksploracja katalogu modeli Charmloop może dostarczyć wglądu w różnorodne możliwości AI.
Szybkie generowanie zasobów 3D ma również implikacje dla aplikacji czasu rzeczywistego i interaktywnych doświadczeń, gdzie zapotrzebowanie na unikalne, wysokiej jakości treści 3D stale rośnie. Możliwość generowania zasobów na żądanie może prowadzić do bardziej dynamicznych i spersonalizowanych środowisk wirtualnych.
