Maya testet jedes neue Modell im Benchmark — Zahlen zuerst, Hype nie.
Von dieser Story inspiriert? Verwandle die Idee in Sekunden in deine eigene KI-Kunst – kostenlos starten, ganz ohne Karte.
Kostenlos loslegenWähle einen Companion und erfahre seine Meinung zu dieser Story
NVIDIA hat TRELLIS.2 vorgestellt, eine neue Pipeline zur Generierung von 3D-Assets, die Berichten zufolge die Erstellungszeit für KI-Künstler, die mit 2D-Bildern arbeiten, von Stunden auf Sekunden reduziert – eine Beschleunigung um 99 %. Diese Weiterentwicklung zielt darauf ab, die Produktion von 3D-Inhalten erheblich zu optimieren und sie schneller und zugänglicher für die Integration von KI-generierten Elementen in virtuelle Welten, Spiele und Animationen zu machen.
Die traditionelle Erstellung von 3D-Assets aus 2D-Eingaben ist ein zeitaufwändiger Prozess, der oft manuelles Modellieren, Texturieren und Optimieren erfordert. TRELLIS.2 begegnet diesem Problem durch einen mehrstufigen, KI-gesteuerten Workflow. Die Kernidee besteht darin, schnell eine grundlegende 3D-Struktur zu generieren und dann schrittweise Details und Texturen mithilfe neuronaler Rendering-Techniken hinzuzufügen.
NVIDIAs Ansatz beginnt mit der Umwandlung von 2D-Bildern in Feature-Tokens, die dann die anfängliche Erstellung einer groben 3D-Darstellung informieren. Diese frühe Phase konzentriert sich auf die Etablierung der Gesamtform und -struktur und nicht auf komplizierte Details, was eine schnelle Iteration ermöglicht. Für KI-Künstler bedeutet dies, dass sie verschiedene Konzepte und Kompositionen schnell testen können, ohne stundenlang auf ein grundlegendes Rendering warten zu müssen.
Die TRELLIS.2-Pipeline arbeitet in zwei Hauptstufen. Stufe 1 konzentriert sich auf die Generierung eines vorläufigen 3D-Modells, das als O-Voxel-Feld beschrieben wird. Dies ist eine volumetrische Darstellung mit niedriger Auflösung, die die allgemeine Form des Objekts erfasst. Laut NVIDIA ist dieser erste Schritt entscheidend für seine Geschwindigkeit und liefert fast sofort eine nutzbare Form.
Stufe 2 verfeinert dann diese anfängliche Form. Hier nutzt das System Techniken wie Neural Radiance Fields (NeRFs) und 3D Gaussian Splatting. NeRFs sind bekannt für ihre Fähigkeit, komplexe Szenen mit komplizierter Beleuchtung und Reflexionen aus wenigen Eingabebildern zu rendern, während 3D Gaussian Splatting Echtzeit-Rendering-Funktionen bietet. Durch die Kombination dieser Techniken fügt TRELLIS.2 dem groben 3D-Modell hochpräzise Texturen, Materialien und Lichteffekte hinzu und verwandelt es in ein detailliertes, gebrauchsfertiges Asset. Diese iterative Verfeinerung ermöglicht einen Detailgrad, der sonst umfangreiche manuelle Arbeit erfordern würde.
Für Kreative, die Plattformen wie die Bildgeneratoren von Charmloop nutzen, könnte die Möglichkeit, ein 2D-KI-generiertes Bild schnell in ein 3D-Asset umzuwandeln, neue Wege für den kreativen Ausdruck eröffnen, insbesondere in der Spieleentwicklung oder im Design virtueller Umgebungen. Dies steht im Einklang mit breiteren Branchentrends zur Integration von KI in 3D-Workflows, wie sie in anderen jüngsten Entwicklungen wie Adobes 3D-Fotonavigationstools zu sehen sind. Mehr über Techniken wie NeRF erfahren Sie in unserem Bereich Guides.
NVIDIA gibt explizit an, dass TRELLIS.2 für seine GPU-Hardware optimiert ist, was angesichts der Rechenintensität von neuronalem Rendering und 3D-Rekonstruktion nicht überraschend ist. Die Pipeline integriert sich in bestehende 3D-Software-Ökosysteme, indem sie Standard-Exportformate unterstützt, wodurch sichergestellt wird, dass die generierten Assets mit gängigen Tools von 3D-Künstlern kompatibel sind. Dieser Fokus auf Kompatibilität ist entscheidend für die Akzeptanz, da er Störungen etablierter Produktionspipelines minimiert.
„Die TRELLIS.2-Pipeline kann in wenigen Sekunden ein hochwertiges 3D-Asset aus einem einzigen 2D-Bild generieren.“
— NVIDIA Blog
Obwohl die 99 %ige Beschleunigung überzeugend ist, sind unabhängige Benchmarks noch nicht verfügbar. Sollte die gemeldete Leistung jedoch zutreffen, könnte TRELLIS.2 die Einstiegshürde für die Erstellung von 3D-Inhalten erheblich senken und mehr KI-Künstlern ermöglichen, mit komplexen 3D-Szenen und Animationen zu experimentieren. Dies könnte sich auch auf die Wirtschaftlichkeit der Asset-Generierung auswirken und möglicherweise den Bedarf an umfangreicher manueller Arbeit und den damit verbundenen Kosten reduzieren. Für Kreative, die sich für die zugrunde liegenden Modelle interessieren, kann die Erkundung des Modellkatalogs von Charmloop Einblicke in vielfältige KI-Funktionen geben.
Die schnelle Generierung von 3D-Assets hat auch Auswirkungen auf Echtzeitanwendungen und interaktive Erlebnisse, wo die Nachfrage nach einzigartigen, hochwertigen 3D-Inhalten ständig wächst. Die Möglichkeit, Assets bei Bedarf zu generieren, könnte zu dynamischeren und personalisierteren virtuellen Umgebungen führen.