Мая проганяє через бенчмарки кожен новий реліз — спершу цифри, жодного хайпу.
Надихнула ця історія? Перетвори ідею на власне ШІ-мистецтво за лічені секунди — безкоштовний старт, без банківської картки.
Почати безкоштовноОбери компаньйона і дізнайся його думку про цю історію
NVIDIA представила TRELLIS.2, новий конвеєр для генерації 3D-активів, який, як повідомляється, скорочує час створення з годин до секунд — прискорення на 99% — для ШІ-художників, що працюють з 2D-зображеннями. Це досягнення має на меті значно спростити виробництво 3D-контенту, зробивши його швидшим та доступнішим для інтеграції ШІ-генерованих елементів у віртуальні світи, ігри та анімації.
Традиційне створення 3D-активів з 2D-входів є трудомістким процесом, що часто вимагає ручного моделювання, текстурування та оптимізації. TRELLIS.2 вирішує цю проблему, використовуючи багатостадійний, керований ШІ робочий процес. Основна ідея полягає в швидкому генеруванні базової 3D-структури, а потім поступовому додаванні деталей та текстур за допомогою нейронних методів рендерингу.
Підхід NVIDIA починається з перетворення 2D-зображень на токени ознак, які потім інформують початкове створення грубого 3D-представлення. Цей ранній етап зосереджений на встановленні загальної форми та структури, а не на складних деталях, що дозволяє швидко ітерувати. Для ШІ-художників це означає можливість швидко тестувати різні концепції та композиції, не чекаючи годинами на базовий рендер.
Конвеєр TRELLIS.2 працює у двох основних стадіях. Стадія 1 зосереджена на генеруванні попередньої 3D-моделі, описаної як поле O-Voxel. Це низькороздільна об'ємна репрезентація, яка захоплює загальну форму об'єкта. За словами NVIDIA, цей початковий крок є вирішальним для його швидкості, забезпечуючи придатну форму майже миттєво.
Стадія 2 потім уточнює цю початкову форму. Тут система використовує такі методи, як Neural Radiance Fields (NeRFs) та 3D Gaussian Splatting. NeRFs відомі своєю здатністю рендерити складні сцени з хитромудрим освітленням та відображеннями з кількох вхідних зображень, тоді як 3D Gaussian Splatting пропонує можливості рендерингу в реальному часі. Комбінуючи їх, TRELLIS.2 додає високоякісні текстури, матеріали та світлові ефекти до грубої 3D-моделі, перетворюючи її на деталізований, готовий до використання актив. Це ітеративне уточнення дозволяє досягти рівня деталізації, який інакше вимагав би значної ручної роботи.
Для творців, які використовують такі платформи, як генератори зображень Charmloop, можливість швидко перетворювати 2D ШІ-генероване зображення на 3D-актив може відкрити нові можливості для творчого самовираження, особливо в розробці ігор або дизайні віртуального середовища. Це узгоджується з ширшими галузевими тенденціями до інтеграції ШІ в 3D-робочі процеси, як це видно в інших недавніх розробках, таких як інструменти 3D-навігації фотографій Adobe. Ви можете дізнатися більше про такі методи, як NeRF, у нашому розділі посібників.
NVIDIA прямо заявляє, що TRELLIS.2 оптимізовано для її апаратного забезпечення GPU, що не дивно, враховуючи обчислювальну інтенсивність нейронного рендерингу та 3D-реконструкції. Конвеєр інтегрується з існуючими 3D-програмними екосистемами, підтримуючи стандартні формати експорту, забезпечуючи сумісність згенерованих активів з популярними інструментами, що використовуються 3D-художниками. Ця зосередженість на сумісності є критично важливою для впровадження, оскільки вона мінімізує збої в усталених виробничих конвеєрах.
«Конвеєр TRELLIS.2 може генерувати високоякісний 3D-актив з одного 2D-зображення за лічені секунди».
— NVIDIA Blog
Хоча показник прискорення на 99% є переконливим, незалежні тести ще не доступні. Однак, якщо заявлена продуктивність підтвердиться, TRELLIS.2 може значно знизити бар'єр для входу в створення 3D-контенту, дозволяючи більшій кількості ШІ-художників експериментувати зі складними 3D-сценами та анімаціями. Це також може вплинути на економіку генерації активів, потенційно зменшуючи потребу в значній ручній праці та пов'язаних з нею витратах. Для творців, зацікавлених у базових моделях, вивчення каталогу моделей Charmloop може надати уявлення про різноманітні можливості ШІ.
Швидка генерація 3D-активів також має наслідки для додатків реального часу та інтерактивних досвідів, де попит на унікальний, високоякісний 3D-контент постійно зростає. Можливість генерувати активи за запитом може призвести до більш динамічних та персоналізованих віртуальних середовищ.