NVIDIA представила TRELLIS.2 — новый конвейер для генерации 3D-объектов, который, как сообщается, сокращает время создания с часов до секунд (ускорение на 99%) для AI-художников, работающих с 2D-изображениями. Это достижение призвано значительно упростить производство 3D-контента, делая его быстрее и доступнее для интеграции элементов, сгенерированных AI, в виртуальные миры, игры и анимацию.
Ключевые выводы
- Конвейер TRELLIS.2 от NVIDIA ускоряет генерацию 3D-объектов из 2D-изображений на 99%, сокращая время обработки с часов до секунд.
- Система использует двухэтапный подход: сначала генерируется грубая 3D-форма, а затем она уточняется деталями и текстурами из 2D-входных данных.
- TRELLIS.2 оптимизирован для графических процессоров NVIDIA, используя такие технологии, как NeRF и 3D Gaussian Splatting, для получения высококачественного результата.
- Он поддерживает различные 3D-приложения, выводя стандартные форматы, что позволяет AI-художникам интегрировать сгенерированные объекты в существующие рабочие процессы.
Ускорение конвейера 2D в 3D
Традиционное создание 3D-объектов из 2D-входных данных — трудоемкий процесс, часто требующий ручного моделирования, текстурирования и оптимизации. TRELLIS.2 решает эту проблему, используя многоэтапный рабочий процесс, управляемый AI. Основная идея заключается в быстром создании базовой 3D-структуры, а затем в постепенном добавлении деталей и текстур с использованием методов нейронного рендеринга.
Подход NVIDIA начинается с преобразования 2D-изображений в токены признаков, которые затем используются для первоначального создания грубого 3D-представления. Этот ранний этап сосредоточен на создании общей формы и структуры, а не на сложных деталях, что позволяет быстро итерировать. Для AI-художников это означает возможность быстро тестировать различные концепции и композиции, не дожидаясь часами базового рендеринга.
Два этапа: сначала форма, потом детали
Конвейер TRELLIS.2 работает в два основных этапа. Этап 1 сосредоточен на генерации предварительной 3D-модели, описываемой как поле O-Voxel. Это объемное представление с низким разрешением, которое захватывает общую форму объекта. По данным NVIDIA, этот начальный шаг имеет решающее значение для его скорости, обеспечивая пригодную для использования форму почти мгновенно.
Затем Этап 2 уточняет эту начальную форму. Здесь система использует такие методы, как Neural Radiance Fields (NeRFs) и 3D Gaussian Splatting. NeRFs известны своей способностью рендерить сложные сцены с замысловатым освещением и отражениями из нескольких входных изображений, в то время как 3D Gaussian Splatting предлагает возможности рендеринга в реальном времени. Объединяя их, TRELLIS.2 добавляет высококачественные текстуры, материалы и световые эффекты к грубой 3D-модели, превращая ее в детализированный, готовый к использованию объект. Это итеративное уточнение позволяет достичь уровня детализации, который в противном случае потребовал бы обширной ручной работы.
Для создателей, использующих такие платформы, как генераторы изображений Charmloop, возможность быстро преобразовать 2D-изображение, сгенерированное AI, в 3D-объект может открыть новые возможности для творческого самовыражения, особенно в разработке игр или дизайне виртуальной среды. Это соответствует более широким отраслевым тенденциям к интеграции AI в 3D-рабочие процессы, что видно по другим недавним разработкам, таким как инструменты 3D-навигации по фотографиям Adobe. Вы можете узнать больше о таких методах, как NeRF, в нашем разделе руководств.
Синергия аппаратного и программного обеспечения
NVIDIA явно заявляет, что TRELLIS.2 оптимизирован для ее аппаратного обеспечения GPU, что неудивительно, учитывая вычислительную интенсивность нейронного рендеринга и 3D-реконструкции. Конвейер интегрируется с существующими экосистемами 3D-программного обеспечения, поддерживая стандартные форматы экспорта, гарантируя совместимость сгенерированных объектов с популярными инструментами, используемыми 3D-художниками. Этот акцент на совместимости имеет решающее значение для внедрения, поскольку он минимизирует сбои в установленных производственных конвейерах.
«Конвейер TRELLIS.2 может генерировать высококачественный 3D-объект из одного 2D-изображения за считанные секунды».
— NVIDIA Blog
Хотя показатель ускорения на 99% впечатляет, независимые тесты пока недоступны. Однако, если заявленная производительность подтвердится, TRELLIS.2 может значительно снизить барьер для создания 3D-контента, позволяя большему числу AI-художников экспериментировать со сложными 3D-сценами и анимацией. Это также может повлиять на экономику генерации объектов, потенциально уменьшая потребность в обширном ручном труде и связанных с ним затратах. Для создателей, интересующихся базовыми моделями, изучение каталога моделей Charmloop может дать представление о разнообразных возможностях AI.
Быстрая генерация 3D-объектов также имеет значение для приложений реального времени и интерактивных впечатлений, где спрос на уникальный, высококачественный 3D-контент постоянно растет. Возможность генерировать объекты по требованию может привести к более динамичным и персонализированным виртуальным средам.
