NVIDIAのTRELLIS.2、AIアーティスト向け3Dアセット生成時間を99%短縮

NVIDIAは、2D画像から作業するAIアーティスト向けに、3Dアセット生成時間を数時間から数秒へと99%短縮する新しい3Dアセット生成パイプラインTRELLIS.2を発表しました。この進歩は、3Dコンテンツの制作を大幅に効率化し、AI生成要素を仮想世界、ゲーム、アニメーションに統合するのをより迅速かつアクセスしやすくすることを目指しています。

主なポイント

• NVIDIAのTRELLIS.2パイプラインは、2D画像からの3Dアセット生成を99%高速化し、処理時間を数時間から数秒に短縮します。
• このシステムは2段階のアプローチを採用しており、まず大まかな3D形状を生成し、次に2D入力から詳細とテクスチャでそれを洗練します。
• TRELLIS.2はNVIDIA GPUに最適化されており、NeRFや3D Gaussian Splattingなどの技術を活用して高忠実度出力を実現します。
• 標準形式で出力することでさまざまな3Dアプリケーションをサポートし、AIアーティストが生成されたアセットを既存のワークフローに統合できるようにします。

2Dから3Dへのパイプラインを加速

2D入力からの従来の3Dアセット作成は、手動でのモデリング、テクスチャリング、最適化を必要とすることが多く、時間のかかるプロセスです。TRELLIS.2は、多段階のAI駆動型ワークフローを採用することでこれに対処します。核となるアイデアは、基本的な3D構造を迅速に生成し、その後、ニューラルレンダリング技術を使用して詳細とテクスチャを段階的に追加することです。

NVIDIAのアプローチは、2D画像を特徴トークンに変換することから始まり、それが粗い3D表現の初期作成に情報を提供します。この初期段階では、複雑な詳細ではなく、全体的な形状と構造の確立に焦点を当て、迅速な反復を可能にします。AIアーティストにとって、これは基本的なレンダリングを数時間待つことなく、さまざまなコンセプトや構成を迅速にテストできることを意味します。

2段階：まず形状、次に詳細

TRELLIS.2パイプラインは、主に2つの段階で動作します。ステージ1では、O-Voxelフィールドとして記述される予備的な3Dモデルの生成に焦点を当てます。これは、オブジェクトの一般的な形状を捉える低解像度のボクセル表現です。NVIDIAによると、この初期ステップは速度にとって重要であり、ほぼ瞬時に使用可能な形状を提供します。

ステージ2では、この初期形状を洗練します。ここでは、システムはNeural Radiance Fields（NeRFs）や3D Gaussian Splattingなどの技術を活用します。NeRFsは、いくつかの入力画像から複雑なシーンを精巧なライティングと反射でレンダリングする能力で知られており、3D Gaussian Splattingはリアルタイムレンダリング機能を提供します。これらを組み合わせることで、TRELLIS.2は粗い3Dモデルに高忠実度のテクスチャ、マテリアル、ライティング効果を追加し、詳細で即座に使用できるアセットに変換します。この反復的な洗練により、そうでなければ広範な手作業を必要とするレベルの詳細が可能になります。

Charmloopの画像ジェネレーターのようなプラットフォームを使用するクリエイターにとって、2DのAI生成画像を3Dアセットに迅速に変換する能力は、特にゲーム開発や仮想環境デザインにおいて、創造的な表現の新たな道を開く可能性があります。これは、Adobeの3D写真ナビゲーションツールのような他の最近の進展に見られるように、AIを3Dワークフローに統合するという広範な業界トレンドと一致しています。NeRFのような技術については、当社のガイドセクションで詳しく学ぶことができます。

ハードウェアとソフトウェアの相乗効果

NVIDIAは、TRELLIS.2がそのGPUハードウェアに最適化されていることを明示的に述べています。これは、ニューラルレンダリングと3D再構築の計算負荷の高さからすれば当然のことです。このパイプラインは、標準のエクスポート形式をサポートすることで既存の3Dソフトウェアエコシステムと統合し、生成されたアセットが3Dアーティストが使用する一般的なツールと互換性があることを保証します。この互換性への焦点は、確立された制作パイプラインへの混乱を最小限に抑えるため、採用にとって不可欠です。

「TRELLIS.2パイプラインは、単一の2D画像から高品質の3Dアセットをわずか数秒で生成できます。」

— NVIDIA Blog

99%の高速化という数字は魅力的ですが、独立したベンチマークはまだ利用できません。しかし、報告されたパフォーマンスが維持されれば、TRELLIS.2は3Dコンテンツ作成への参入障壁を大幅に下げ、より多くのAIアーティストが複雑な3Dシーンやアニメーションを試すことを可能にするでしょう。これはまた、アセット生成の経済性にも影響を与え、広範な手作業と関連コストの必要性を潜在的に減らす可能性があります。基礎となるモデルに興味のあるクリエイターは、Charmloopのモデルカタログを探索することで、多様なAI機能についての洞察を得ることができます。

3Dアセットの迅速な生成は、ユニークで高品質な3Dコンテンツの需要が絶えず高まっているリアルタイムアプリケーションやインタラクティブ体験にも影響を与えます。オンデマンドでアセットを生成する能力は、よりダイナミックでパーソナライズされた仮想環境につながる可能性があります。