Text-to-3D生成とは、自然言語のプロンプトから、平面画像や動画ではなく、三次元モデル、メッシュ、またはシーンを生成するタスクである。これはテキストから画像への生成と3Dコンピュータグラフィックスの交差点に位置し、2020年代半ばの時点では2Dの同等技術よりも未成熟であり、生成される形状やテクスチャは、制作用途には手動での修正を必要とすることが多かった。
基礎
この分野は、深層学習と並行して成熟した2つのグラフィックス技術に基づいている。2020年に導入されたニューラル放射輝度場（NeRF）は、3Dシーンを、空間内の任意の点における色と密度を予測するニューラルネットワークとして表現し、疎な入力写真群から写実的な新規視点のレンダリングを可能にする。2023年に導入された3Dガウシアンスプラッティングは、シーンを、入力ビューに一致するように最適化された、柔らかく色付きの楕円体の大規模な集合として表現し、同等の画質でありながらはるかに高速なレンダリングを実現し、リアルタイムアプリケーション向けのNeRFの代替として急速に普及した。どちらの技術も単独ではテキストから新しいコンテンツを生成するものではなく、初期のテキストから3Dへのシステムが2Dモデルからのガイダンスを用いて最適化することを学習した表現である。
テキストから3Dへのアプローチ
DreamFusion（2022年）などの初期のテキストから3Dへの手法は、事前学習済みのテキストから画像への拡散モデルを監視信号として使用した。3D表現をランダムな視点から繰り返しレンダリングし、各レンダリング画像を2D拡散モデルに従ってテキストプロンプトにより適合するように微調整する、遅いオブジェクトごとの最適化プロセスであり、単一の結果に対して多大な計算リソースを要することがあった。後のシステムはフィードフォワード生成へと移行し、テキストまたは単一の入力画像から3D表現を1回のパスで直接予測するネットワークを訓練し、品質の一部を犠牲にして生成速度を劇的に向上させ、テキストから画像へのモデルが最適化ベースから直接生成へと成熟した過程に近づいた。
応用
テキストから3Dへのツールは、ゲーム開発におけるラピッドプロトタイピング、製品ビジュアライゼーション、仮想現実および拡張現実コンテンツ、映画のプリビジュアライゼーション用のアセット作成に使用されており、粗い3Dドラフトがあれば、手動での修正が必要であってもモデラーの時間を大幅に節約できる。この技術は、ワールドモデル研究や身体化AIへの入力としても注目されており、物理的またはシミュレートされた3D環境で計画し行動するエージェントは、事前に構築されたアセットのみに依存するのではなく、もっともらしい3Dコンテンツやシーンを生成できることから恩恵を受ける。
限界
2D画像および動画生成と比較して、テキストから3Dへの出力は、一般的に形状の一貫性、テクスチャ品質、および標準的な3Dソフトウェアパイプラインで直接使用できるクリーンで編集可能なメッシュの生成能力において遅れを取っている。多視点一貫性、つまり最適化中に見られた角度だけでなく、あらゆる角度から正しく見える形状を生成することは、中核的な技術的課題であり続けた。2025年の時点で、テキストから3Dはテキストから画像やテキストから動画の生成よりも初期段階の分野と見なされており、主要な研究所と専門のスタートアップの両方から活発な研究が行われているが、画像分野におけるMidjourneyやStable Diffusionに相当する支配的な商用製品はまだ存在しない。