La génération texte-vers-3D est la tâche consistant à produire un modèle tridimensionnel, un maillage ou une scène à partir d'une invite en langage naturel, plutôt qu'une image plate ou une vidéo. Elle se situe à l'intersection de la génération texte-vers-image et de l'infographie 3D, et, au milieu des années 2020, restait moins mature que ses équivalents 2D, produisant des géométries et des textures qui nécessitaient souvent un nettoyage manuel pour une utilisation en production.
Fondements
Le domaine s'appuie sur deux techniques graphiques qui ont mûri parallèlement à l'apprentissage profond. Les champs de radiance neuronaux (NeRF), introduits en 2020, représentent une scène 3D comme un réseau de neurones qui prédit la couleur et la densité en tout point de l'espace, permettant de rendre des vues photoréalistes inédites à partir d'un ensemble clairsemé de photos d'entrée. L'éclaboussement gaussien 3D, introduit en 2023, représente une scène comme une grande collection d'ellipsoïdes colorés et doux optimisés pour correspondre aux vues d'entrée, offrant une qualité visuelle comparable avec un rendu beaucoup plus rapide, et est rapidement devenu une alternative populaire à NeRF pour les applications en temps réel. Aucune de ces techniques ne génère à elle seule de nouveaux contenus à partir de texte ; ce sont toutes deux des représentations que les premiers systèmes texte-vers-3D ont appris à optimiser en utilisant des modèles 2D comme guide.
Approches de la génération texte-vers-3D
Les premières méthodes texte-vers-3D, comme DreamFusion en 2022, utilisaient un modèle de diffusion texte-vers-image pré-entraîné comme signal de supervision : une représentation 3D était rendue à plusieurs reprises depuis des points de vue aléatoires, et chaque image rendue était ajustée pour mieux correspondre à l'invite textuelle selon le modèle de diffusion 2D, un processus d'optimisation lent et spécifique à chaque objet qui pouvait nécessiter une puissance de calcul importante pour un seul résultat. Les systèmes ultérieurs se sont orientés vers la génération feed-forward, entraînant un réseau à prédire directement une représentation 3D à partir de texte ou d'une seule image d'entrée en une passe, sacrifiant une partie de la qualité pour une génération nettement plus rapide, se rapprochant ainsi de la manière dont les modèles texte-vers-image avaient évolué d'une génération basée sur l'optimisation à une génération directe.
Applications
Les outils texte-vers-3D sont utilisés pour le prototypage rapide dans le développement de jeux, la visualisation de produits, la création de contenu pour la réalité virtuelle et augmentée, et la création d'actifs pour la prévisualisation de films, où un brouillon 3D approximatif peut faire gagner un temps considérable aux modeleurs, même s'il nécessite un raffinement manuel. La technologie est étroitement surveillée comme une entrée potentielle pour la recherche sur les modèles du monde et l'IA incarnée, car les agents qui planifient et agissent dans des environnements 3D physiques ou simulés bénéficient de la capacité à générer des contenus et des scènes 3D plausibles plutôt que de s'appuyer uniquement sur des actifs préconstruits.
Limites
Comparée à la génération d'images et de vidéos 2D, la sortie texte-vers-3D a généralement été en retard en termes de cohérence géométrique, de qualité de texture et de capacité à produire des maillages propres et modifiables utilisables directement dans les pipelines logiciels 3D standard. La cohérence multi-vues, c'est-à-dire la génération d'une forme qui semble correcte sous tous les angles et non seulement sous les angles vus pendant l'optimisation, restait un défi technique central. En 2025, la génération texte-vers-3D était considérée comme un domaine plus précoce que la génération texte-vers-image ou texte-vers-vidéo, avec une recherche active menée à la fois par les grands laboratoires et des startups spécialisées, mais sans produit commercial dominant comparable à Midjourney ou Stable Diffusion dans le domaine de l'image.