Text-to-3D-Generierung ist die Aufgabe, ein dreidimensionales Modell, ein Mesh oder eine Szene aus einer natürlichsprachlichen Eingabeaufforderung zu erzeugen, anstatt eines flachen Bildes oder Videos. Sie liegt an der Schnittstelle von Text-zu-Bild-Generierung und 3D-Computergrafik und war Mitte der 2020er-Jahre noch weniger ausgereift als ihre 2D-Pendants, wobei erzeugte Geometrie und Texturen oft manuelle Nachbearbeitung für den Produktionseinsatz benötigten.
Grundlagen
Das Feld stützt sich auf zwei Grafiktechniken, die parallel zum Deep Learning reiften. Neurale Radiance Fields (NeRF), eingeführt 2020, repräsentieren eine 3D-Szene als ein neuronales Netzwerk, das Farbe und Dichte an jedem Punkt im Raum vorhersagt, wodurch fotorealistische neuartige Ansichten aus einer spärlichen Menge von Eingabefotos gerendert werden können. 3D-Gaussian-Splatting, eingeführt 2023, repräsentiert eine Szene als eine große Sammlung weicher, farbiger Ellipsoide, die optimiert werden, um Eingabeansichten zu matchen, und bietet vergleichbare visuelle Qualität mit deutlich schnellerem Rendering. Es wurde schnell zu einer beliebten Alternative zu NeRF für Echtzeitanwendungen. Keine der beiden Techniken erzeugt allein neue Inhalte aus Text; beide sind Darstellungen, die frühe Text-to-3D-Systeme lernten, mithilfe von Anleitung durch 2D-Modelle zu optimieren.
Ansätze zur Text-to-3D-Generierung
Frühe Text-to-3D-Methoden wie DreamFusion im Jahr 2022 nutzten ein vortrainiertes Diffusionsmodell für Text-zu-Bild als Aufsichtssignal: Eine 3D-Darstellung wurde wiederholt aus zufälligen Blickwinkeln gerendert, und jedes gerenderte Bild wurde leicht angepasst, um besser zum Text-Prompt zu passen, gemäß dem 2D-Diffusionsmodell - ein langsamer, objektbezogener Optimierungsprozess, der erhebliche Rechenleistung für ein einzelnes Ergebnis benötigen konnte. Spätere Systeme bewegten sich in Richtung feed-forward-Generierung, bei der ein Netzwerk trainiert wird, um direkt eine 3D-Darstellung aus Text oder einem einzelnen Eingabebild in einem Durchgang vorherzusagen, wobei etwas Qualität gegen deutlich schnellere Generierung eingetauscht wird - ähnlich wie Text-zu-Bild-Modelle von optimierungsbasierter zu direkter Generierung gereift waren.
Anwendungen
Text-to-3D-Werkzeuge werden für schnelles Prototyping in der Spieleentwicklung, Produktvisualisierung, Virtual- und Augmented-Reality-Inhalte sowie die Asset-Erstellung für die Film-Previsualisierung eingesetzt, wo ein grober 3D-Entwurf erhebliche Modellierungszeit sparen kann, selbst wenn er manuelle Verfeinerung benötigt. Die Technologie wird genau beobachtet als potenzieller Input für die Weltmodell-Forschung und verkörperte KI, da Agenten, die in physischen oder simulierten 3D-Umgebungen planen und handeln, davon profitieren, plausible 3D-Inhalte und Szenen erzeugen zu können, anstatt sich nur auf vorgefertigte Assets zu verlassen.
Einschränkungen
Im Vergleich zur 2D-Bild- und Video-Generierung hinkte die Text-to-3D-Ausgabe im Allgemeinen hinterher in Bezug auf geometrische Konsistenz, Texturqualität und die Fähigkeit, saubere, editierbare Meshes zu erzeugen, die direkt in standardmäßigen 3D-Software-Pipelines verwendbar sind. Multi-View-Konsistenz - das Erzeugen einer Form, die aus jedem Winkel korrekt aussieht, nicht nur aus den während der Optimierung gesehenen Winkeln - blieb eine zentrale technische Herausforderung. Stand 2025 galt Text-to-3D als ein früheres Feld als Text-zu-Bild oder Text-zu-Video-Generierung, mit aktiver Forschung sowohl von großen Labors als auch von spezialisierten Startups, aber ohne ein einzelnes dominantes kommerzielles Produkt, das mit Midjourney oder Stable Diffusion im Bildbereich vergleichbar wäre.