La generación de texto a 3D es la tarea de producir un modelo tridimensional, una malla o una escena a partir de un aviso en lenguaje natural, en lugar de una imagen plana o un video. Se sitúa en la intersección de la generación de texto a imagen y los gráficos computacionales 3D, y a mediados de la década de 2020 seguía siendo menos madura que sus contrapartes 2D, produciendo geometría y texturas que a menudo requerían limpieza manual para su uso en producción.
Fundamentos
El campo se basa en dos técnicas gráficas que maduraron junto con el aprendizaje profundo. Los campos de radiancia neuronal (NeRF), introducidos en 2020, representan una escena 3D como una red neuronal que predice color y densidad en cualquier punto del espacio, permitiendo renderizar vistas novedosas fotorrealistas a partir de un conjunto disperso de fotos de entrada. El splatting gaussiano 3D, introducido en 2023, representa una escena como una gran colección de elipsoides suaves y coloreados optimizados para coincidir con las vistas de entrada, ofreciendo una calidad visual comparable con un renderizado mucho más rápido, y rápidamente se convirtió en una alternativa popular a NeRF para aplicaciones en tiempo real. Ninguna de estas técnicas genera contenido nuevo a partir de texto por sí sola; ambas son representaciones que los primeros sistemas de texto a 3D aprendieron a optimizar utilizando la guía de modelos 2D.
Enfoques para texto a 3D
Los primeros métodos de texto a 3D, como DreamFusion en 2022, utilizaban un modelo de difusión de texto a imagen preentrenado como señal supervisora: una representación 3D se renderizaba repetidamente desde puntos de vista aleatorios, y cada imagen renderizada se ajustaba para coincidir mejor con el aviso de texto según el modelo de difusión 2D, un proceso de optimización lento y por objeto que podía requerir un cómputo significativo para un solo resultado. Los sistemas posteriores se movieron hacia la generación de avance directo, entrenando una red para predecir directamente una representación 3D a partir de texto o una sola imagen de entrada en una sola pasada, intercambiando algo de calidad por una generación drásticamente más rápida, más cercana a cómo los modelos de texto a imagen habían madurado de la optimización a la generación directa.
Aplicaciones
Las herramientas de texto a 3D se utilizan para la creación rápida de prototipos en el desarrollo de juegos, la visualización de productos, el contenido de realidad virtual y aumentada, y la creación de activos para la previsualización de películas, donde un borrador 3D aproximado puede ahorrar tiempo significativo al modelador incluso si necesita refinamiento manual. La tecnología es observada de cerca como una posible entrada para la investigación de modelos de mundo y IA encarnada, ya que los agentes que planifican y actúan en entornos 3D físicos o simulados se benefician de poder generar contenido y escenas 3D plausibles en lugar de depender solo de activos preconstruidos.
Limitaciones
En comparación con la generación de imágenes y videos 2D, la salida de texto a 3D generalmente ha quedado rezagada en consistencia geométrica, calidad de textura y la capacidad de producir mallas limpias y editables utilizables directamente en los pipelines de software 3D estándar. La consistencia multivista, generar una forma que se vea correcta desde todos los ángulos en lugar de solo los ángulos vistos durante la optimización, siguió siendo un desafío técnico central. A partir de 2025, el texto a 3D se consideraba un campo en una etapa más temprana que la generación de texto a imagen o texto a video, con investigación activa tanto de grandes laboratorios como de startups especializadas, pero sin un producto comercial dominante único comparable a Midjourney o Stable Diffusion en el dominio de la imagen.