Stable Diffusion es un modelo de generación de texto a imagen lanzado públicamente el 22 de agosto de 2022, desarrollado por investigadores del grupo CompVis de la Universidad Ludwig Maximilian de Múnich en colaboración con Stability AI y Runway, basándose en trabajos académicos previos sobre modelos de difusión latente. Su lanzamiento como modelo de pesos abiertos, en contraste con competidores cerrados, lo convirtió en uno de los lanzamientos más trascendentales en la historia temprana de la IA generativa de imágenes convencional.
Enfoque técnico
Stable Diffusion se basa en la técnica de modelo de difusión de aprender a revertir un proceso gradual de ruido, pero de manera distintiva realiza este proceso en un espacio latente comprimido en lugar de directamente sobre píxeles, un enfoque descrito en el artículo "High-Resolution Image Synthesis with Latent Diffusion Models" coescrito por Robin Rombach. Operar en el espacio latente redujo sustancialmente el costo computacional de entrenar y ejecutar el modelo en comparación con la difusión en el espacio de píxeles, lo que hizo práctico ejecutarlo en una sola GPU de consumo, un factor clave en su rápida adopción. El condicionamiento de texto se proporcionó mediante un codificador de texto derivado de CLIP, lo que permitió al modelo generar imágenes que coinciden con un prompt en lenguaje natural.
Lanzamiento y apertura
Stability AI, liderada en ese momento por Emad Mostaque, financió la computación para el entrenamiento y lanzó públicamente los pesos del modelo bajo una licencia permisiva (CreativeML Open RAIL-M), junto con código que cualquiera podía ejecutar localmente. Esto fue un contraste deliberado con el enfoque de API cerrada adoptado por OpenAI con DALL-E y, más tarde, Midjourney. Los datos de entrenamiento se extrajeron en gran medida del conjunto de datos LAION-5B, compilado por la organización sin fines de lucro LAION, una gran colección de pares de imagen-texto extraídos de la web, que más tarde se convirtió en una fuente de controversia por contenido con derechos de autor y, en un pequeño subconjunto, ilegal, que LAION trabajó para identificar y eliminar.
Ecosistema
El lanzamiento abierto de Stable Diffusion desencadenó un ecosistema comunitario inusualmente grande y de rápido movimiento. En cuestión de meses, los desarrolladores crearon interfaces de usuario personalizadas, extensiones y pipelines de entrenamiento, y la licencia abierta permitió una ola de checkpoints entrenados por la comunidad y ajustes finos específicos de estilo distribuidos en plataformas como Hugging Face y Civitai. Técnicas como los adaptadores LoRA y ControlNet, que permitían un condicionamiento preciso sobre poses, bordes y mapas de profundidad, fueron desarrolladas por la comunidad y rápidamente se integraron en los flujos de trabajo convencionales, ampliando las capacidades prácticas del modelo mucho más allá de su lanzamiento original. Las versiones oficiales sucesivas (SD 2.0, SDXL, SD3) mejoraron la calidad de imagen y la adherencia al prompt, aunque algunas actualizaciones, particularmente el filtrado más restrictivo de datos de entrenamiento en SD 2.0, provocaron rechazo comunitario por degradar ciertas capacidades.
Recepción e impacto
A Stable Diffusion se le atribuye ampliamente haber democratizado el acceso a la generación de imágenes de alta calidad y haber acelerado el debate público sobre la IA y los derechos de autor, ya que su capacidad para ejecutarse localmente lo hizo mucho más difícil de controlar que los competidores basados en API. También intensificó el escrutinio sobre el consentimiento en los datos de entrenamiento, contribuyendo a demandas de artistas y empresas de imágenes de stock, incluida Getty Images. Las fortunas comerciales de Stability AI resultaron turbulentas, con Mostaque dejando el cargo de CEO en 2024 en medio de presiones de financiamiento, incluso mientras el modelo subyacente y sus derivados abiertos continuaron siendo ampliamente utilizados y siguieron siendo influyentes en relación con entrantes abiertos posteriores como FLUX.