En agosto de 2022, Stability AI publicó Stable Diffusion, un modelo de aprendizaje profundo de texto a imagen basado en técnicas de difusión. Es el producto principal de Stability AI y se considera una parte clave del actual auge de la IA. Stable Diffusion genera principalmente imágenes detalladas a partir de descripciones de texto, pero también admite tareas como inpainting, outpainting y traducción de imagen a imagen guiada por un prompt. Su código y pesos del modelo se publicaron públicamente, lo que permite que versiones se ejecuten en la mayoría del hardware de consumo con tan solo 2,4 GB de VRAM, una diferencia frente a modelos propietarios como DALL-E y Midjourney, que solo eran accesibles mediante servicios en la nube.
El desarrollo involucró a investigadores del grupo CompVis de la LMU de Múnich y Runway, con una donación computacional de Stability AI y datos de entrenamiento de organizaciones sin fines de lucro. El modelo es un modelo de difusión latente (LDM), un tipo de red neuronal artificial generativa profunda. Su arquitectura, procedimientos de entrenamiento e impacto cultural han sido ampliamente estudiados.
Desarrollo
Stable Diffusion se originó a partir de un proyecto llamado difusión latente, desarrollado en Alemania por investigadores de la LMU de Múnich y la Universidad de Heidelberg. Cuatro de los cinco autores originales - Robin Rombach, Andreas Blattmann, Patrick Esser y Dominik Lorenz - se unieron posteriormente a Stability AI y lanzaron versiones posteriores. La licencia técnica del modelo fue publicada por el grupo CompVis de la LMU de Múnich. El desarrollo fue liderado por Patrick Esser de Runway y Robin Rombach de CompVis, quienes estuvieron entre los investigadores que habían inventado anteriormente la arquitectura de modelo de difusión latente utilizada por Stable Diffusion. Stability AI también acreditó a EleutherAI y LAION, una organización alemana sin fines de lucro que recopiló el conjunto de datos con el que se entrenó Stable Diffusion, como partidarios.
Tecnología
Arquitectura
Los modelos de difusión, introducidos en 2015, se entrenan para eliminar aplicaciones sucesivas de ruido gaussiano en imágenes de entrenamiento, una secuencia de autoencoders de denoising. El nombre de difusión deriva de la difusión termodinámica, ya que la técnica se inspiró en la termodinámica. Los modelos de la serie Stable Diffusion anteriores a SD 3 utilizaban una variante llamada difusión latente, desarrollada en 2021 por el grupo CompVis de la LMU de Múnich.
Stable Diffusion consta de tres partes: un autoencoder variacional (VAE), un U-Net y un codificador de texto opcional. El codificador VAE comprime imágenes del espacio de píxeles a un espacio latente de menor dimensión, capturando el significado semántico fundamental. Se aplica ruido gaussiano de manera iterativa a la representación latente comprimida durante la difusión directa. El U-Net, compuesto por una columna vertebral ResNet, elimina el ruido de la salida hacia atrás para obtener una representación latente. El decodificador VAE genera entonces la imagen final convirtiendo la representación de nuevo al espacio de píxeles.
El paso de denoising puede condicionarse a texto, una imagen u otra modalidad. Los datos de condicionamiento codificados se exponen a los U-Nets de denoising mediante un mecanismo de atención cruzada. Para el condicionamiento por texto, un codificador de texto CLIP ViT-L/14 fijo y preentrenado transforma los prompts en un espacio de incrustaciones. Los investigadores citan una mayor eficiencia computacional como una ventaja de los LDM. Con 860 millones de parámetros en el U-Net y 123 millones en el codificador de texto, Stable Diffusion es relativamente ligero para los estándares de 2022 y puede ejecutarse en GPUs de consumo, o incluso solo con CPU usando la versión OpenVINO.
#### SD XL
La versión XL utiliza la misma arquitectura LDM que las versiones anteriores, pero es más grande, con una columna vertebral U-Net más grande, un contexto de atención cruzada más amplio, dos codificadores de texto en lugar de uno y entrenamiento en múltiples relaciones de aspecto (no solo cuadradas). El SD XL Refiner, lanzado simultáneamente, tiene la misma arquitectura pero se entrenó para añadir detalles finos a imágenes preexistentes mediante img2img condicionado por texto.
#### SD 3.0
La versión 3.0 cambia la columna vertebral por completo, utilizando un Rectified Flow Transformer en lugar de un U-Net, implementando el método de flujo rectificado con un Transformer. La arquitectura, denominada "transformador de difusión multimodal" (MMDiT), tiene tres pistas para la codificación de texto original, la codificación de texto transformada y la codificación de imagen en el espacio latente. Las codificaciones de texto transformado e imagen se mezclan durante cada bloque del transformador. Esto difiere de versiones DiT anteriores donde la codificación de texto afectaba a la codificación de imagen pero no viceversa.
Datos de entrenamiento
Stable Diffusion se entrenó con pares de imágenes y subtítulos de LAION-5B, un conjunto de datos disponible públicamente derivado de datos de Common Crawl. Los 5 mil millones de pares de imagen-texto se filtraron por idioma, resolución, probabilidad de marca de agua prevista y puntuación estética. El conjunto de datos fue creado por LAION, una organización alemana sin fines de lucro que recibe financiación de Stability AI. El modelo se entrenó en tres subconjuntos: laion2B-en, laion-high-resolution y laion-aesthetics v2 5+. Un análisis de terceros encontró que, de un subconjunto más pequeño de 12 millones de imágenes, aproximadamente el 47% provenía de 100 dominios, con Pinterest ocupando el 8,5%, seguido de WordPress, Blogspot, Flickr, DeviantArt y Wikimedia Commons. Una investigación de Bayerischer Rundfunk mostró que los conjuntos de datos de LAION contenían grandes cantidades de datos privados y sensibles.
Procedimientos de entrenamiento
El modelo se entrenó inicialmente en laion2B-en y laion-high-resolution, con rondas finales en LAION-Aesthetics v2 5+, un subconjunto de 600 millones de imágenes subtituladas con una puntuación prevista de al menos 5 sobre 10 en calidad estética. Este subconjunto excluyó imágenes de baja resolución y aquellas con marcas de agua detectadas con una probabilidad superior al 80%. Las rondas finales redujeron un 10% el condicionamiento de texto para mejorar la guía de difusión sin clasificador. El entrenamiento utilizó 256 GPUs Nvidia A100 en Amazon Web Services durante 150.000 horas de GPU, con un costo de 600.000 dólares.
Limitaciones
Stable Diffusion tiene problemas de degradación, especialmente al generar composiciones complejas, manos o texto. Puede exhibir sesgos de los datos de entrenamiento, y su tendencia a replicar estilos artísticos ha planteado preocupaciones de derechos de autor. La naturaleza abierta del modelo también permitió un mal uso para generar desinformación o imágenes no consentidas, lo que provocó debates sobre la moderación de contenido y el despliegue ético.
Lanzamiento y disponibilidad
El lanzamiento público el 22 de agosto de 2022, a través de Stability AI, hizo que el modelo estuviera disponible como pesos abiertos. Esto contrastó con DALL-E y Midjourney, que eran cerrados y solo en la nube. Stable Diffusion podía descargarse y ejecutarse localmente, lo que llevó a una adopción rápida y a una proliferación de versiones ajustadas. Una versión optimizada requería especificaciones de GPU modestas, con tan solo 2,4 GB de VRAM, ampliando el acceso.
Impacto
Stable Diffusion catalizó el compromiso público con el arte de IA, generando comunidades y herramientas. Influyó en el desarrollo de modelos posteriores y contribuyó al auge de la IA. Sus pesos abiertos impulsaron la innovación, pero también plantearon cuestiones legales y éticas sobre la procedencia de los datos y los derechos de autor.
Versiones posteriores
Tras el lanzamiento inicial, Stability AI publicó versiones mejoradas, incluidas SD 2.0, SD XL y SD 3.0. SD XL introdujo mejoras arquitectónicas, mientras que SD 3.0 adoptó una columna vertebral basada en transformadores. Estas versiones continuaron el patrón de lanzamientos públicos, aunque se han observado cambios en las licencias y un enfoque en el uso comercial.
Recepción y controversia
Stable Diffusion recibió elogios por sus logros técnicos y accesibilidad, pero también enfrentó críticas por problemas en los datos de entrenamiento, sesgos y posible mal uso. Surgieron desafíos legales de artistas y agencias de fotos de stock, cuestionando la legalidad de entrenar con imágenes extraídas. Estas controversias dieron forma a los debates en curso sobre políticas de IA generativa.