Em agosto de 2022, a Stability AI lançou publicamente o Stable Diffusion, um modelo de aprendizado profundo de texto para imagem baseado em técnicas de difusão. É o principal produto da Stability AI e é considerado uma parte fundamental do contínuo boom de IA. O Stable Diffusion gera principalmente imagens detalhadas a partir de descrições textuais, mas também suporta tarefas como inpaint, outpainting e tradução de imagem para imagem guiada por um prompt. Seu código e pesos de modelo foram liberados publicamente, permitindo que versões rodassem na maioria dos hardwares de consumo com apenas 2,4 GB de VRAM - uma diferença em relação a modelos proprietários como DALL-E e Midjourney, que eram acessíveis apenas por meio de serviços em nuvem.
O desenvolvimento envolveu pesquisadores do Grupo CompVis da LMU Munique e da Runway, com uma doação computacional da Stability AI e dados de treinamento de organizações sem fins lucrativos. O modelo é um modelo de difusão latente (LDM), um tipo de rede neural artificial generativa profunda. Sua arquitetura, procedimentos de treinamento e impacto cultural foram amplamente estudados.
Desenvolvimento
O Stable Diffusion originou-se de um projeto chamado difusão latente, desenvolvido na Alemanha por pesquisadores da LMU Munique e da Universidade de Heidelberg. Quatro dos cinco autores originais - Robin Rombach, Andreas Blattmann, Patrick Esser e Dominik Lorenz - posteriormente se juntaram à Stability AI e lançaram versões subsequentes. A licença técnica do modelo foi liberada pelo grupo CompVis da LMU Munique. O desenvolvimento foi liderado por Patrick Esser da Runway e Robin Rombach da CompVis, que estavam entre os pesquisadores que haviam inventado anteriormente a arquitetura de modelo de difusão latente usada pelo Stable Diffusion. A Stability AI também creditou a EleutherAI e a LAION, uma organização alemã sem fins lucrativos que montou o conjunto de dados no qual o Stable Diffusion foi treinado, como apoiadores.
Tecnologia
Arquitetura
Modelos de difusão, introduzidos em 2015, são treinados para remover aplicações sucessivas de ruído gaussiano em imagens de treinamento, uma sequência de autoencoders de denoising. O nome difusão deriva da difusão termodinâmica, pois a técnica foi inspirada na termodinâmica. Modelos da série Stable Diffusion anteriores ao SD 3 usavam uma variante chamada difusão latente, desenvolvida em 2021 pelo grupo CompVis da LMU Munique.
O Stable Diffusion consiste em três partes: um autoencoder variacional (VAE), um U-Net e um codificador de texto opcional. O codificador VAE comprime imagens do espaço de pixels para um espaço latente de dimensões menores, capturando o significado semântico fundamental. Ruído gaussiano é aplicado iterativamente à representação latente comprimida durante a difusão direta. O U-Net, composto por uma espinha dorsal ResNet, remove o ruído da saída para trás para obter uma representação latente. O decodificador VAE então gera a imagem final convertendo a representação de volta ao espaço de pixels.
A etapa de denoising pode ser condicionada a texto, uma imagem ou outra modalidade. Dados de condicionamento codificados são expostos aos U-Nets de denoising por meio de um mecanismo de atenção cruzada. Para condicionamento por texto, um codificador de texto CLIP ViT-L/14 fixo e pré-treinado transforma prompts em um espaço de incorporação. Pesquisadores citam o aumento da eficiência computacional como uma vantagem dos LDMs. Com 860 milhões de parâmetros no U-Net e 123 milhões no codificador de texto, o Stable Diffusion é relativamente leve para os padrões de 2022 e pode rodar em GPUs de consumo, ou até mesmo apenas com CPU usando a versão OpenVINO.
#### SD XL
A versão XL usa a mesma arquitetura LDM das versões anteriores, mas é maior, com uma espinha dorsal U-Net maior, contexto de atenção cruzada maior, dois codificadores de texto em vez de um e treinamento em múltiplas proporções de aspecto (não apenas quadradas). O SD XL Refiner, lançado simultaneamente, tem a mesma arquitetura, mas foi treinado para adicionar detalhes finos a imagens preexistentes por meio de img2img condicionado por texto.
#### SD 3.0
A versão 3.0 muda completamente a espinha dorsal, usando um Rectified Flow Transformer em vez de um U-Net, implementando o método de fluxo retificado com um Transformer. A arquitetura, chamada de "transformador de difusão multimodal" (MMDiT), tem três trilhas para codificação de texto original, codificação de texto transformada e codificação de imagem no espaço latente. As codificações de texto transformado e imagem são misturadas durante cada bloco do transformador. Isso difere das versões anteriores do DiT, onde a codificação de texto afetava a codificação de imagem, mas não vice-versa.
Dados de Treinamento
O Stable Diffusion foi treinado em pares de imagens e legendas do LAION-5B, um conjunto de dados publicamente disponível derivado dos dados do Common Crawl. Os 5 bilhões de pares de imagem-texto foram filtrados por idioma, resolução, probabilidade prevista de marca d'água e pontuação estética. O conjunto de dados foi criado pela LAION, uma organização alemã sem fins lucrativos que recebe financiamento da Stability AI. O modelo foi treinado em três subconjuntos: laion2B-en, laion-high-resolution e laion-aesthetics v2 5+. Uma análise de terceiros descobriu que, de um subconjunto menor de 12 milhões de imagens, aproximadamente 47% vieram de 100 domínios, com o Pinterest ocupando 8,5%, seguido por WordPress, Blogspot, Flickr, DeviantArt e Wikimedia Commons. Uma investigação da Bayerischer Rundfunk mostrou que os conjuntos de dados da LAION continham grandes quantidades de dados privados e sensíveis.
Procedimentos de Treinamento
O modelo foi inicialmente treinado em laion2B-en e laion-high-resolution, com rodadas finais no LAION-Aesthetics v2 5+, um subconjunto de 600 milhões de imagens legendadas previstas para pontuar pelo menos 5 de 10 em qualidade estética. Este subconjunto excluiu imagens de baixa resolução e aquelas com marcas d'água detectadas com probabilidade acima de 80%. As rodadas finais reduziram 10% do condicionamento de texto para melhorar a orientação de difusão livre de classificador. O treinamento usou 256 GPUs Nvidia A100 na Amazon Web Services por 150.000 horas de GPU, custando US$ 600.000.
Limitações
O Stable Diffusion tem problemas de degradação, especialmente ao gerar composições complexas, mãos ou texto. Pode exibir vieses dos dados de treinamento, e sua tendência a replicar estilos artísticos levantou preocupações de direitos autorais. A natureza aberta do modelo também permitiu uso indevido para gerar desinformação ou imagens não consensuais, provocando discussões sobre moderação de conteúdo e implantação ética.
Lançamento e Disponibilidade
O lançamento público em 22 de agosto de 2022, por meio da Stability AI, tornou o modelo disponível com pesos abertos. Isso contrastou com DALL-E e Midjourney, que eram fechados e apenas em nuvem. O Stable Diffusion podia ser baixado e executado localmente, levando a uma adoção rápida e a uma proliferação de versões ajustadas. Uma versão otimizada exigia especificações modestas de GPU, com apenas 2,4 GB de VRAM, ampliando o acesso.
Impacto
O Stable Diffusion catalisou o engajamento público com arte de IA, gerando comunidades e ferramentas. Influenciou o desenvolvimento de modelos subsequentes e contribuiu para o boom de IA. Seus pesos abertos estimularam a inovação, mas também levantaram questões legais e éticas sobre proveniência de dados e direitos autorais.
Versões Subsequentes
Após o lançamento inicial, a Stability AI lançou versões melhoradas, incluindo SD 2.0, SD XL e SD 3.0. O SD XL introduziu melhorias arquitetônicas, enquanto o SD 3.0 adotou uma espinha dorsal baseada em transformador. Essas versões continuaram o padrão de lançamentos públicos, embora mudanças no licenciamento e o foco no uso comercial tenham sido notadas.
Recepção e Controvérsia
O Stable Diffusion recebeu elogios por suas conquistas técnicas e acessibilidade, mas também enfrentou críticas sobre questões de dados de treinamento, viés e potencial uso indevido. Desafios legais de artistas e agências de fotos de banco de imagens surgiram, questionando a legalidade do treinamento em imagens coletadas. Essas controvérsias moldaram debates contínuos na política de IA generativa.