Stable Diffusion 2.0 é um modelo de aprendizado profundo, texto-para-imagem, lançado em 2022 pela Stability AI, baseado em técnicas de difusão. Ele faz parte do contínuo boom de IA na IA generativa e é usado principalmente para gerar imagens detalhadas condicionadas a descrições de texto, embora também possa lidar com tarefas como inpaintagem, extrapolação e traduções imagem-para-imagem guiadas por um prompt de texto. O modelo é um modelo de difusão latente, um tipo de rede neural artificial generativa profunda, e seu código e pesos de modelo foram liberados publicamente, permitindo que ele seja executado na maioria dos hardwares de consumo com uma GPU modesta de apenas 2,4 GB de VRAM. Isso marcou uma mudança em relação aos modelos proprietários anteriores de texto-para-imagem, como DALL-E e Midjourney, que eram acessíveis apenas por meio de serviços em nuvem.
O desenvolvimento do Stable Diffusion envolveu pesquisadores do CompVis Group da LMU Munique e da Runway, com uma doação computacional da Stability AI e dados de treinamento de organizações sem fins lucrativos. O modelo representa um passo significativo em tornar a IA generativa avançada acessível a um público mais amplo, pois pode ser executado localmente, em vez de exigir acesso baseado em nuvem.
Histórico de Desenvolvimento
O Stable Diffusion originou-se de um projeto chamado difusão latente, desenvolvido na Alemanha por pesquisadores da LMU Munique e da Universidade de Heidelberg. Quatro dos cinco autores originais - Robin Rombach, Andreas Blattmann, Patrick Esser e Dominik Lorenz - posteriormente se juntaram à Stability AI e lançaram versões subsequentes do modelo. A licença técnica do modelo foi liberada pelo grupo CompVis da LMU Munique. O desenvolvimento foi liderado por Patrick Esser, da Runway, e Robin Rombach, da CompVis, que estavam entre os pesquisadores que haviam inventado anteriormente a arquitetura de modelo de difusão latente usada pelo Stable Diffusion. A Stability AI também creditou a EleutherAI e a LAION, uma organização sem fins lucrativos alemã que montou o conjunto de dados no qual o modelo foi treinado, como apoiadores do projeto.
O lançamento do Stable Diffusion 2.0 seguiu o lançamento público inicial do Stable Diffusion em agosto de 2022, que já havia atraído atenção significativa por sua capacidade de gerar imagens de alta qualidade a partir de prompts de texto. A versão 2.0 introduziu várias melhorias e refinamentos na arquitetura e no processo de treinamento.
Tecnologia
Arquitetura
Modelos de difusão, introduzidos em 2015, são treinados com o objetivo de remover aplicações sucessivas de ruído gaussiano em imagens de treinamento, o que pode ser pensado como uma sequência de autoencoders de denoising. O nome "difusão" vem da difusão termodinâmica, pois os modelos foram desenvolvidos pela primeira vez com inspiração na termodinâmica. Os modelos da série Stable Diffusion antes do SD 3 usavam todos uma variante dos modelos de difusão chamada modelo de difusão latente (LDM), desenvolvido em 2021 pelo grupo CompVis da LMU Munique.
O Stable Diffusion consiste em três partes: o autoencoder variacional (VAE), um U-Net e um codificador de texto opcional. O codificador VAE comprime a imagem do espaço de pixels para um espaço latente de dimensões menores, capturando um significado semântico mais fundamental da imagem. Ruído gaussiano é aplicado iterativamente à representação latente comprimida durante a difusão direta. O bloco U-Net, composto por um backbone ResNet, remove o ruído da saída da difusão direta de forma reversa para obter uma representação latente. Finalmente, o decodificador VAE gera a imagem final convertendo a representação de volta ao espaço de pixels.
A etapa de denoising pode ser condicionada de forma flexível a uma string de texto, uma imagem ou outra modalidade. Os dados de condicionamento codificados são expostos aos U-Nets de denoising por meio de um mecanismo de atenção cruzada. Para condicionamento em texto, o codificador de texto fixo e pré-treinado CLIP ViT-L/14 é usado para transformar prompts de texto em um espaço de embeddings. Pesquisadores apontam o aumento da eficiência computacional para treinamento e geração como uma vantagem dos LDMs.
Com 860 milhões de parâmetros no U-Net e 123 milhões no codificador de texto, o Stable Diffusion é considerado relativamente leve para os padrões de 2022. Ao contrário de outros modelos de difusão, ele pode ser executado em GPUs de consumo e até mesmo apenas com CPU, se for usada a versão OpenVINO do Stable Diffusion.
Dados de Treinamento
O Stable Diffusion foi treinado em pares de imagens e legendas retirados do LAION-5B, um conjunto de dados publicamente disponível derivado de dados do Common Crawl extraídos da web. O conjunto de dados contém 5 bilhões de pares de imagem-texto que foram classificados por idioma e filtrados em conjuntos de dados separados por resolução, uma probabilidade prevista de conter marca d'água e uma pontuação "estética" prevista (por exemplo, qualidade visual subjetiva). O conjunto de dados foi criado pela LAION, uma organização sem fins lucrativos alemã que recebe financiamento da Stability AI.
O modelo Stable Diffusion foi treinado em três subconjuntos do LAION-5B: laion2B-en, laion-high-resolution e laion-aesthetics v2 5+. Uma análise de terceiros dos dados de treinamento do modelo identificou que, de um subconjunto menor de 12 milhões de imagens retiradas do conjunto de dados mais amplo original usado, aproximadamente 47% da amostra de imagens veio de 100 domínios diferentes, com o Pinterest ocupando 8,5% do subconjunto, seguido por sites como WordPress, Blogspot, Flickr, DeviantArt e Wikimedia Commons. Uma investigação da Bayerischer Rundfunk mostrou que os conjuntos de dados da LAION, hospedados no Hugging Face, contêm grandes quantidades de dados privados e sensíveis.
Procedimentos de Treinamento
O modelo foi inicialmente treinado nos subconjuntos laion2B-en e laion-high-resolution, com as últimas rodadas de treinamento feitas no LAION-Aesthetics v2 5+, um subconjunto de 600 milhões de imagens legendadas que o LAION-Aesthetics Predictor V2 previu que os humanos, em média, dariam uma pontuação de pelo menos 5 em 10 quando solicitados a avaliar o quanto gostavam delas. O subconjunto LAION-Aesthetics v2 5+ também excluiu imagens de baixa resolução e imagens que o LAION-5B-WatermarkDetection identificou como portadoras de marca d'água com probabilidade superior a 80%. As rodadas finais de treinamento também descartaram 10% do condicionamento de texto para melhorar a Orientação de Difusão Livre de Classificador.
O modelo foi treinado usando 256 GPUs Nvidia A100 na Amazon Web Services por um total de 150.000 horas de GPU, a um custo de US$ 600.000.
Melhorias na Versão 2.0
O Stable Diffusion 2.0 introduziu várias melhorias importantes em relação ao lançamento original. O modelo incorporou um novo codificador de texto, usando um modelo CLIP maior que melhorou o alinhamento entre prompts de texto e imagens geradas. Os dados de treinamento também foram refinados, com maior ênfase em imagens de alta resolução e esteticamente agradáveis, o que ajudou a reduzir a ocorrência de artefatos e melhorar a qualidade geral da imagem.
Além disso, a versão 2.0 incluiu melhor suporte para proporções de aspecto não quadradas, permitindo que os usuários gerem imagens em uma variedade maior de formatos. O modelo também mostrou desempenho aprimorado em tarefas como inpaintagem e extrapolação, onde partes de uma imagem são preenchidas ou estendidas com base no contexto circundante.
Limitações
O Stable Diffusion tem problemas com degradação e artefatos em certos cenários. O modelo pode ter dificuldade em gerar representações precisas de cenas complexas, particularmente aquelas que envolvem múltiplos objetos ou detalhes intrincados. Ele também pode produzir conteúdo tendencioso ou inadequado, refletindo vieses presentes nos dados de treinamento. A dependência do modelo no codificador de texto CLIP significa que sua compreensão da linguagem é limitada ao que o CLIP aprendeu, o que pode levar a interpretações incorretas de certos prompts.
Além disso, os dados de treinamento, originários da web, contêm uma ampla gama de conteúdos, alguns dos quais podem ser privados ou sensíveis. Isso levantou preocupações sobre privacidade e as implicações éticas do uso de tais dados para treinar modelos generativos. O custo computacional do treinamento, embora menor do que algumas alternativas, ainda requer recursos significativos, e o desempenho do modelo pode variar dependendo do hardware usado para inferência.
Impacto e Recepção
O lançamento do Stable Diffusion 2.0 fez parte do lançamento público mais amplo do Stable Diffusion que contribuiu para o boom da IA generativa. A natureza de código aberto do modelo e sua capacidade de ser executado em hardware de consumo o tornaram amplamente acessível, estimulando uma onda de aplicações criativas e comerciais. Ele também influenciou desenvolvimentos subsequentes no campo, incluindo o lançamento de outros modelos de código aberto e a integração de técnicas baseadas em difusão em vários produtos.
A acessibilidade do modelo também levantou discussões sobre direitos autorais, propriedade artística e o potencial de uso indevido, levando a debates contínuos sobre a regulamentação das tecnologias de IA generativa. Apesar desses desafios, o Stable Diffusion 2.0 permanece um marco significativo na evolução da geração de texto-para-imagem, demonstrando a viabilidade de modelos generativos de alta qualidade que não estão confinados a serviços em nuvem.