Um modelo de difusão é um modelo generativo que aprende a criar dados, mais comumente imagens, vídeo ou áudio, revertendo um processo gradual de ruído: ele é treinado para remover progressivamente o ruído de uma amostra corrompida e, uma vez treinado, pode gerar novos dados começando de ruído aleatório puro e removendo iterativamente o ruído até obter uma saída coerente. Os modelos de difusão são a tecnologia por trás da maioria dos principais sistemas de texto para imagem e texto para vídeo em meados da década de 2020, tendo deslocado os modelos generativos adversariais como a abordagem dominante para síntese de imagens de alta fidelidade.
História
A base teórica foi estabelecida em um artigo de 2015 por Jascha Sohl-Dickstein e colegas, que traçou uma analogia com a termodinâmica do não equilíbrio para descrever um processo de destruição gradual da estrutura nos dados com ruído e, em seguida, o aprendizado para revertê-lo. A abordagem permaneceu uma curiosidade de pesquisa até Jonathan Ho, Ajay Jain e Pieter Abbeel publicarem Denoising Diffusion Probabilistic Models, ou DDPM, em 2020, mostrando que um objetivo de treinamento relativamente simples poderia produzir qualidade de imagem competitiva com os GANs. A técnica atingiu a atenção mainstream por meio do DALL-E 2 da OpenAI em abril de 2022 e se tornou amplamente acessível alguns meses depois com o lançamento de código aberto do Stable Diffusion em agosto de 2022, construído sobre difusão latente, uma técnica de 2022 introduzida por Robin Rombach e colegas que executava o processo de remoção de ruído em um espaço latente comprimido, em vez de diretamente sobre pixels brutos, reduzindo drasticamente o poder computacional necessário para treinar e executar modelos de difusão.
Como funciona
O treinamento de um modelo de difusão envolve um processo direto que adiciona pequenas quantidades de ruído gaussiano a uma amostra de dados real ao longo de muitas etapas até que ela se torne indistinguível de ruído puro, e uma rede neural, tipicamente uma U-Net ou, cada vez mais, uma arquitetura baseada em transformadores, treinada para prever e remover o ruído adicionado em cada etapa, aprendendo efetivamente o processo reverso. A geração executa esse processo reverso do zero: começando com ruído aleatório, o modelo repetidamente prevê e subtrai ruído ao longo de várias etapas, revelando gradualmente uma imagem ou vídeo coerente. Mecanismos de condicionamento, mais comumente codificando um texto e alimentando-o na rede de remoção de ruído por meio de atenção cruzada, permitem que os usuários orientem o que o modelo gera, e técnicas como orientação sem classificador fortalecem o quão próximo a saída segue esse sinal de condicionamento.
Aplicações e ecossistema
Os modelos de difusão alimentam praticamente todos os principais geradores de imagem em uso generalizado, incluindo Stable Diffusion, DALL-E, Midjourney e Flux, e sustentam geradores de vídeo líderes como Sora, Veo do Google e sistemas chineses como Kling e Seedance. Extensões como ControlNet, introduzidas em 2023, adicionam condicionamento estrutural, permitindo que os usuários orientem a geração com esboços, poses ou mapas de profundidade, enquanto ecossistemas construídos em torno de checkpoints de código aberto suportam personalização extensiva por meio de técnicas como adaptadores LoRA treinados pela comunidade. Técnicas de difusão também foram aplicadas além da geração de mídia, incluindo previsão de estrutura de proteínas e design de moléculas, e pesquisadores exploraram abordagens baseadas em difusão para geração de texto como uma alternativa à abordagem autoregressiva token por token usada pela maioria dos grandes modelos de linguagem, embora a geração autoregressiva continue dominante para texto em 2025.
Limitações
Comparados aos GANs, os modelos de difusão são computacionalmente caros no momento da inferência porque gerar uma única amostra pode exigir dezenas ou centenas de etapas sequenciais de remoção de ruído, embora técnicas como destilação em modelos de poucas etapas e amostradores aprimorados tenham reduzido substancialmente esse custo desde 2022. Modelos de difusão treinados em grandes conjuntos de dados não curados, coletados da web, também enfrentaram disputas de direitos autorais de IA sobre se gerar imagens no estilo de, ou semelhantes a, artistas nos dados de treinamento constitui violação, e atraíram escrutínio por sua capacidade de reproduzir imagens memorizadas do treinamento verbatim sob certas condições.