Modelos de Difusão Denoising Probabilísticos (DDPMs) são uma classe de modelos generativos em aprendizado de máquina que geram dados aprendendo a reverter um processo gradual de adição de ruído. Eles pertencem à família mais ampla de modelos de difusão, que modelam dados como passando por um passeio aleatório com deriva através de um espaço de alta dimensão. Os DDPMs foram introduzidos em um artigo de 2020 que melhorou abordagens anteriores baseadas em difusão usando inferência variacional, e se tornaram uma base para muitos sistemas modernos de geração de imagens.
Em um DDPM, o processo direto adiciona ruído gaussiano a uma imagem ao longo de uma sequência de passos de tempo, transformando-a gradualmente em ruído puro. O modelo é treinado para reverter esse processo, começando de ruído aleatório e removendo o ruído iterativamente para produzir uma imagem realista. Essa abordagem se mostrou altamente eficaz para tarefas como geração de imagens, preenchimento de lacunas e super-resolução, e sustenta sistemas comerciais como Stable Diffusion e DALL-E.
Mecanismo Central
A estrutura do DDPM define um processo de difusão direto com um cronograma fixo de níveis de ruído. Para uma determinada imagem, o ruído é adicionado em cada passo de tempo de acordo com um cronograma de variância, produzindo uma sequência de versões cada vez mais ruidosas. O processo reverso é aprendido por uma rede neural, tipicamente uma U-Net ou um transformador, que prevê o componente de ruído em cada passo. O treinamento minimiza um erro quadrático médio simples entre o ruído previsto e o real, o que é equivalente a uma forma de inferência variacional.
Matematicamente, o processo direto usa constantes \(\beta_1, \dots, \beta_T\) em (0,1), com \(\alpha_t = 1 - \beta_t\) e \(\bar{\alpha}_t = \prod_{s=1}^t \alpha_s\). A imagem ruidosa no passo de tempo \(t\) é uma combinação linear da imagem original e do ruído gaussiano, com variância \(\sigma_t^2 = 1 - \bar{\alpha}_t\). O processo reverso é parametrizado por uma rede neural que produz a média da distribuição de remoção de ruído.
Treinamento e Amostragem
Treinar um DDPM envolve amostrar um passo de tempo aleatório, adicionar o ruído correspondente a uma imagem e treinar a rede para prever esse ruído. A função de perda é \(\mathbb{E}_{t, \mathbf{x}_0, \epsilon}[\|\epsilon - \epsilon_\theta(\mathbf{x}_t, t)\|^2]\), onde \(\epsilon\) é o ruído e \(\epsilon_\theta\) é a previsão da rede. Esse objetivo é derivado de um limite variacional na log-verossimilhança.
No momento da amostragem, o modelo começa com ruído gaussiano puro e aplica o processo reverso iterativamente por \(T\) passos, removendo uma porção do ruído a cada vez. O número de passos pode ser reduzido usando técnicas como modelos de difusão implícita de remoção de ruído (DDIM) ou aprendendo um cronograma de ruído, permitindo geração mais rápida.
Contexto Histórico
Os modelos de difusão foram propostos pela primeira vez em 2015 por pesquisadores incluindo Jascha Sohl-Dickstein e colegas, usando princípios da termodinâmica de não equilíbrio. Eles mostraram que uma distribuição de dados complexa poderia ser gradualmente difundida em uma distribuição gaussiana simples, e que aprender a reverter esse processo poderia gerar novas amostras. No entanto, os métodos iniciais eram computacionalmente caros e menos eficazes do que os GANs na época.
O artigo de 2020 sobre DDPM, de autoria de Jonathan Ho, Ajay Jain e Pieter Abbeel, demonstrou que com um cronograma de ruído cuidadosamente escolhido e uma espinha dorsal U-Net, os modelos de difusão poderiam alcançar qualidade de geração de imagens de ponta. Isso desencadeou uma rápida expansão da pesquisa e das aplicações.
Aplicações e Impacto
Em 2024, os DDPMs e suas variantes são amplamente usados em visão computacional para tarefas como remoção de ruído de imagens, preenchimento de lacunas, super-resolução e geração de texto para imagem. Eles também são aplicados em processamento de linguagem natural para geração e sumarização de texto, e em geração de áudio. Produtos comerciais como Stable Diffusion e DALL-E combinam DDPMs com codificadores de texto e módulos de atenção cruzada para permitir geração condicionada por texto, tornando-os acessíveis a um público amplo.
Os DDPMs também influenciaram outros campos, incluindo aprendizado por reforço e simulação científica, onde são usados para modelar distribuições complexas. Sua capacidade de gerar amostras de alta qualidade os tornou uma pedra angular da pesquisa moderna em inteligência artificial.
Limitações e Direções Futuras
Apesar do sucesso, os DDPMs têm limitações. A amostragem é tipicamente mais lenta do que a dos GANs devido ao processo iterativo de remoção de ruído, embora métodos acelerados tenham sido desenvolvidos. Eles também exigem recursos computacionais substanciais para treinamento, o que impulsionou o interesse em arquiteturas eficientes e hardware como AWS Trainium e Google Cloud TPUs. A pesquisa em andamento foca em melhorar a qualidade das amostras, reduzir o tempo de inferência e estender os DDPMs a novas modalidades.
Em 2025, os modelos de difusão permanecem uma área ativa de estudo, com inovações em arquiteturas de espinha dorsal, cronogramas de ruído e mecanismos de condicionamento continuando a expandir os limites do que é possível na modelagem generativa.