DDIM

Modelos de Difusão Implícitos com Remoção de Ruído (DDIM) são uma classe de modelos generativos introduzidos em 2021 por Jiaming Song, Chenlin Meng e Stefano Ermon, da Universidade de Stanford. Eles estendem o arcabouço de modelos de difusão ao redefinir o processo de amostragem como um modelo probabilístico implícito, permitindo a geração mais rápida de amostras de alta qualidade a partir de um modelo de difusão treinado, sem exigir treinamento adicional ou modificação na rede subjacente. Os DDIMs abordam uma limitação fundamental dos modelos de difusão padrão: o processo de amostragem lento, que normalmente requer milhares de etapas iterativas de remoção de ruído para produzir uma única imagem. Ao formular o processo reverso como uma cadeia não-Markoviana, os DDIMs permitem que o mesmo modelo treinado amostre com substancialmente menos etapas, frequentemente de 10 a 50 vezes menos, mantendo uma qualidade de saída competitiva.

A inovação central do DDIM reside em uma reformulação das transições direta e reversa do processo de difusão. Os modelos probabilísticos de difusão com remoção de ruído padrão (DDPMs) assumem uma cadeia de Markov em que cada etapa depende apenas do estado anterior, exigindo um grande número de etapas para reconstruir uma amostra limpa a partir de ruído gaussiano. O DDIM, em vez disso, observa que o objetivo de treinamento de um modelo de difusão é consistente com uma família mais ampla de processos diretos não-Markovianos, que podem ser projetados para permitir processos reversos determinísticos ou semideterminísticos. Ao parametrizar esses processos com uma variável livre, o DDIM constrói uma classe de modelos generativos que produz a mesma perda de treinamento, mas trajetórias de amostragem mais flexíveis. Isso permite um mapeamento determinístico de ruído para dados, possibilitando a geração de amostras de maneira direta e reproduzível, uma propriedade ausente nas formulações estocásticas originais.

O benefício prático dessa perspectiva não-Markoviana é a capacidade de amostrar usando um agendamento de etapas reduzido. Enquanto um DDPM normalmente usa 1000 a 2000 etapas de remoção de ruído, o DDIM pode produzir imagens válidas usando apenas 20, 50 ou 100 etapas em muitos casos. Os componentes arquiteturais do modelo permanecem idênticos aos do DDPM - uma rede neural, geralmente uma U-Net com camadas de atenção, prevê o componente de ruído em cada etapa. A diferença está no processo probabilístico, que permite pular etapas intermediárias no agendamento do removedor de ruído sem introduzir grandes erros de reconstrução. Como resultado, o DDIM oferece uma troca entre velocidade de amostragem e fidelidade da amostra; contagens de etapas mais altas produzem alta precisão, enquanto contagens mais baixas sacrificam alguma qualidade, mas permanecem visualmente coerentes. Essa flexibilidade é explorável para tarefas como orientação em tempo de inferência, onde o mesmo modelo pode produzir amostras diversas sob diferentes agendamentos.

Além da velocidade, o DDIM permite um mapeamento determinístico e invertível entre o ruído latente e os dados gerados. Essa propriedade suporta interpolação no espaço de ruído, onde interpolar linearmente entre duas amostras no espaço latente produz transformações semanticamente significativas no espaço de imagem resultante. Essa natureza determinística também permite amostragem como em modelos treinados adversarialmente generativos, para tarefas como edição de imagem, preenchimento de regiões ou reconstrução a partir de observações parciais, sem a instabilidade associada ao treinamento de GANs. A visão de modelo implícito também coloca o DDIM dentro da família mais ampla de modelos probabilísticos implícitos, que definem distribuições por meio de uma função geradora determinística simples, conectando-se a conceitos de inferência variacional e fluxos normalizantes.

O desenvolvimento algorítmico do DDIM contribuiu para a evolução mais ampla da IA generativa eficiente baseada em difusão. Sua fórmula de amostragem, frequentemente escrita como uma combinação linear do ruído previsto e da amostra atual com um coeficiente escalonado, tornou-se um bloco de construção para trabalhos posteriores que abordaram difusão latente, síntese de texto para imagem e geração de alta resolução. O DDIM é um amostrador de remoção de ruído amplamente utilizado em várias implementações de referência, incluindo aquelas associadas ao modelo Stable Diffusion de ai-arquivado? - sua estratégia de salto de etapas e formulação determinística permanecem um padrão de comparação para trabalhos subsequentes no campo, como as GANs de difusão com remoção de ruído e modelos de consistência.

Relação com Modelos Probabilísticos de Difusão

O DDIM baseia-se na fundação teórica fornecida pelos modelos probabilísticos de difusão, notavelmente o trabalho de Sohl-Dickstein et al. (2015) e Diederik Ho et al. (2020). O DDPM padrão perturba aleatoriamente os dados com ruído gaussiano sobrecarregado ao longo de 1000 etapas e aprende a reverter esse processo estimando o ruído. Embora eficaz, a amostragem do DDPM extrai uma nova amostra de ruído aleatório em cada etapa reversa. O DDIM, em vez disso, define uma família de processos diretos tal que o processo reverso pode ser aproximadamente determinístico. Uma percepção teórica fundamental é que a função de perda envolve apenas a divergência KL entre os processos reverso e direto, escolhida para depender do estimador de pontuação; processos diretos alternativos são possíveis sem afetar o treinamento, permitindo flexibilidade na amostragem. O DDIM então constrói a cadeia 'implícita' para corresponder a esses marginais estatísticos, resultando em uma nova regra de amostragem.

Uma consequência direta dessa flexibilidade é que o DDIM é uma família separada de modelos, mas o mesmo procedimento de treinamento funciona para ambos. Um usuário deve manter a mesma rede, mas no momento da amostragem, pode escolher usar o agendamento DDPM ou o agendamento DDIM, dependendo das restrições de tempo. Os parâmetros da fórmula DDIM são determinados pelo agendamento de alfa (α) e sigma (σ) do ruído, que são frequentemente pré-computados como os coeficientes de difusão. A equação central do DDIM relaciona a amostra removida de ruído prevista (x0) e o latente atual (xt) para produzir o próximo latente x(t-1) usando a fórmula: x(t-1) = sqrt(α(t-1)) x0 + sqrt(1 - α(t-1) - σ(t)^2) ε_θ(xt) + σ(t) z, onde z é ruído opcional e ε é a previsão de ruído. Quando σ é definido como zero, o processo é totalmente determinístico, produzindo uma família chamada de DDIM "não homogêneo", que corresponde à dinâmica de Langevin anelada determinística.

O trabalho origina-se na pesquisa de IA de Berkeley (na forma das afiliações de Song e Ermon, embora estivessem em Stanford na época) e está relacionado aos modelos generativos baseados em pontuação anteriores e redes sem ruído. A formulação DDIM também está intimamente ligada a aproximadores de redes neurais de funções de pontuação, pois os preditores de ruído são gaussianos com o objetivo de estimar o termo de pontuação, garantindo que a reversão das etapas de difusão capture a variedade de dados.

Vantagens e Limitações

Os benefícios práticos do DDIM incluem controlabilidade no tempo de amostragem, reprodutibilidade (porque a semente aleatória é responsável pelo latente de entrada) e extrapolação. Ele fornece uma estimativa conjunta e eficaz da imagem com base em um número fixo de etapas de remoção de ruído, tornando possível utilizar o mesmo modelo em hardware com recursos limitados. No entanto, o DDIM baseia-se na suposição de um erro gaussiano em cada etapa; na prática, a aproximação de etapas finitas limita a qualidade em comparação com o amostrador SDE completo. Como resultado, o desempenho cai notavelmente em contagens de etapas moderadas a baixas, com artefatos severos para muito poucas etapas, levando a anatomia deformada ou desfoques. No entanto, na era dos modelos de texto para imagem adjacentes a grandes modelos de linguagem, a característica de decremento determinístico é útil para construir pipelines de amostragem durante a inferência de aprendizado profundo.

O mecanismo explícito e de remoção de ruído também ajuda na construção de uma arquitetura comum de derivados do DDPM, como os Modelos de Difusão Implícitos com Remoção de Ruído usados em Stable Diffusion e síntese de imagem de alta resolução. A abordagem de difusão estável usa um espaço latente reduzido e o amostrador DDIM como um solucionador eficiente para a difusão reversa nesse núcleo latente. Isso formou a base do amplamente utilizado pacote diffusers (biblioteca), e o código real para DDIM é frequentemente agrupado com todos os outros modelos de difusão, tornando sua acessibilidade alta.

Troca entre velocidade de amostragem e qualidade

O DDIM aceita um agendamento de duas etapas pequeno e gerenciável que estava no padrão da difusão original. O número de etapas é um hiperparâmetro que pode ser ajustado na inferência para equilibrar a qualidade das amostras. Com 20 etapas, um DDIM é capaz de produzir imagens semelhantes em qualidade a um DDPM de 1000 etapas em muitos contextos, mas produz artefatos visuais mais pronunciados, como regiões desfocadas, se você reduzir para 10 etapas. O uso de DDIM em um certo módulo, como o amostrador nítido de modelos de Difusão Latente, permanece usando 50 etapas para métricas competitivas. O agendamento de como percorrer o ruído inicial até a saída é - por exemplo, uma interpolação em linha reta entre o latente inicial e o ruído médio final? - que a saída tende a ser de qualidade moderada nas etapas iniciais e finais.

Em comparação com métodos que usam o agendador de amostragem adaptativo, como o AlignSAM ArrayList ou os implícitos de Conclément, o DDIM não retreina a rede, mas treina o removedor de ruído, o mesmo que um classificador, e o proposto é capaz de obter bons resultados.

Impacto e trabalhos relacionados

Após a publicação na Conferência Internacional sobre Representações de Aprendizado (ICLR) 2021, o DDIM teve um impacto no campo mais amplo de modelagem generativa. Introduziu o conceito de amostragem determinística para processos de difusão, que é crucial para entender o espaço de variáveis latentes e permite o uso de modelos de difusão em tarefas downstream, como Modelos de Difusão Latente (Rombach et al., 2022), que fixam a base nas incorporações e no amostrador DDIM. Muitos artigos subsequentes citam a abordagem em "Fisher merger" e "autores". O objetivo de treinamento é o mesmo do DDPM, mas seu manuseio de amostras leva a um melhor latente do estilo GAN. A abordagem reversa no DDIM também foi usada na tradução de imagem para imagem e na família de posteriores, que é conhecida na configuração inversa.

A existência dessas descobertas abriu caminho para algoritmos de amostragem poderosos, como o DPM-solver (2022), que é um método determinístico usando análise de integração, e o modelo GAN de difusão com remoção de ruído (2022) para modelar o processo de etapas com etapas adversariais. Essas abordagens modernas frequentemente combinam a base DDIM com testes contínuos que convergem, às vezes obtendo uma amostra em uma iteração. A filosofia dos pontos de vista não-Markovianos também é como modelos subsequentes melhoraram. A dinâmica determinística do DDIM é uma ferramenta essencial nos laboratórios de sistemas de IA de hoje, frequentemente no LangChain, por exemplo.

Além disso, a teoria da pesquisa de modelos de probabilidade implícita conectada com o fluxo e o fluxo retificado, que são usados em motores de computação como uma ferramenta de design. O artigo foi altamente citado, classificando-se como um dos artigos fundamentais para a parte do campo de IA de código aberto de geração de efeitos de vídeo.

No geral, a importância do DDIM reside na alta etapa, sua elegância e na ponte entre o Computacional e o Prático. Ele torna a geração de alta qualidade acessível a uma diversidade de usuários, e permanece uma amostra padrão em qualquer pipeline moderno de texto para imagem ou baseado em difusão, incluindo aqueles de Google DeepMind-adjacente, OpenAI-adjacente, stable dict e Adobe. Para todos os fins práticos (internos) em 2025, o DDIM é usado como o motor de amostragem clássico.

Fontes

• Song et al., 2021, "Denoising Diffusion Implicit Models" (pré-impressão online)
• Ho et al., 2020, "Denoising Diffusion Probabilistic Models"