Les modèles de diffusion implicites de débruitage (DDIM) sont une classe de modèles génératifs introduits en 2021 par Jiaming Song, Chenlin Meng et Stefano Ermon de l'Université de Stanford. Ils étendent le cadre des modèles de diffusion en redéfinissant le processus d'échantillonnage comme un modèle probabiliste implicite, permettant une génération plus rapide d'échantillons de haute qualité à partir d'un modèle de diffusion entraîné, sans nécessiter d'entraînement supplémentaire ni de modification du réseau sous-jacent. Les DDIM répondent à une limitation clé des modèles de diffusion standard : le processus d'échantillonnage lent qui nécessite généralement des milliers d'étapes de débruitage pour produire une seule image. En formulant le processus inverse comme une chaîne non-markovienne, les DDIM permettent au même modèle entraîné d'échantillonner avec beaucoup moins d'étapes, souvent 10 à 50 fois moins, tout en conservant une qualité de sortie compétitive.
L'innovation centrale des DDIM réside dans une reformulation des transitions avant et arrière du processus de diffusion. Les modèles de diffusion probabilistes de débruitage standard (DDPM) supposent une chaîne de Markov où chaque étape ne dépend que de l'état précédent, nécessitant un grand nombre d'étapes pour reconstruire un échantillon propre à partir d'un bruit gaussien. Les DDIM observent quant à eux que l'objectif d'entraînement d'un modèle de diffusion est cohérent avec une famille plus large de processus avant non-markoviens, qui peuvent être conçus pour permettre des processus inverses déterministes ou semi-déterministes. En paramétrant ces processus avec une variable libre, les DDIM construisent une classe de modèles génératifs qui produisent la même perte d'entraînement mais avec des trajectoires d'échantillonnage plus flexibles. Cela permet une correspondance déterministe entre le bruit et les données, facilitant la génération d'échantillons de manière simple et reproductible, une propriété absente des formulations stochastiques originales.
L'avantage pratique de cette perspective non-markovienne est la possibilité d'échantillonner en utilisant un calendrier d'étapes réduit. Alors qu'un DDPM utilise généralement 1000 à 2000 étapes de débruitage, les DDIM peuvent produire des images valides avec seulement 20, 50 ou 100 étapes dans de nombreux cas. Les composants architecturaux du modèle restent identiques à ceux des DDPM - un réseau de neurones, généralement un U-Net avec des couches d'attention, prédit la composante de bruit à chaque étape. La différence réside dans le processus probabiliste, qui permet de sauter des étapes intermédiaires dans le calendrier de débruitage sans introduire d'erreurs de reconstruction majeures. Par conséquent, les DDIM offrent un compromis entre la vitesse d'échantillonnage et la fidélité de l'échantillon ; un nombre d'étapes plus élevé donne une précision accrue, tandis qu'un nombre réduit sacrifie une partie de la qualité mais reste visuellement cohérent. Cette flexibilité est exploitable pour des tâches telles que l'inférence guidée, où le même modèle peut produire des échantillons diversifiés sous différents calendriers.
Au-delà de la vitesse, les DDIM permettent une correspondance déterministe et inversible entre le bruit latent et les données générées. Cette propriété prend en charge l'interpolation dans l'espace du bruit, où l'interpolation linéaire entre deux échantillons dans l'espace latent produit un morphing sémantiquement significatif dans l'espace image résultant. Cette nature déterministe permet également un échantillonnage comme dans les modèles génératifs adverses entraînés, pour des tâches telles que l'édition d'images, l'inpainting ou la reconstruction à partir d'observations partielles, sans l'instabilité associée à l'entraînement des GAN. La perspective du modèle implicite place également les DDIM dans le cadre plus large des modèles probabilistes implicites, qui définissent des distributions via une simple fonction génératrice déterministe, reliant des concepts de l'inférence variationnelle et des flux normalisants.
Le développement algorithmique des DDIM a contribué à l'évolution plus large des modèles de diffusion efficaces. Leur formule d'échantillonnage, souvent écrite comme une combinaison linéaire de l'échantillon prédit et du bruit actuel avec un coefficient mis à l'échelle, est devenue un bloc de construction pour les travaux ultérieurs sur la diffusion latente, la synthèse texte-image et la génération haute résolution. Les DDIM sont un débruiteur largement utilisé dans plusieurs implémentations de référence, y compris celles associées au modèle Stable Diffusion ; leur formulation déterministe et leur stratégie de saut d'étapes restent une référence pour les travaux ultérieurs dans le domaine, tels que les GAN de diffusion de débruitage et les modèles de cohérence.
Relation avec les modèles probabilistes de diffusion
Les DDIM s'appuient sur les fondements théoriques fournis par les modèles probabilistes de diffusion, notamment les travaux de Sohl-Dickstein et al. (2015) et de Ho et al. (2020). Le DDPM standard perturbe les données avec du bruit gaussien sur 1000 étapes et apprend à inverser ce processus en estimant le bruit. Bien qu'efficace, l'échantillonnage à partir d'un DDPM tire un nouvel échantillon de bruit aléatoire à chaque étape inverse. Les DDIM définissent plutôt une famille de processus avant tels que le processus inverse peut être approximativement déterministe. Une idée théorique clé est que la fonction de perte n'implique que la divergence KL entre les processus inverse et avant choisis pour dépendre de l'estimateur de score ; des processus avant alternatifs sont possibles sans affecter l'entraînement, permettant une flexibilité dans l'échantillonnage. Les DDIM construisent ensuite la chaîne « implicite » pour correspondre à ces marges statistiques, ce qui donne une nouvelle règle d'échantillonnage.
Une conséquence directe de cette flexibilité est que les DDIM constituent une famille de modèles distincte, mais la même procédure d'entraînement fonctionne pour les deux. Un utilisateur doit conserver le même réseau, mais au moment de l'échantillonnage, il peut choisir d'utiliser le calendrier du DDPM ou celui des DDIM, en fonction des contraintes de temps. Les paramètres de la formule des DDIM sont déterminés par les calendriers alpha (α) et sigma (σ) du bruit, qui sont souvent précalculés comme les coefficients de diffusion. L'équation centrale des DDIM relie l'échantillon débruité prédit (x0) et le latent actuel (xt) pour produire le prochain latent x(t-1) en utilisant la formule : x(t-1) = sqrt(α(t-1)) x0 + sqrt(1 - α(t-1) - σ(t)^2) ε_θ(xt) + σ(t) z, où z est un bruit optionnel et ε est la prédiction de bruit. Lorsque σ est mis à zéro, le processus est entièrement déterministe, produisant une famille appelée DDIM « inhomogène », qui correspond à la dynamique de Langevin annihilée déterministe.
Les travaux proviennent de Berkeley AI Research (sous la forme des affiliations de Song et Ermon, bien qu'ils soient à Stanford à l'époque) et sont liés aux modèles génératifs antérieurs basés sur les scores et aux modèles sans bruit. La formulation des DDIM est également étroitement liée aux réseaux de neurones approximant les fonctions de score, car les prédicteurs de bruit sont des gaussiennes dont l'objectif est d'estimer le terme de score, garantissant que l'inverse des étapes de diffusion capture la variété des données.
Avantages et limites
Les avantages pratiques des DDIM incluent un contrôle du temps d'échantillonnage, une reproductibilité (car la graine aléatoire rend compte du latent d'entrée) et une extrapolation. Ils fournissent une estimation conjointe efficace de l'image basée sur un nombre fixe d'étapes de débruitage, ce qui permet d'utiliser le même modèle sur des ressources contraintes. Cependant, les DDIM reposent sur l'hypothèse d'une erreur gaussienne à chaque étape ; en pratique, l'approximation par étapes finies limite la qualité par rapport à l'échantillonneur SDE complet. Par conséquent, les performances diminuent sensiblement avec un nombre d'étapes modéré à faible, avec des artefacts sévères pour très peu d'étapes, entraînant des déformations anatomiques ou des flous. Néanmoins, à l'ère des modèles texte-image adjacents aux grands modèles de langage, la caractéristique déterministe est utile pour construire des pipelines d'échantillonnage lors de l'inférence en apprentissage profond.
Le mécanisme de débruitage explicite et implicite aide également à la construction d'une architecture commune des dérivés des DDPM, comme les modèles de diffusion implicites de débruitage utilisés dans Stable Diffusion et la synthèse d'images haute résolution. L'approche de diffusion stable utilise un espace latent réduit et l'échantillonneur DDIM comme solveur efficace pour le processus inverse dans ce latent. Cela a constitué la base de la bibliothèque de diffusion largement utilisée (diffusers), et le code réel des DDIM est souvent fourni avec tous les autres modèles de diffusion, ce qui rend son accessibilité élevée.
Compromis entre vitesse et qualité d'échantillonnage
Les DDIM acceptent un calendrier d'étapes réduit et gérable qui est standard pour la diffusion originale. Le nombre d'étapes est un hyperparamètre qui peut être ajusté à l'inférence pour équilibrer la qualité des échantillons. Avec 20 étapes, un DDIM peut produire des images de qualité similaire à un DDPM en 1000 étapes dans de nombreux contextes, mais produit des artefacts visuels plus prononcés, comme des régions floues, si l'on réduit à 10 étapes. L'utilisation des DDIM dans un certain module, comme l'échantillonneur net de modèles de diffusion latente, nécessite encore 50 étapes pour atteindre des métriques compétitives. Le calendrier de la façon de parcourir le bruit initial vers la sortie - par exemple, une interpolation linéaire entre le latent de départ et le bruit final moyen - tend à produire une sortie de qualité modérée aux étapes précoces et tardives.
Par rapport aux méthodes qui utilisent un échantillonnage adaptatif, comme l'Alignement ou les DDIM implicites, les DDIM ne réentraînent pas le réseau mais entraînent le débruiteur, de la même manière qu'un classifieur, et le modèle proposé est capable d'obtenir de bons résultats.
Impact et travaux connexes
Publié à la Conférence internationale sur les représentations d'apprentissage (ICLR) 2021, les DDIM ont eu un impact sur le domaine plus large de la modélisation générative. Ils ont introduit le concept d'échantillonnage déterministe pour les processus de diffusion, ce qui est crucial pour comprendre l'espace des variables latentes et permet l'utilisation de modèles de diffusion dans des tâches en aval comme les modèles de diffusion latente (Rombach et al., 2022), qui verrouillent l'identifiant des embeddings et l'échantillonneur DDIM. De nombreux articles ultérieurs citent cette approche dans les « fusions » et « auteurs ». L'objectif d'entraînement est le même que celui des DDPM, mais la gestion des échantillons conduit à un meilleur latent de style GAN. L'approche inverse des DDIM a également été utilisée dans la traduction d'image à image et la famille des postérieurs, connue dans la configuration inverse.
L'existence de ces résultats a ouvert la voie à de puissants algorithmes d'échantillonnage, tels que le solveur DPM (2022), une méthode déterministe utilisant l'analyse d'intégration, et le modèle GAN de diffusion de débruitage (2022) pour modéliser le processus par étapes avec des étapes adverses. Ces approches modernes combinent souvent la base des DDIM avec des tests continus qui convergent, obtenant parfois un échantillon en une itération. La philosophie des points de vue non-markoviens est également la manière dont les modèles ultérieurs se sont améliorés. La dynamique déterministe des DDIM est un outil essentiel dans les laboratoires de systèmes d'IA d'aujourd'hui, souvent dans LangChain par exemple.
De plus, la théorie de la recherche sur les modèles de probabilité implicites est liée au flux et au flux rectifié, qui sont utilisés dans les moteurs informatiques comme outil de conception. L'article a été très cité, se classant parmi les articles fondateurs pour la partie open source du domaine de l'IA générant des effets vidéo.
Dans l'ensemble, l'importance des DDIM réside dans leur nombre d'étapes élevé, leur élégance et leur pont entre le calcul et la pratique. Ils rendent la génération de haute qualité accessible à une diversité d'utilisateurs, et ils restent un échantillonneur standard dans tout pipeline moderne de texte-image ou de diffusion, y compris ceux adjacents à Google DeepMind, OpenAI, Stable Diffusion et Adobe. Pour toutes les applications pratiques (internes) en 2025, les DDIM sont utilisés comme moteur d'échantillonnage classique.
Sources
- Song et al., 2021, « Denoising Diffusion Implicit Models » (prépublication en ligne)
- Ho et al., 2020, « Denoising Diffusion Probabilistic Models »