Un modèle de diffusion est un modèle génératif qui apprend à créer des données, le plus souvent des images, des vidéos ou de l'audio, en inversant un processus progressif d'ajout de bruit : il est entraîné à supprimer progressivement le bruit d'un échantillon corrompu, et une fois entraîné, il peut générer de nouvelles données en partant d'un bruit aléatoire pur et en le débruitant itérativement pour produire une sortie cohérente. Les modèles de diffusion sont la technologie derrière la plupart des systèmes de texte-vers-image et de texte-vers-vidéo les plus avancés au milieu des années 2020, ayant supplanté les réseaux antagonistes génératifs comme approche dominante pour la synthèse d'images haute fidélité.
Histoire
Les fondements théoriques ont été posés dans un article de 2015 par Jascha Sohl-Dickstein et ses collègues, qui établissaient une analogie avec la thermodynamique hors équilibre pour décrire un processus de destruction progressive de la structure des données par le bruit, puis d'apprentissage de son inversion. L'approche est restée une curiosité de recherche jusqu'à ce que Jonathan Ho, Ajay Jain et Pieter Abbeel publient Denoising Diffusion Probabilistic Models, ou DDPM, en 2020, montrant qu'un objectif d'entraînement relativement simple pouvait produire une qualité d'image comparable à celle des GAN. La technique a atteint le grand public grâce à DALL-E 2 d'OpenAI en avril 2022, et est devenue largement accessible quelques mois plus tard avec la publication open-source d'Stable Diffusion en août 2022, basée sur la diffusion latente, une technique de 2022 introduite par Robin Rombach et ses collègues, qui exécutait le processus de débruitage dans un espace latent compressé plutôt que directement sur les pixels bruts, réduisant considérablement le calcul nécessaire pour entraîner et exécuter les modèles de diffusion.
Comment cela fonctionne
L'entraînement d'un modèle de diffusion implique un processus direct qui ajoute de petites quantités de bruit gaussien à un échantillon de données réel sur de nombreuses étapes jusqu'à ce qu'il devienne indiscernable d'un bruit pur, et un réseau neuronal, généralement un U-Net ou, de plus en plus, une architecture basée sur un transformeur, entraîné à prédire et à supprimer le bruit ajouté à chaque étape, apprenant ainsi efficacement le processus inverse. La génération exécute ce processus inverse à partir de zéro : en partant d'un bruit aléatoire, le modèle prédit et soustrait répétitivement le bruit sur un certain nombre d'étapes, révélant progressivement une image ou une vidéo cohérente. Les mécanismes de conditionnement, le plus souvent en encodant un invite textuel et en le transmettant au réseau de débruitage via une attention croisée, permettent aux utilisateurs de guider ce que le modèle génère, et des techniques comme le guidage sans classifieur renforcent la proximité entre la sortie et ce signal de conditionnement.
Applications et écosystème
Les modèles de diffusion alimentent essentiellement tous les générateurs d'images majeurs en usage courant, y compris Stable Diffusion, DALL-E, Midjourney et Flux, et sous-tendent les principaux générateurs vidéo tels que Sora, Veo de Google, et des systèmes chinois comme Kling et Seedance. Des extensions telles que ControlNet, introduites en 2023, ajoutent un conditionnement structurel, permettant aux utilisateurs de guider la génération avec des croquis, des poses ou des cartes de profondeur, tandis que des écosystèmes construits autour de points de contrôle ouverts soutiennent une personnalisation étendue grâce à des techniques comme les adaptateurs LoRA entraînés par la communauté. Les techniques de diffusion ont également été appliquées au-delà de la génération médiatique, notamment à la prédiction de structures protéiques et à la conception de molécules, et les chercheurs ont exploré des approches basées sur la diffusion pour la génération de texte comme alternative à l'approche autorégressive token par token utilisée par la plupart des grands modèles de langage, bien que la génération autorégressive reste dominante pour le texte en 2025.
Limites
Comparés aux GAN, les modèles de diffusion sont coûteux en calcul au moment de l'inférence, car générer un seul échantillon peut nécessiter des dizaines ou des centaines d'étapes séquentielles de débruitage, bien que des techniques telles que la distillation en modèles à quelques étapes et des échantillonneurs améliorés aient considérablement réduit ce coût depuis 2022. Les modèles de diffusion entraînés sur de grands ensembles de données non organisés issus du web ont également fait face à des litiges sur l'IA et le droit d'auteur concernant la question de savoir si la génération d'images dans le style ou ressemblant à des artistes présents dans les données d'entraînement constitue une contrefaçon, et ont attiré l'attention sur leur capacité à reproduire verbatim des images mémorisées de l'entraînement dans certaines conditions.