La génération d'images à partir de texte fait référence aux systèmes d'IA qui prennent une description en langage naturel, ou invite, et produisent une image correspondante. La tâche combine le traitement du langage naturel pour interpréter le texte avec la vision par ordinateur et la modélisation générative pour rendre les pixels, et elle est devenue l'une des applications les plus visibles des réseaux antagonistes génératifs et plus tard des modèles de diffusion.
Histoire
Les premières tentatives dans les années 2010 utilisaient des GAN conditionnés sur des plongements de texte, produisant de petites images floues limitées à des domaines étroits tels que les oiseaux ou les fleurs. Le domaine a changé avec le DALL-E d'OpenAI en janvier 2021, qui appliquait un transformateur entraîné de manière autorégressive sur des jetons d'image, et avec CLIP plus tard cette année-là, qui a donné aux chercheurs un moyen de noter à quel point une image correspondait à une légende et de guider la génération vers celle-ci. La véritable percée a été le passage à la diffusion : DALL-E 2 (2022), Imagen de Google, et surtout la publication open-source de Stable Diffusion en août 2022 ont rendu la génération de haute qualité rapide et, dans le cas de Stable Diffusion, exécutable sur des GPU grand public. Midjourney, accessible via Discord, a construit un produit distinct axé sur l'esthétique autour des mêmes techniques de base, tandis que FLUX, publié par Black Forest Labs en 2024, est devenu une nouvelle norme à poids ouverts.
Comment cela fonctionne
La plupart des systèmes modernes sont construits autour d'un modèle de diffusion latent : une image est compressée dans un espace latent compact par un autoencodeur, un encodeur de texte convertit l'invite en un plongement, et un réseau de débruitage transforme progressivement un bruit aléatoire en une image latente guidée par ce plongement, qui est ensuite décodée en pixels. Des techniques telles que le guidage sans classificateur permettent aux utilisateurs de faire un compromis entre la fidélité à l'invite et la diversité des images. ControlNet, introduit en 2023, a ajouté la capacité de conditionner la génération sur un croquis, une pose ou une carte de profondeur en plus du texte, offrant un contrôle plus fin sur la composition.
Culture des invites et outils
Parce que la qualité de sortie est sensible au libellé, un ensemble de savoir-faire informel s'est développé autour de la rédaction d'invites efficaces, couvrant la description du sujet, le style artistique, les termes de caméra et d'éclairage, et l'invite négative pour exclure les éléments indésirables, un premier exemple de ce qui serait plus tard appelé ingénierie d'invite. Des communautés sur Discord et Reddit ont partagé des formules d'invites, et des outils secondaires ont émergé pour la mise à l'échelle, l'inpainting et la combinaison de sorties. Les adaptateurs LoRA ont rendu pratique le réglage fin d'un modèle de base sur un personnage, un style ou un objet spécifique avec un petit nombre d'images d'exemple et une puissance de calcul modeste.
Réception et critiques
Les outils de génération d'images à partir de texte ont connu une adoption commerciale rapide dans la publicité, l'art conceptuel et la conception de jeux, accompagnée d'une controverse soutenue. Les artistes ont objecté que les modèles étaient entraînés sur des images extraites sans consentement ni compensation, alimentant des litiges plus larges sur le droit d'auteur de l'IA et des poursuites contre plusieurs entreprises de génération d'images. Les critiques ont également soulevé des préoccupations concernant les deepfakes, les images non consensuelles et l'inondation des plateformes de banques d'images et de réseaux sociaux avec des sorties synthétiques de faible effort, un phénomène plus tard qualifié de « slop » d'IA. Les laboratoires ont répondu avec des filtres de contenu, des métadonnées de provenance et, dans certains cas, des systèmes de filigrane d'IA, bien que l'application reste incohérente à travers l'écosystème.
Développements ultérieurs
D'ici 2025, les principaux modèles pouvaient suivre des invites plus longues et plus compositionnelles, rendre un texte lisible dans les images et modifier des photos existantes via des instructions en langage naturel, réduisant l'écart entre la génération d'images à partir de texte et l'édition d'images à usage général.