DALL-E, DALL-E 2 et DALL-E 3 (stylisés DALL·E) sont des modèles de génération d'images à partir de texte développés par OpenAI utilisant des méthodologies de apprentissage profond pour générer des images numériques à partir de descriptions en langage naturel, appelées invites. La première version a été annoncée en janvier 2021, et les itérations suivantes ont élargi les capacités en matière de réalisme, de résolution et de suivi des invites. Le nom est un mot-valise combinant le personnage robot WALL-E de Pixar et l'artiste surréaliste espagnol Salvador Dalí.
Historique et contexte
OpenAI a dévoilé DALL-E dans un article de blog le 5 janvier 2021, en utilisant une version modifiée de GPT-3 pour générer des images. Le 6 avril 2022, l'entreprise a annoncé DALL-E 2, un successeur conçu pour produire des images plus réalistes à des résolutions plus élevées, capable de « combiner des concepts, des attributs et des styles ». L'accès à DALL-E 2 est initialement resté limité à des utilisateurs présélectionnés pour un aperçu de recherche, en raison de préoccupations éthiques et de sécurité. Le 20 juillet 2022, le modèle est entré dans une phase bêta avec des invitations envoyées à 1 million de personnes sur liste d'attente, permettant un certain nombre de générations gratuites par mois avec des options d'achat supplémentaires. L'exigence de liste d'attente a été supprimée le 28 septembre 2022, ouvrant l'outil à tous.
En septembre 2023, OpenAI a annoncé DALL-E 3, capable de comprendre « beaucoup plus de nuances et de détails » que les itérations précédentes. Il a été intégré nativement dans ChatGPT pour les clients Plus et Enterprise en octobre 2023, avec une disponibilité via l'API et une plateforme « Labs » début novembre. Microsoft a implémenté le modèle dans l'outil Image Creator de Bing et dans son application Designer, avec Microsoft Copilot fonctionnant sur DALL-E 3. En mars 2025, DALL-E 3 a été remplacé dans ChatGPT par les capacités de génération d'images natives de GPT Image. En février 2024, OpenAI a commencé à ajouter des filigranes aux images générées par DALL-E, contenant des métadonnées selon la norme C2PA (Coalition for Content Provenance and Authenticity).
Technologie
Le premier modèle de transformeur génératif pré-entraîné (GPT) a été développé par OpenAI en 2018 en utilisant une architecture de transformeur. Les itérations de mise à l'échelle ont produit GPT-2 en 2019 et GPT-3 en 2020, ce dernier avec 175 milliards de paramètres. DALL-E s'est appuyé sur cette base avec des architectures distinctes selon les versions.
DALL-E
Le DALL-E original comprenait trois composants : un autoencodeur variationnel discret (VAE), un modèle de transformeur autorégressif décodeur seul avec 12 milliards de paramètres similaire à GPT-3, et une paire d'encodeurs d'images et de texte CLIP. Le VAE discret convertissait les images en séquences de jetons et inversement, nécessaire car le transformeur ne traite pas directement les données d'image. L'entrée consistait en une légende anglaise tokenisée (jusqu'à 256 jetons, taille de vocabulaire 16 384) suivie de patchs d'image tokenisés. Chaque image RVB de 256×256 était divisée en patchs de 32×32 de 4×4 pixels, chaque patch étant converti en un jeton à l'aide d'un vocabulaire de 8 192.
CLIP (Contrastive Language-Image Pre-training), développé et annoncé en même temps que DALL-E, était un modèle distinct basé sur apprentissage contrastif entraîné sur 400 millions de paires image-texte extraites d'Internet. Il classait la sortie de DALL-E en prédisant quelle légende parmi une liste de 32 768 légendes sélectionnées aléatoirement était la plus appropriée pour une image, filtrant une liste initiale plus large pour sélectionner la correspondance la plus proche de l'invite.
DALL-E 2
DALL-E 2 utilisait 3,5 milliards de paramètres, moins que son prédécesseur, et remplaçait le transformeur autorégressif par un modèle de diffusion conditionné sur les embeddings d'images CLIP. Pendant l'inférence, ces embeddings étaient générés à partir des embeddings de texte CLIP par un modèle préalable. Cette architecture était la même que celle de Stable Diffusion, publié quelques mois plus tard.
DALL-E 3
OpenAI a publié un rapport technique pour DALL-E 3, mais il omettait les détails d'entraînement et d'implémentation, se concentrant plutôt sur les capacités améliorées de suivi des invites. Le modèle a été intégré dans ChatGPT Plus, permettant un affinement conversationnel des images générées.
Capacités
DALL-E pouvait générer des images dans plusieurs styles, y compris des images photoréalistes, des peintures et des emojis. Il pouvait « manipuler et réorganiser » des objets et placer des éléments de conception dans des compositions novatrices sans instruction explicite. Thom Dunn, écrivant pour BoingBoing, a noté que lorsqu'on lui demandait de dessiner un radis daikon se mouchant, sirotant un latte ou montant un unicycle, DALL-E dessinait souvent le mouchoir, les mains et les pieds à des endroits plausibles. Le modèle pouvait « combler les lacunes », en déduisant des détails appropriés tels que des images de Noël pour des invites connexes ou des ombres non mentionnées dans le texte, et démontrait une compréhension large des tendances visuelles et de conception.
DALL-E pouvait produire des images pour une grande variété de descriptions arbitraires sous différents angles de vue avec seulement de rares échecs. Mark Riedl, professeur associé à la Georgia Tech School of Interactive Computing, a constaté que DALL-E pouvait fusionner des concepts, un élément clé de la créativité humaine. Sa capacité de raisonnement visuel était suffisante pour résoudre les matrices de Raven, des tests visuels souvent administrés pour mesurer l'intelligence humaine.
DALL-E 3 suivait des invites complexes avec plus de précision et de détails que ses prédécesseurs et générait un texte plus cohérent et précis dans les images.
Modification d'images
Étant donné une image existante, DALL-E 2 et DALL-E 3 pouvaient produire des « variations » comme sorties individuelles basées sur l'original, ainsi que modifier l'image pour la modifier ou l'étendre. Les capacités d'« inpainting » et d'« outpainting » utilisaient le contexte de l'image pour remplir les zones manquantes dans un médium cohérent avec l'original, en suivant une invite donnée. Par exemple, cela permettait d'insérer un nouveau sujet dans une image ou de l'étendre au-delà de ses bordures originales. Selon OpenAI, « l'outpainting prend en compte les éléments visuels existants de l'image - y compris les ombres, les reflets et les textures - pour » produire des extensions sans couture.