DALL-E ist eine Serie von Text-zu-Bild-Modellen, die von OpenAI entwickelt wurde und digitale Bilder aus natürlichen Sprachbeschreibungen, sogenannten Prompts, erzeugt. Die erste Version wurde im Januar 2021 angekündigt, gefolgt von DALL-E 2 im Jahr 2022 und DALL-E 3 im Jahr 2023. Der Name ist ein Kofferwort aus dem animierten Roboter WALL-E und dem surrealistischen Künstler Salvador Dalí.
Geschichte und Hintergrund
OpenAI stellte DALL-E in einem Blogbeitrag am 5. Januar 2021 vor und verwendete dabei eine modifizierte Version seines GPT-3-Modells zur Bilderzeugung. Am 6. April 2022 kündigte das Unternehmen DALL-E 2 an, einen Nachfolger, der darauf ausgelegt war, realistischere Bilder in höheren Auflösungen zu erzeugen und Konzepte, Attribute und Stile zu kombinieren. Der Zugang war zunächst aufgrund ethischer und sicherheitsrelevanter Bedenken auf vorab ausgewählte Nutzer für eine Forschungsvorschau beschränkt. Am 20. Juli 2022 trat DALL-E 2 in die Beta-Phase ein, wobei Einladungen an eine Million Personen auf der Warteliste verschickt wurden; Nutzer konnten eine begrenzte Anzahl von Bildern pro Monat kostenlos generieren und weitere erwerben. Am 28. September 2022 wurde die Warteliste entfernt und das Modell für alle verfügbar gemacht.
Im September 2023 kündigte OpenAI DALL-E 3 an, das deutlich mehr Nuancen und Details als frühere Versionen verstehen konnte. Es wurde im Oktober 2023 nativ in ChatGPT für Plus- und Enterprise-Kunden veröffentlicht, mit Verfügbarkeit über die API und Labs Anfang November. Microsoft integrierte DALL-E 3 in Bings Image Creator und seine Designer-App, und Microsoft Copilot läuft auf DALL-E 3. Im März 2025 wurde DALL-E 3 in ChatGPT durch die nativen Bildgenerierungsfunktionen von GPT Image ersetzt.
Im Februar 2024 begann OpenAI, Wasserzeichen zu von DALL-E generierten Bildern hinzuzufügen, indem Metadaten im C2PA-Standard (Coalition for Content Provenance and Authenticity) eingebettet wurden, der von der Content Authenticity Initiative gefördert wird.
Technologie
Das erste generative vortrainierte Transformer-Modell (GPT) wurde 2018 von OpenAI entwickelt und verwendete eine Transformer (architecture)-Architektur. Es wurde 2019 auf GPT-2 und 2020 auf GPT-3 mit 175 Milliarden Parametern skaliert.
DALL-E
DALL-E besteht aus drei Komponenten: einem diskreten Variational Autoencoder (VAE), einem autoregressiven Decoder-only-Transformer-Modell mit 12 Milliarden Parametern, ähnlich wie GPT-3, und einem CLIP-Paar (Contrastive Language-Image Pre-training) aus Bild- und Text-Encodern. Der diskrete VAE wandelt ein Bild in eine Sequenz von Tokens und zurück um, sodass der Transformer Bilddaten verarbeiten kann. Der Transformer erhält eine Sequenz aus tokenisierten Bildunterschriften, gefolgt von tokenisierten Bildausschnitten. Die Unterschriften sind auf Englisch, werden durch Byte-Pair-Encoding mit einer Vokabulargröße von 16.384 tokenisiert und können bis zu 256 Tokens lang sein. Jedes Bild ist 256×256 RGB, unterteilt in 32×32 Ausschnitte von 4×4 Pixeln, die jeweils vom VAE in ein Token aus einem Vokabular von 8.192 umgewandelt werden.
CLIP, das parallel zu DALL-E entwickelt wurde, ist ein separates Modell, das auf kontrastivem Lernen basiert und mit 400 Millionen Bild-Text-Paaren trainiert wurde, die aus dem Internet gesammelt wurden. Es bewertet die Ausgabe von DALL-E, indem es vorhersagt, welche Unterschrift aus einer Liste von 32.768 zufällig ausgewählten Unterschriften am besten zu einem Bild passt. Ein trainiertes CLIP-Paar filtert eine größere anfängliche Liste generierter Bilder, um dasjenige auszuwählen, das dem Prompt am nächsten kommt.
DALL-E 2
DALL-E 2 verwendet 3,5 Milliarden Parameter, weniger als sein Vorgänger. Anstelle eines autoregressiven Transformers verwendet es ein Diffusionsmodell, das auf CLIP-Bild-Embeddings konditioniert ist, die während der Inferenz von einem Prior-Modell aus CLIP-Text-Embeddings generiert werden. Diese Architektur ähnelt der von Stable Diffusion, das einige Monate später veröffentlicht wurde.
DALL-E 3
OpenAI veröffentlichte einen technischen Bericht für DALL-E 3, der jedoch keine Trainings- oder Implementierungsdetails enthält und sich stattdessen auf verbesserte Fähigkeiten zur Prompt-Befolgung konzentriert.
Fähigkeiten
DALL-E kann Bilder in mehreren Stilen erzeugen, darunter fotorealistische Bilder, Gemälde und Emojis. Es kann Objekte in Bildern manipulieren und neu anordnen und Designelemente in neuartigen Kompositionen ohne explizite Anweisungen korrekt platzieren. Wenn es beispielsweise gebeten wird, einen Rettich zu zeichnen, der sich die Nase putzt, einen Latte schlürft oder Einrad fährt, zeichnet DALL-E oft das Taschentuch, die Hände und die Füße an plausiblen Stellen. Es kann geeignete Details ableiten, die in den Prompts nicht erwähnt werden, wie das Hinzufügen von Weihnachtsbildern zu weihnachtsbezogenen Prompts oder das Platzieren von Schatten angemessen. DALL-E zeigt auch ein breites Verständnis für visuelle und Designtrends.
DALL-E kann Bilder für eine Vielzahl beliebiger Beschreibungen aus verschiedenen Blickwinkeln erzeugen, mit nur seltenen Fehlern. Mark Riedl, außerordentlicher Professor an der Georgia Tech School of Interactive Computing, fand heraus, dass DALL-E Konzepte verschmelzen konnte, was er als ein Schlüsselelement menschlicher Kreativität beschrieb. Seine visuelle Denkfähigkeit reicht aus, um Ravens Matrizen zu lösen, visuelle Tests, die oft zur Messung menschlicher Intelligenz verwendet werden.
DALL-E 3 folgt komplexen Prompts mit mehr Genauigkeit und Detailtreue als seine Vorgänger und kann kohärenteren und genaueren Text erzeugen. Es ist in ChatGPT Plus integriert.
Bildmodifikation
DALL-E 2 und DALL-E 3 können Variationen vorhandener Bilder erzeugen und diese bearbeiten, um sie zu modifizieren oder zu erweitern. Inpainting- und Outpainting-Fähigkeiten nutzen den Kontext eines Bildes, um fehlende Bereiche in einem Stil auszufüllen, der mit dem Original konsistent ist, und folgen dabei einem gegebenen Prompt. Dies kann ein neues Motiv in ein Bild einfügen oder es über seine ursprünglichen Grenzen hinaus erweitern. Laut OpenAI berücksichtigt Outpainting die vorhandenen visuellen Elemente des Bildes, einschließlich Schatten, Reflexionen und Texturen.