DALL-E, DALL-E 2 und DALL-E 3 (stilisiert DALL·E) sind Text-zu-Bild-Modelle, die von OpenAI mithilfe von Deep-Learning-Methoden entwickelt wurden, um digitale Bilder aus natürlichsprachlichen Beschreibungen, den sogenannten Prompts, zu erzeugen. Die erste Version wurde im Januar 2021 angekündigt, und spätere Iterationen erweiterten die Fähigkeiten in Bezug auf Realismus, Auflösung und Prompt-Befolgung. Der Name ist ein Kofferwort aus dem Pixar-Robotercharakter WALL-E und dem spanischen surrealistischen Künstler Salvador Dalí.
Geschichte und Hintergrund
OpenAI stellte DALL-E in einem Blogbeitrag am 5. Januar 2021 vor und verwendete dabei eine modifizierte Version von GPT-3 zur Bilderzeugung. Am 6. April 2022 kündigte das Unternehmen DALL-E 2 an, einen Nachfolger, der dafür entwickelt wurde, realistischere Bilder in höheren Auflösungen zu erzeugen und „Konzepte, Attribute und Stile kombinieren“ zu können. Der Zugang zu DALL-E 2 blieb zunächst aus ethischen und sicherheitsrelevanten Gründen auf vorab ausgewählte Nutzer für eine Forschungspreview beschränkt. Am 20. Juli 2022 ging das Modell in eine Beta-Phase über, wobei Einladungen an 1 Million Personen auf der Warteliste gesendet wurden, die eine bestimmte Anzahl kostenloser Bildgenerierungen pro Monat ermöglichten, mit der Option, weitere zu kaufen. Die Wartelisten-Anforderung wurde am 28. September 2022 entfernt, wodurch das Tool für alle geöffnet wurde.
Im September 2023 kündigte OpenAI DALL-E 3 an, das „deutlich mehr Nuancen und Details“ als frühere Versionen verstehen konnte. Es wurde im Oktober 2023 nativ in ChatGPT für Plus- und Enterprise-Kunden integriert und war ab Anfang November über die API und eine „Labs“-Plattform verfügbar. Microsoft implementierte das Modell in Bing Image Creator und der Designer-App, wobei Microsoft Copilot mit DALL-E 3 läuft. Im März 2025 wurde DALL-E 3 in ChatGPT durch die native Bilderzeugung von GPT Image ersetzt. Im Februar 2024 begann OpenAI, Wasserzeichen zu DALL-E generierten Bildern hinzuzufügen, die Metadaten nach dem C2PA-Standard (Koalition für Inhaltsprovenienz und -authentizität) enthalten.
Technologie
Das erste generative vortrainierte Transformer-(GPT-)Modell wurde 2018 von OpenAI mit einer Transformer-Architektur entwickelt. Skalierungsiterationen produzierten GPT-2 im Jahr 2019 und GPT-3 im Jahr 2020 mit 175 Milliarden Parametern. DALL-E baute auf dieser Grundlage auf und verwendete unterschiedliche Architekturen je nach Version.
DALL-E
Das ursprüngliche DALL-E bestand aus drei Komponenten: einem diskreten variational autoencoder (VAE), einem autoregressiven Decoder-Transformer-Modell mit 12 Milliarden Parametern ähnlich zu GPT-3, und ein CLIP-Paar aus Bild- und Text-Encodern. Der diskrete VAE konvertierte Bilder in Sequenzen von Token und zurück, was notwendig war, weil der Transformer nicht direkt Bilddaten verarbeitet. Der Eingabestrom bestand zuerst aus einem tokenisierten englischen Titel (bis zu 256 Tokens, Vokabulargröße 16.384), gefolgt von tokenisierten Bildkachel. Jedes 256×256-RGB-Bild ist in 32×32 Kacheln von 4×4 Pixeln unterteilt, wobei jede Kachel in ein Token mit einem Vokabular von 8.192 konvertiert wird.
CLIP (Kontrastives Sprach-Bild-Pretraining), entwickelt und zusammen mit DALL-E angekündigt, war eine separates Modell basierend auf contrastivem Lernen, das mit 400 Millionen aus dem Internet gesammelten Bild-Text-Paaren trainiert wurde. Es bewertetscha dadie Ausgaben von DALL-E, indem es vorhersagelt, welche Überschrift aus einer Liste von 32.768 zufällig ausgewählten Überschriften für ein Bild am besten geeignet ist, und filterte eine größere anfängliche Liste, um die am besten passende zum Prompt auszuwählen.
DALL-E 2
DALL-E 2 verwendete 3,5 Milliarden Parameter, weniger als seine Vorgänger, und ersetzte das autoregressive Transformer durch ein Diffusionsmodell, das auf CLIP-Bild-Embeddings trainiert wurde. Während der Inferenz wurden diese Embeddings von einem Prior-Modell aus CLIP-Text-Embeddings erzeug - Embeddings. Diese Architektur entsprach der von Stable Diffusion, das einige Monate später folgte veröffentlicht wurde.
DALL-E 3
OpenAI veröffentlichte einen technischen Bericht für DALL-E 3, aber er ließ Trainings- und Implementierungsdetails aus und konzentrierte sich stattdessen auf verbesserte Prompt-Befolgebefähigkeiten. Das Model wurde in ChatGPT Plus integriert, was eine dialogische Verbesserung der generierten Bilder ermöglicht.
Fähigkeiten
DALL-E konnte Bilder in mehreren Stilen erzeugen, einschließlich fotorealistischer Bilder, Gemälden und Emojis. Es war außerstande zu Manually, „Objekte zu manipulieren und neu anzuordnen“ und Designelemente in neuartigen Zusammensetzungen ohne explizite Anweisung zu platzieren. Thom Dunn, der für Boing Boing schrieb, stellte fest, dass wenn man DALL-E bat, einen Rettich zu zeichnen, der sich die Nase putzt, einen Latte schlürft oder auf einem Einrad fährt, das Modell oft die Stelle von Taschentuch und - und dass es – Socken – consistent platzierte. Das Modell konnte „die Lücken füllen“, angemessene Details wie Weihnachtsmotiven für verwandte Prompts oder Schatten ableiten, die in der Text nicht erwähnt wurden, und zeigte ein breites Verständnis für visuelle und Designtrends.
DALL-E konnte Bilder für eine Vielzahl von beliebigen Beschreibungen verschiedenen Gesichtspunkten erzielen, mit relativ seltenen Fehlern. Mark Riedl, außerordentlicher Professor am Georgia Institute of Technology im Bereich Informatik, bleib fand, dass DALL-E Konzepte kombinieren konnte, ein wesentliches Element menschlicher Kreativität. Seine visuelle Begründungsfähigkeit war ausreichende zur Lösung von Raven-Matrizen, visuelle Absoluttest zur Messung der menschlichen Intelligenz.
DALL-E 3 befolgte komplexe Prompts mit mehr Genauigkeit und Detail als Vorgänger und erzeugte auch kohärentere und genauere Text innerhalb der Bilder.
Bildänderung
Bei einem vorgegebenen Bild konnten DALL-E 2 und DALL-E 3 „Varianten“ als EinZelausgaben auf Basis des Originals erzeugen sowie Bilder zu geensprechend zu bearbeiten oder zu ersweitert. Die „inpainting“- und „outpainting“-Fähigkeiten nutzten den Kontext des Bildes, um fehlende Bereiche einem dem Original konsistenten Medium auszufüllen, gemäß gegebenen Prompts. Beispielsweise dadurch war es möglich, ein erneues Subjekt in ein Bild einzufügen oder über die original Rä bestimmen hinaus zu erweitgen. Laut OpenAI berücksichtigt das Outpainpen die vorhandenen visuellen Elemente des Bildes – einschließlichuen Schatten, Reflexionen und Strukturachten – „nahtlose Erweiterungen“ zu erzeugen.