DALL-E 1, stilisiert als DALL·E, ist die erste Version eines Text-zu-Bild-Modells, das von OpenAI entwickelt wurde. Im Januar 2021 angekündigt, nutzt es Deep-Learning-Methoden, um digitale Bilder aus natürlichen Sprachbeschreibungen, sogenannten Prompts, zu erzeugen. Der Name ist ein Kofferwort aus der Pixar-Roboterfigur WALL-E und dem spanischen surrealistischen Künstler Salvador Dalí.
DALL-E 1 war ein Meilenstein in der generativen künstlichen Intelligenz und demonstrierte, dass ein Transformer-basiertes Modell kohärente und vielfältige Bilder aus textuellen Beschreibungen erzeugen konnte. Es wurde 2022 von DALL-E 2 und 2023 von DALL-E 3 abgelöst, die jeweils Verbesserungen bei Realismus, Auflösung und Prompt-Verständnis boten.
Geschichte und Hintergrund
OpenAI stellte DALL-E 1 in einem Blogbeitrag am 5. Januar 2021 vor. Es verwendete eine modifizierte Version von GPT-3, einem großen Sprachmodell mit 175 Milliarden Parametern, um Bilder zu erzeugen. Das Modell wurde zusammen mit CLIP (Contrastive Language-Image Pre-training) entwickelt, einem separaten Modell, das auf 400 Millionen Bild-Text-Paaren trainiert wurde, die aus dem Internet gesammelt wurden. CLIPs Rolle bestand darin, DALL-Es Ausgaben zu bewerten, indem es vorhersagte, welche Bildunterschrift aus einer Liste von 32.768 zufällig ausgewählten Bildunterschriften am besten zu einem Bild passte, und so half, die besten Ergebnisse zu filtern.
Die Veröffentlichung von DALL-E 1 erregte großes öffentliches Interesse und Diskussionen über die Fähigkeiten und Auswirkungen von generativer KI. Es wurde nicht sofort allgemein verfügbar gemacht; der Zugang war zunächst aus ethischen und sicherheitstechnischen Gründen auf eine Forschungsvorschau beschränkt. Der Nachfolger DALL-E 2 trat im Juli 2022 in die Beta-Phase ein und wurde im September 2022 für alle geöffnet.
Technologie
DALL-E 1 hatte drei Komponenten: einen diskreten Variational Autoencoder (VAE), ein autoregressives Decoder-only-Transformer-Modell mit 12 Milliarden Parametern und ein CLIP-Paar aus Bild- und Text-Encodern. Der diskrete VAE wandelte Bilder in Sequenzen von Tokens um und zurück, da der Transformer keine Bilddaten direkt verarbeitete.
Die Eingabe für den Transformer war eine Sequenz aus tokenisierten Bildunterschriften, gefolgt von tokenisierten Bildausschnitten. Die Bildunterschriften waren auf Englisch, tokenisiert durch Byte-Pair-Encoding mit einem Vokabular von 16.384 und konnten bis zu 256 Tokens lang sein. Jedes Bild war ein 256×256-RGB-Bild, das in 32×32-Ausschnitte von 4×4 Pixeln unterteilt war. Jeder Ausschnitt wurde vom diskreten VAE in ein Token aus einem Vokabular von 8.192 umgewandelt.
Diese Architektur ähnelte der von GPT-3, war jedoch für die Bilderzeugung angepasst. Das autoregressive Modell sagte Bild-Tokens sequenziell voraus, konditioniert auf die Textunterschrift. CLIP, basierend auf kontrastivem Lernen, wurde verwendet, um das beste Bild aus einer größeren Menge vom Modell generierter Bilder zu bewerten und auszuwählen.
Fähigkeiten
DALL-E 1 konnte Bilder in mehreren Stilen erzeugen, darunter fotorealistische Bilder, Gemälde und Emojis. Es konnte Objekte in seinen Bildern „manipulieren und neu anordnen“ und Designelemente in neuartigen Kompositionen ohne explizite Anweisung korrekt platzieren. Wenn es beispielsweise gebeten wurde, einen Rettich zu zeichnen, der sich die Nase putzt, einen Latte schlürft oder auf einem Einrad fährt, zeichnete es oft das Taschentuch, die Hände und Füße an plausiblen Stellen.
Das Modell zeigte die Fähigkeit, „die Lücken zu füllen“, indem es ohne spezifische Prompts angemessene Details ableitete, wie das Hinzufügen von Weihnachtsbildern zu Prompts, die häufig mit dem Fest assoziiert werden, und das Platzieren von Schatten an geeigneten Stellen. Es zeigte ein breites Verständnis visueller und gestalterischer Trends.
DALL-E 1 konnte Bilder für eine Vielzahl beliebiger Beschreibungen aus verschiedenen Blickwinkeln erzeugen, mit nur seltenen Fehlern. Mark Riedl, außerordentlicher Professor an der Georgia Tech School of Interactive Computing, fand heraus, dass es Konzepte verschmelzen konnte, ein Schlüsselelement menschlicher Kreativität. Seine visuellen Denkfähigkeiten reichten aus, um Ravens Matrizen zu lösen, visuelle Tests, die oft zur Messung menschlicher Intelligenz verwendet werden.
Auswirkungen und Vermächtnis
DALL-E 1 half, die Text-zu-Bild-Generierung zu popularisieren und förderte weitere Forschung in der generativen KI. Es folgten DALL-E 2, das ein Diffusionsmodell mit 3,5 Milliarden Parametern verwendete, und DALL-E 3, das im Oktober 2023 in ChatGPT integriert wurde. Microsoft implementierte DALL-E 3 in Bings Image Creator und der Designer-App, und Copilot läuft darauf. Im März 2025 wurde DALL-E 3 in ChatGPT durch die nativen Bildgenerierungsfähigkeiten von GPT Image ersetzt.
OpenAI begann im Februar 2024, Wasserzeichen zu DALL-E-generierten Bildern hinzuzufügen, unter Verwendung von Metadaten im C2PA-Standard (Coalition for Content Provenance and Authenticity). Die Veröffentlichung von DALL-E 1 markierte einen bedeutenden Schritt in der Entwicklung von künstlicher Intelligenz und maschinellem Lernen und beeinflusste nachfolgende Modelle und Anwendungen.