DALL-E 1, stilisiert als DALL·E, ist ein von OpenAI entwickeltes Text-zu-Bild-Modell, das auf Deep-Learning-Methodik basiert. Es erzeugt digitale Bilder aus natürlichen Sprachbeschreibungen, sogenannten Prompts. Die erste Version von DALL-E wurde im Januar 2021 angekündigt und war damit eines der ersten prominenten Modelle, das große Sprachmodelle mit Bildgenerierung kombinierte. Der Name der Software ist ein Kofferwort aus den Namen des animierten Roboters WALL-E und des spanischen surrealistischen Künstlers Salvador Dalí.
Sein Nachfolger, DALL-E 2, wurde im April 2022 veröffentlicht, mit einer öffentlichen Beta im Juli 2022. DALL-E 3, veröffentlicht im Oktober 2023, wurde nativ in ChatGPT für Plus- und Enterprise-Kunden integriert. DALL-E 3 wurde später in ChatGPT durch die native Bildgenerierungsfunktion von GPT Image im März 2025 ersetzt.
Geschichte und Hintergrund
DALL-E wurde von OpenAI in einem Blogbeitrag am 5. Januar 2021 vorgestellt. Das Modell verwendete eine Version von gpt-partnr?, aber für Bilder, eine Transformer-Architektur, die für die Bildgenerierung angepasst wurde. Zu dieser Zeit war OpenAI für große Sprachmodelle wie GPT-3 bekannt, aber DALL-E markierte einen Wechsel hin zu multimodaler künstlicher Intelligenz - die sowohl Text- als auch Bilddomänen verarbeitet. Der Name des Modells folgte dem Trend spielerischer Akronyme und Wortspiele, die in der Namensgebung von OpenAI üblich sind.
Im Februar 2024 begann OpenAI, Wasserzeichen zu DALL-E-generierten Bildern hinzuzufügen, die Metadaten im C2PA-Standard (Coalition for Content Provenance and Authenticity) enthalten, der von der Content Authenticity Initiative gefördert wird, um die Herkunft von Bildern nachvollziehbar zu machen.
Technologie
Das erste generative vortrainierte Transformer-Modell (GPT) wurde ursprünglich 2018 von OpenAI entwickelt und verwendete eine Transformer-Architektur. Die erste Iteration, GPT-1, wurde zu GPT-2 im Jahr 2019 skaliert; 2020 wurde es erneut zu GPT-3 skaliert, mit 175 Milliarden Parametern. DALL-E ist eine eigenständige Variante von GPT-3, die modifiziert wurde, um Bilder zu erzeugen.
DALL-E 1
DALL-E hat drei Komponenten: einen diskreten Variations-Encoder?, ein autoregressives Decoder-only-Transformer-Modell (12 Milliarden Parameter), ähnlich wie GPT-3, und ein CLIP-Paar aus Bild-Encoder und Text-Encoder.
Der diskrete Variations-Autoencoder (VAE) wandelt ein Bild in eine Sequenz von Tokens um und umgekehrt eine Sequenz von Tokens zurück in ein Bild. Dies ist notwendig, da das Transformer-Modell keine Bilddaten direkt verarbeitet. Die Eingabe für den Transformer ist eine Sequenz aus tokenisierter Bildunterschrift, gefolgt von tokenisierten Bildausschnitten. Die Unterschrift ist auf Englisch, tokenisiert durch Byte-Pair-Encoding (Vokabulargröße 16384) und kann bis zu 256 Tokens lang sein. Jedes Bild ist ein 256x256-RGB-Bild, unterteilt in 32x32-Ausschnitte von jeweils 4x4. Jeder Ausschnitt wird dann durch einen diskreten VAE in ein Token (Vokabulargröße 8192) umgewandelt.
DALL-E wird in Verbindung mit CLIP (Contrastive Language-Image Pre-training) entwickelt und veröffentlicht. CLIP ist ein separates Modell, das auf kontrastivem Lernen basiert und mit 400 Millionen Paaren von Bildern mit Textunterschriften aus dem Internet trainiert wurde. Seine Rolle besteht darin, die Ausgabe von DALL-E zu verstehen und zu bewerten, indem es vorhersagt, welche Unterschrift aus einer Liste von 32.768 zufällig ausgewählten Unterschriften (von denen eine korrekt ist) am besten zu einem Bild passt. Ein trainiertes CLIP-Paar filtert eine größere anfängliche Liste von Bildern, die von DALL-E generiert wurden, um das Bild auszuwählen, das dem Textprompt am nächsten kommt.
Nachfolger
DALL-E 2 verwendet 3,5 Milliarden Parameter, eine geringere Anzahl als sein Vorgänger. Anstelle eines autoregressiven Transformers verwendet es ein Diffusionsmodell, das auf CLIP-Bild-Embeddings konditioniert ist, die während der Inferenz durch ein Prior-Modell aus CLIP-Text-Embeddings erzeugt werden. Dies ist dieselbe Architektur wie die von Stable-Diffusion, die einige Monate später veröffentlicht wurde.
DALL-E 3, veröffentlicht im September 2023, folgt komplexen Prompts mit größerer Genauigkeit und Detailtreue als frühere Iterationen und kann kohärenteren Text erzeugen. Obwohl ein technischer Bericht für das Modell verfasst wurde, enthält dieser keine Trainings- oder Implementierungsdetails, sondern konzentriert sich auf die verbesserte Prompt-Befolgung.
Fähigkeiten
DALL-E kann Bilder in mehreren Stilen erzeugen, darunter fotorealistische Bilder, Gemälde und Emojis. Es kann Objekte in seinen Bildern manipulieren und neu anordnen und kann Designelemente in neuartigen Kompositionen ohne explizite Anweisung korrekt platzieren. Es zeigt kreative Denkfähigkeiten, wie das Ausfüllen plausibler Details für Prompts - zum Beispiel das Hinzufügen von Weihnachtsbildern zu Prompts, die mit dem Fest assoziiert werden, oder angemessen platzierte Schatten, auch wenn diese nicht erwähnt werden. DALL-E zeigt ein breites Verständnis von visuellen Designtrends.
DALL-E kann Bilder für eine Vielzahl beliebiger Beschreibungen aus verschiedenen Blickwinkeln erzeugen, mit nur seltenen Fehlern. Mark Riedl, außerordentlicher Professor an der Georgia Tech School of Interactive Computing, stellte fest, dass DALL-E Konzepte verschmelzen kann, ein Schlüsselelement menschlicher Kreativität. Seine visuellen Denkfähigkeiten reichen aus, um Raven-Matrizen zu lösen, visuelle Tests, die oft zur Messung von Intelligenz eingesetzt werden.
Bildmodifikation
Bei einem vorhandenen Bild können DALL-E 2 und DALL-E 3 Variationen des Bildes erzeugen und es bearbeiten, um die Szene zu modifizieren oder zu erweitern. Die Inpainting- und Outpainting-Fähigkeiten dieser Modelle nutzen Kontext aus dem Bild, um fehlende Bereiche mit einem Stil zu füllen, der zum Original passt, und folgen dabei einem gegebenen Prompt. Dies kann verwendet werden, um ein neues Motiv einzufügen oder ein Bild über seine Grenzen hinaus zu erweitern. Laut OpenAI berücksichtigt Outpainting die vorhandenen visuellen Elemente des Bildes, einschließlich Schatten, Reflexionen und Texturen.
Anwendungen und Auswirkungen
DALL-E 1 eröffnete eine neue Ära der generativen KI-Bilderstellung und beeinflusste spätere Modelle und Anwendungen. Sein Nachfolger DALL-E 2 wurde im November 2022 über eine API verfügbar gemacht, sodass Entwickler das Modell in Anwendungen integrieren konnten, mit Preisgestaltung pro Bild. Microsoft integrierte DALL-E 2 in seine Designer-App und das Image-Creator-Tool in Bing und Edge. DALL-E 3 wurde im Oktober 2023 in ChatGPT für Plus- und Enterprise-Kunden integriert, mit API- und Labs-Verfügbarkeit im November. Im Februar 2024 fügte OpenAI Wasserzeichen zu DALL-E-Bildern hinzu, die dem C2PA-Standard folgen.
Referenzen
Dieser Artikel basiert auf Informationen aus öffentlichen Berichten und den eigenen Veröffentlichungen von OpenAI.