DALL-E ist eine Serie von Text-zu-Bild-Modellen, die von OpenAI mit Methoden des Deep Learning entwickelt wurde, um digitale Bilder aus natürlichsprachlichen Beschreibungen, sogenannten Prompts, zu generieren. Die erste Version wurde im Januar 2021 angekündigt, gefolgt von DALL-E 2 im Jahr 2022 und DALL-E 3 im Jahr 2023. Der Name ist ein Kofferwort aus dem Pixar-Robotercharakter WALL-E und dem spanischen surrealistischen Künstler Salvador Dalí.
Die Modelle sind Teil des breiteren Feldes der generativen künstlichen Intelligenz, das sich auf die Erstellung neuer Inhalte wie Bilder, Texte oder Audio konzentriert. Die Fähigkeiten von DALL-E haben nachfolgende Entwicklungen in der Text-zu-Bild-Generierung beeinflusst und wurden in verschiedene kommerzielle Produkte integriert.
Geschichte und Hintergrund
OpenAI stellte DALL-E in einem Blogbeitrag am 5. Januar 2021 vor und verwendete dabei eine modifizierte Version seines GPT-3-Modells zur Bilderzeugung. Am 6. April 2022 kündigte das Unternehmen DALL-E 2 an, einen Nachfolger, der darauf ausgelegt war, realistischere Bilder in höheren Auflösungen zu erzeugen und Konzepte, Attribute und Stile zu kombinieren. Der Zugang zu DALL-E 2 war zunächst aufgrund ethischer und sicherheitsrelevanter Bedenken auf vorab ausgewählte Nutzer für eine Forschungsvorschau beschränkt. Am 20. Juli 2022 trat das Modell in eine Betaphase ein, wobei Einladungen an 1 Million Personen auf der Warteliste gesendet wurden, die eine bestimmte Anzahl kostenloser Bilder pro Monat ermöglichten, mit Optionen zum Kauf weiterer. Die Wartelistenanforderung wurde am 28. September 2022 entfernt, wodurch das Modell für alle geöffnet wurde.
Im September 2023 kündigte OpenAI DALL-E 3 an, das deutlich mehr Nuancen und Details verstehen konnte als frühere Iterationen. Es wurde im Oktober 2023 nativ in ChatGPT für ChatGPT-Plus- und ChatGPT-Enterprise-Kunden integriert, mit Verfügbarkeit über die API und die Labs-Plattform von OpenAI Anfang November desselben Jahres. Microsoft implementierte DALL-E 3 im Bing-Bildersteller-Tool und plante die Verwendung in seiner Designer-App, wobei Microsoft Copilot auf DALL-E 3 läuft. Im März 2025 wurde DALL-E 3 in ChatGPT durch die native Bildgenerierungsfunktionen von GPT Image ersetzt.
Im Februar 2024 begann OpenAI, Wasserzeichen zu von DALL-E generierten Bildern hinzuzufügen, die Metadaten im C2PA-Standard (Coalition for Content Provenance and Authenticity) enthalten, der von der Content Authenticity Initiative gefördert wird.
Technologie
Das erste generative vortrainierte Transformer-Modell (GPT) wurde 2018 von OpenAI unter Verwendung einer Transformer-Architektur entwickelt. Es wurde 2019 auf GPT-2 und 2020 auf GPT-3 mit 175 Milliarden Parametern skaliert. DALL-E baut auf dieser Grundlage auf.
DALL-E
Das ursprüngliche DALL-E hat drei Komponenten: einen diskreten variationalen Autoencoder (VAE), ein autoregressives, nur aus Decodern bestehendes Transformer-Modell mit 12 Milliarden Parametern ähnlich GPT-3 sowie ein CLIP-Paar aus Bild- und Text-Encodern. Der diskrete VAE wandelt ein Bild in eine Sequenz von Tokens um und zurück, da der Transformer Bilddaten nicht direkt verarbeitet. Die Eingabe ist eine Sequenz aus tokenisierten Bildunterschriften, gefolgt von tokenisierten Bildausschnitten. Die Bildunterschriften sind in Englisch, tokenisiert durch Byte-Pair-Encoding mit einer Vokabulargröße von 16.384 und können bis zu 256 Tokens lang sein. Jedes Bild ist 256 mal 256 RGB, unterteilt in 32 mal 32 Ausschnitte von 4 mal 4 Pixeln, wobei jeder Ausschnitt vom VAE in ein Token aus einem Vokabular von 8.192 umgewandelt wird.
DALL-E wurde zusammen mit CLIP (Contrastive Language-Image Pre-training) entwickelt, einem separaten Modell, das auf kontrastivem Lernen basiert und mit 400 Millionen Paaren von Bildern und Textunterschriften aus dem Internet trainiert wurde. CLIP bewertet die Ausgabe von DALL-E, indem es vorhersagt, welche Bildunterschrift aus einer Liste von 32.768 zufällig ausgewählten Bildunterschriften am besten zu einem Bild passt. Ein trainiertes CLIP-Paar filtert eine größere anfängliche Liste von Bildern, um dasjenige auszuwählen, das dem Text-Prompt am nächsten kommt.
DALL-E 2
DALL-E 2 verwendet 3,5 Milliarden Parameter, weniger als sein Vorgänger. Anstelle eines autoregressiven Transformers verwendet es ein Diffusionsmodell, das auf CLIP-Bild-Embeddings konditioniert ist, die während der Inferenz von einem Prior-Modell aus CLIP-Text-Embeddings generiert werden. Diese Architektur ist dieselbe wie die von Stable Diffusion, das einige Monate später veröffentlicht wurde.
DALL-E 3
Ein technischer Bericht für DALL-E 3 wurde verfasst, enthält jedoch keine Trainings- oder Implementierungsdetails, sondern konzentriert sich stattdessen auf verbesserte Fähigkeiten zur Prompt-Befolgung.
Fähigkeiten
DALL-E kann Bilder in mehreren Stilen erzeugen, einschließlich fotorealistischer Bilder, Gemälden und Emojis. Es kann Objekte in Bildern manipulieren und neu anordnen und Designelemente in neuartigen Kompositionen ohne explizite Anweisung korrekt platzieren. Wenn man es beispielsweise bittet, einen Rettich zu zeichnen, der sich die Nase putzt, einen Latte schlürft oder Einrad fährt, zeichnet DALL-E oft Taschentuch, Hände und Füße an plausiblen Stellen. Es kann angemessene Details ohne spezifische Prompts ableiten, wie das Hinzufügen von Weihnachtsbildern zu Prompts, die häufig mit dem Fest assoziiert werden, oder das Platzieren von Schatten angemessen. DALL-E zeigt auch ein breites Verständnis visueller und gestalterischer Trends.
Das Modell kann Bilder für eine Vielzahl beliebiger Beschreibungen aus verschiedenen Blickwinkeln erzeugen, mit nur seltenen Fehlern. Mark Riedl, außerordentlicher Professor an der Georgia Tech School of Interactive Computing, stellte fest, dass DALL-E Konzepte verschmelzen konnte, was als Schlüsselelement menschlicher Kreativität beschrieben wird. Seine visuelle Denkfähigkeit reicht aus, um Ravens Matrizen zu lösen, visuelle Tests, die oft an Menschen zur Messung der Intelligenz durchgeführt werden.
DALL-E 3 folgt komplexen Prompts mit größerer Genauigkeit und Detailtreue als seine Vorgänger und kann kohärenteren und genaueren Text erzeugen. Es ist in ChatGPT Plus integriert.
Bildmodifikation
Bei einem vorhandenen Bild können DALL-E 2 und DALL-E 3 Variationen des Bildes als einzelne Ausgaben basierend auf dem Original erzeugen sowie das Bild bearbeiten, um es zu modifizieren oder zu erweitern. Die Inpainting- und Outpainting-Fähigkeiten dieser Modelle nutzen Kontext aus einem Bild, um fehlende Bereiche mit einem Medium zu füllen, das mit dem Original konsistent ist, und folgen dabei einem gegebenen Prompt. Beispielsweise kann dies verwendet werden, um ein neues Motiv in ein Bild einzufügen oder ein Bild über seine ursprünglichen Grenzen hinaus zu erweitern. Laut OpenAI berücksichtigt Outpainting die vorhandenen visuellen Elemente des Bildes, einschließlich Schatten, Reflexionen und Texturen.
Auswirkungen und Übernahme
DALL-E wurde in kommerziellen Tools weit verbreitet übernommen. Microsoft implementierte DALL-E 2 in seiner Designer-App und im Bildersteller-Tool, das in Bing und Microsoft Edge enthalten ist. Die API funktioniert auf Kosten-pro-Bild-Basis, wobei die Preise je nach Bildauflösung variieren, und Mengenrabatte sind für Unternehmen verfügbar, die mit dem Enterprise-Team von OpenAI zusammenarbeiten. Der Einfluss des Modells erstreckt sich auf andere Text-zu-Bild-Systeme und hat zu Diskussionen über Sicherheit künstlicher Intelligenz, Urheberrecht und Inhaltsherkunft beigetragen.