DALL-E 2 ist ein Text-zu-Bild-Modell, das von OpenAI entwickelt und am 6. April 2022 als Nachfolger des ursprünglichen DALL-E angekündigt wurde. Es nutzt Methoden des Deep Learning, um digitale Bilder aus natürlichen Sprachbeschreibungen, sogenannten Prompts, zu erzeugen. Das Modell wurde entwickelt, um realistischere Bilder mit höheren Auflösungen als sein Vorgänger zu produzieren, mit der Fähigkeit, Konzepte, Attribute und Stile zu kombinieren. Sein Name ist ein Kofferwort aus der Pixar-Roboterfigur WALL-E und dem spanischen surrealistischen Künstler Salvador Dalí.
Geschichte und Hintergrund
Das ursprüngliche DALL-E wurde von OpenAI in einem Blogbeitrag am 5. Januar 2021 vorgestellt und verwendete eine modifizierte Version von GPT-3 zur Bilderzeugung. DALL-E 2 wurde am 6. April 2022 angekündigt und trat am 20. Juli 2022 in eine Beta-Phase ein, wobei Einladungen an 1 Million Personen auf der Warteliste gesendet wurden. Während dieser Phase konnten Nutzer eine bestimmte Anzahl von Bildern pro Monat kostenlos generieren und weitere erwerben. Der Zugang war zuvor aus ethischen und sicherheitstechnischen Bedenken auf vorab ausgewählte Nutzer für eine Forschungsvorschau beschränkt. Am 28. September 2022 wurde DALL-E 2 für alle geöffnet und die Wartelistenanforderung entfernt. Anfang November 2022 veröffentlichte OpenAI DALL-E 2 als API, sodass Entwickler das Modell in ihre eigenen Anwendungen integrieren konnten. Microsoft implementierte DALL-E 2 anschließend in seiner Designer-App und dem Image Creator-Tool, das in Bing und Microsoft Edge enthalten ist. Die API arbeitet auf Kosten-pro-Bild-Basis, wobei die Preise je nach Bildauflösung variieren und Mengenrabatte für Unternehmenskunden verfügbar sind. Im Februar 2024 begann OpenAI, Wasserzeichen zu von DALL-E generierten Bildern hinzuzufügen, die Metadaten im C2PA-Standard (Coalition for Content Provenance and Authenticity) enthalten, der von der Content Authenticity Initiative gefördert wird.
Technologie
DALL-E 2 verwendet 3,5 Milliarden Parameter, eine geringere Anzahl als sein Vorgänger. Anstelle eines autoregressiven Transformers setzt es ein Diffusionsmodell ein, das auf CLIP-Bild-Einbettungen konditioniert ist. Während der Inferenz werden diese Bild-Einbettungen von einem Prior-Modell aus CLIP-Text-Einbettungen erzeugt. Diese Architektur ist dieselbe wie die von Stable Diffusion, das einige Monate später veröffentlicht wurde. Das Modell baut auf früheren Arbeiten in generativer KI und Deep Learning auf, insbesondere auf der Entwicklung der Transformer-Architektur durch OpenAI und andere. Das erste generative vortrainierte Transformer-Modell (GPT) wurde 2018 von OpenAI entwickelt, 2019 auf GPT-2 und 2020 auf GPT-3 mit 175 Milliarden Parametern skaliert. DALL-E 2s Diffusionsansatz unterscheidet sich von der autoregressiven Methode des ursprünglichen DALL-E, das einen diskreten VAE und ein Decoder-only-Transformer-Modell mit 12 Milliarden Parametern verwendete.
Fähigkeiten
DALL-E 2 kann Bilder in mehreren Stilen erzeugen, darunter fotorealistische Bilder, Gemälde und Emojis. Es kann Objekte in seinen Bildern manipulieren und neu anordnen sowie Designelemente in neuartigen Kompositionen ohne explizite Anweisung korrekt platzieren. Das Modell zeigt ein breites Verständnis visueller und gestalterischer Trends und kann Bilder für eine Vielzahl beliebiger Beschreibungen aus verschiedenen Blickwinkeln mit nur seltenen Fehlern produzieren. Seine visuelle Denkfähigkeit reicht aus, um Ravens Matrizen zu lösen, visuelle Tests, die oft an Menschen zur Messung der Intelligenz durchgeführt werden. DALL-E 2 unterstützt auch Bildmodifikationen, einschließlich der Erzeugung von Variationen vorhandener Bilder und deren Bearbeitung durch Inpainting und Outpainting. Diese Fähigkeiten nutzen Kontext aus einem Bild, um fehlende Bereiche mit einem zum Original konsistenten Medium gemäß einem gegebenen Prompt zu füllen. Beispielsweise kann Outpainting ein Bild über seine ursprünglichen Grenzen hinaus erweitern, wobei vorhandene visuelle Elemente wie Schatten, Reflexionen und Texturen berücksichtigt werden.
Auswirkungen und Vermächtnis
DALL-E 2 markierte einen bedeutenden Fortschritt in der Text-zu-Bild-Generierung und brachte die Technologie durch seine offene Beta und die spätere Entfernung der Warteliste einem breiteren Publikum näher. Seine Veröffentlichung weckte Interesse an generativer KI und beeinflusste nachfolgende Entwicklungen in diesem Bereich, einschließlich DALL-E 3, das im Oktober 2023 nativ in ChatGPT für Plus- und Enterprise-Kunden veröffentlicht wurde. DALL-E 3 wurde später in Microsofts Bing Image Creator und Copilot integriert und im März 2025 in ChatGPT durch die nativen Bildgenerierungsfähigkeiten von GPT Image ersetzt. Die diffusionsbasierte Architektur des Modells beeinflusste auch andere Systeme wie Stable Diffusion und trug zur schnellen Entwicklung von maschinellem Lernen-Anwendungen für kreative Aufgaben bei. DALL-E 2s Ansatz zur Sicherheit, einschließlich des eingeschränkten Zugriffs während der Forschungsvorschau und der späteren Wasserzeichen, setzte Präzedenzfälle für die verantwortungsvolle Bereitstellung generativer Modelle.
Rezeption und Bedenken
Die Veröffentlichung von DALL-E 2 erregte erhebliche öffentliche und akademische Aufmerksamkeit und hob sowohl das kreative Potenzial als auch die ethischen Herausforderungen KI-generierter Bilder hervor. Zu den Bedenken gehörten der mögliche Missbrauch zur Erstellung irreführender Inhalte, Urheberrechtsfragen und die Auswirkungen auf Künstler und Designer. OpenAIs schrittweise Einführung mit anfänglichen Einschränkungen und einer Warteliste spiegelte diese Bedenken wider. Die Fähigkeit des Modells, realistische Bilder aus Textprompts zu erzeugen, warf auch Fragen zu Herkunft und Authentizität auf, was zur Einführung von C2PA-Wasserzeichen im Jahr 2024 führte. Trotz dieser Herausforderungen wurde DALL-E 2 weithin für seine technischen Errungenschaften und seine benutzerfreundliche Oberfläche gelobt, was dazu beitrug, die Text-zu-Bild-Generierung bei Nicht-Spezialisten zu popularisieren.