DALL-E ist eine Serie von Text-zu-Bild-Generierungsmodellen, die von OpenAI entwickelt wurde und deren Name ein Kofferwort aus dem Künstler Salvador Dalí und dem Pixar-Roboter WALL-E ist. Das ursprüngliche DALL-E wurde im Januar 2021 als ein Transformer-Modell mit 12 Milliarden Parametern angekündigt, das auf derselben Architekturfamilie wie GPT-3 basiert und darauf trainiert wurde, Bilder aus Textbeschreibungen zu generieren, indem die Bildgenerierung als Sequenzvorhersageproblem über diskrete Bild-Tokens behandelt wird, anstatt die Diffusions-Techniken zu verwenden, die das Feld später dominieren sollten.
Entwicklung über Versionen hinweg
DALL-E 2, veröffentlicht im April 2022, ersetzte den ursprünglichen Ansatz mit diskreten Tokens durch eine diffusionsbasierte Architektur, die von CLIP, dem gemeinsamen Bild-Text-Embedding-Modell von OpenAI, gesteuert wird. Dies führte zu erheblich höher aufgelösten und fotorealistischeren Bildern und führte eine „Inpainting“-Funktion ein, mit der Teile vorhandener Bilder anhand einer Textbeschreibung bearbeitet werden können. Die öffentliche Beta von DALL-E 2, gefolgt von der allgemeinen Verfügbarkeit später im Jahr 2022, zog erhebliche Aufmerksamkeit der Mainstream-Medien auf sich und wird weithin, zusammen mit zeitgenössischen Veröffentlichungen wie Midjourney und Stable Diffusion, dafür anerkannt, KI-generierte Bilder erstmals ins öffentliche Bewusstsein der breiten Masse gebracht zu haben. DALL-E 3, veröffentlicht im Jahr 2023 und direkt in ChatGPT für Abonnenten integriert, verbesserte die Befolgung von Aufforderungen und die Textdarstellung in Bildern und nutzte ChatGPT selbst, um kurze Benutzeraufforderungen zu erweitern und zu verfeinern, bevor sie an das Bildmodell weitergegeben wurden.
Rezeption und Auswirkungen
Die Veröffentlichungen von DALL-E lösten eine erhebliche öffentliche Debatte über die Zukunft der visuellen kreativen Arbeit aus, die sowohl Begeisterung von Nutzern, die mit KI-gestützter Kunst und Design experimentierten, als auch Besorgnis von professionellen Illustratoren und Fotografen über Verdrängung und die Verwendung urheberrechtlich geschützter Bilder in Trainingsdaten ohne Zustimmung hervorrief. Dieser Streit trug zu breiteren KI-Urheberrechts-Klagen in der generativen KI-Branche bei. Das System wurde auch wegen seines Potenzials zur Erzeugung von Desinformation und nicht einvernehmlichen Bildern kritisiert, was OpenAI dazu veranlasste, Inhaltsfilter einzuführen und zeitweise Einschränkungen bei der Generierung erkennbarer Gesichter öffentlicher Personen zu erlassen.
Vermächtnis
DALL-E wird allgemein als eines der Modelle anerkannt, das zusammen mit früheren akademischen Arbeiten zu GANs und späteren offenen Wettbewerbern die Text-zu-Bild-Generierung als Mainstream-Verbraucher- und kommerzielle Technologie etablierte, anstatt als Forschungskuriosität. Sein Erfolg trug direkt zur breiteren multimodalen Strategie von OpenAI bei, informierte die Bildverständnis- und Bildgenerierungsfähigkeiten, die später in GPT-4 und nachfolgende Modelle integriert wurden, und half, das Verfassen von Aufforderungen als eine Fähigkeit zu popularisieren, die für visuelle, nicht nur textuelle, generative KI-Systeme relevant ist.