CLIP (Contrastive Language-Image Pre-training) ist ein Vision-Language-Modell, das von OpenAI im Januar 2021 veröffentlicht wurde. Anstatt darauf trainiert zu werden, Bilder in eine feste Menge von Labels zu klassifizieren, lernt CLIP, Bilder mit frei formulierten Textbeschreibungen zu verknüpfen, indem es auf einem großen Datensatz von Bild-Text-Paaren trainiert wird, die aus dem Internet gesammelt wurden, mit etwa 400 Millionen Paaren.
Methode
CLIP besteht aus zwei Encodern, die gemeinsam trainiert werden: einem Bild-Encoder und einem Text-Encoder, die beide ihre jeweiligen Eingaben in einen gemeinsamen Einbettungsraum abbilden. Das Training verwendet ein kontrastives Ziel: Bei einer Stichprobe von Bild-Text-Paaren wird das Modell darauf trainiert, die Einbettung eines passenden Bildes und einer passenden Bildunterschrift in diesem Raum näher zusammenzubringen, während nicht passende Paare voneinander entfernt werden. Dieser Ansatz, der auf früheren Ideen des kontrastiven Repräsentationslernens aufbaut, ermöglichte es CLIP, allgemeine visuelle Konzepte direkt aus der natürlichen Sprachüberwachung zu lernen, die in Webtexten und Alt-Texten vorhanden ist, anstatt handbeschriftete Klassifikationsdatensätze wie ImageNet zu benötigen.
Das resultierende Modell konnte eine "Zero-Shot"-Bildklassifikation durchführen, eine Form des Zero-Shot-Lernens, indem es die Einbettung eines Bildes mit Einbettungen von Kandidaten-Textlabels vergleicht, ohne jemals explizit auf diesen Kategorien trainiert worden zu sein. Dies war eine deutliche Abkehr von den dominierenden Faltungsnetzwerk-basierten Bildklassifikatoren des vorherigen Jahrzehnts, die typischerweise eine aufgabenspezifische Feinabstimmung erforderten.
Rolle in der Bildgenerierung
CLIPs bedeutendste Auswirkung kam nicht von der Klassifikation, sondern von seiner Verwendung als Steuerungssignal für generative Bildmodelle. Kurz nach der Veröffentlichung kombinierten unabhängige Forscher und Hobbyisten CLIP mit bestehenden Bildgenerierungstechniken, einschließlich früher GAN-basierter Methoden und später Diffusionsmodellen, und nutzten CLIPs Text-Bild-Ähnlichkeitswerte, um die Generierung in Richtung von Bildern zu lenken, die einem bestimmten Prompt entsprachen. Dieser "CLIP-gesteuerte" Ansatz wurde zu einer Grundlage der frühen offenen Text-zu-Bild-Kunstgemeinschaft, bevor speziell entwickelte Systeme aufkamen.
CLIPs Text-Encoder wurde anschließend direkt in große Text-zu-Bild-Systeme integriert, insbesondere als Konditionierungskomponente in Stable Diffusion, und seine zugrunde liegende Architektur und sein Trainingsrezept beeinflussten andere multimodale Modelle in der gesamten Branche, einschließlich Versionen von DALL-E und nachfolgenden Vision-Language-Systemen. Da CLIPs Einbettungen semantische Ähnlichkeit zwischen Bildern und Text erfassen, wurde das Modell auch für inhaltsbasierte Bildsuche, semantische Suche über Bildsammlungen und als automatisiertes Metrik zur Bewertung verwendet, wie gut ein generiertes Bild zu seinem Prompt passt.
Bedeutung und Einschränkungen
CLIP wird häufig als ein frühes und einflussreiches Beispiel für die Skalierung kontrastiven Vortrainings auf verrauschten, webbasierten Daten angeführt, anstatt sich auf kuratierte Labels zu verlassen - eine Strategie, die später in der multimodalen KI-Forschung aufgegriffen wurde. Es wurde auch als Fall von algorithmischer Verzerrung untersucht, die aus Internet-Trainingsdaten stammt, wobei Forscher verzerrte Assoziationen entlang von Rasse, Geschlecht und anderen sozialen Kategorien dokumentierten, die Vorurteile in den zugrunde liegenden, aus dem Web gescrapten Bildunterschriften widerspiegeln. OpenAI veröffentlichte CLIPs Gewichte offen, im Gegensatz zu den späteren, meist geschlossenen Veröffentlichungen des Unternehmens, was dazu beitrug, dass es zu einem weit verbreiteten Baustein im Open-Source-Ökosystem der generativen KI wurde.