CLIPScore ist eine Metrik zur Bewertung der Qualität von Bildunterschriften, die von Systemen der künstlichen Intelligenz erzeugt werden. Es handelt sich um eine referenzfreie Metrik, das heißt, sie benötigt keine von Menschen verfassten Ground-Truth-Referenzunterschriften zum Vergleich. Stattdessen misst sie direkt die semantische Übereinstimmung zwischen einem Bild und einer Kandidatenunterschrift mithilfe eines vortrainierten neuronalen Netzwerks namens CLIP (Contrastive Language-Image Pre-training).
Die Metrik wurde 2021 von Forschern der Universität Kopenhagen und der Technischen Universität Dänemarks unter der Leitung von Jack Hessel eingeführt. Sie wurde in jenem Jahr auf der Conference on Empirical Methods in Natural Language Processing (EMNLP) vorgestellt. Die Kernidee besteht darin, den gemeinsamen Einbettungsraum zu nutzen, den CLIP gelernt hat, in dem Bilder und ihre entsprechenden Textbeschreibungen auf Vektoren abgebildet werden, die nahe beieinanderliegen. CLIPScore berechnet die Kosinusähnlichkeit zwischen der CLIP-Einbettung des Bildes und der CLIP-Einbettung der Unterschrift, optional gewichtet mit einer Strafe für übermäßig kurze Unterschriften.
Berechnung und Varianten
Der Basis-CLIPScore ist definiert als die Kosinusähnlichkeit zwischen den normalisierten Einbettungen des Bildes und der Unterschrift, multipliziert mit einem Faktor, der die Länge der Unterschrift berücksichtigt. Genauer gesagt lautet die Formel: CLIPScore(I, c) = w * max(cos(I, c), 0), wobei w ein Gewichtungsterm ist, der 2,5 beträgt, wenn die Unterschrift weniger als eine bestimmte Anzahl von Token aufweist (typischerweise 10), und andernfalls 1. Diese Strafe verhindert übermäßig knappe Unterschriften, die das Bild möglicherweise trivial abgleichen.
Eine Variante namens RefCLIPScore integriert Referenzunterschriften, indem sie den CLIPScore zwischen dem Bild und jeder Referenz mittelt und diesen dann mit dem Basis-CLIPScore über ein harmonisches Mittel kombiniert. Diese Variante wird verwendet, wenn menschliche Referenzen verfügbar sind, aber der Hauptvorteil von CLIPScore liegt in seiner Fähigkeit, ohne diese zu arbeiten.
Vorteile gegenüber traditionellen Metriken
Traditionelle Metriken für die Bildunterschriftengenerierung wie BLEU, ROUGE, METEOR und CIDEr basieren auf der n-Gramm-Überlappung zwischen der erzeugten Unterschrift und Referenzunterschriften. Diese Metriken sind referenzbasiert und erfassen oft keine semantische Ähnlichkeit, da sie Paraphrasen bestrafen, die sprachlich unterschiedlich, aber semantisch äquivalent sind. CLIPScore begegnet diesem Problem, indem es in einem hochdimensionalen semantischen Raum arbeitet, der aus einem großen Korpus von Bild-Text-Paaren gelernt wurde. Dies ermöglicht es, zu erkennen, dass „ein Hund, der mit einem Ball spielt“ und „ein Hund, der einen Ball apportiert“ dieselbe Szene beschreiben, selbst wenn keine gemeinsamen Wörter vorhanden sind.
Empirische Studien haben gezeigt, dass CLIPScore besser mit menschlichen Bewertungen der Unterschriftenqualität korreliert als traditionelle Metriken, und zwar über mehrere Benchmark-Datensätze hinweg, darunter Flickr8k, Flickr30k und MS COCO. Seine referenzfreie Natur macht es außerdem besonders nützlich für die Bewertung von Unterschriften in neuen Domänen oder für Zero-Shot-Modelle zur Unterschriftengenerierung, bei denen Referenzunterschriften nicht verfügbar sind.
Anwendungen und Einschränkungen
CLIPScore wurde weitgehend bei der Bewertung von generativen-KI-Modellen für die Bildunterschriftengenerierung und die Text-zu-Bild-Generierung übernommen. Es wird oft zusammen mit anderen Metriken verwendet, um eine ganzheitliche Bewertung zu ermöglichen. Beispielsweise wird bei Text-zu-Bild-Modellen eine Variante namens CLIPScore verwendet, um die Übereinstimmung zwischen einem erzeugten Bild und einer Textaufforderung zu messen, was Forschern hilft, Modellparameter abzustimmen.
Trotz seiner Stärken hat CLIPScore bekannte Einschränkungen. Es reagiert empfindlich auf die Wahl des CLIP-Modell-Checkpoints, da verschiedene Checkpoints unterschiedliche Werte erzeugen können. Es kann auch gegenüber Unterschriften voreingenommen sein, die häufige Objekte oder Attribute erwähnen, und es erfasst möglicherweise nicht vollständig feine Details oder kompositionelles Denken. Darüber hinaus misst es nicht direkt grammatikalische Korrektheit oder Flüssigkeit, daher wird es oft mit Flüssigkeitsmetriken auf Basis von Sprachmodellen kombiniert.
Beziehung zu anderen KI-Metriken
CLIPScore ist Teil eines breiteren Trends in der Bewertung des maschinellen Lernens, der sich von n-Gramm-basierten Metriken hin zu gelernten, einbettungsbasierten Metriken bewegt. Es teilt konzeptionelle Ähnlichkeiten mit Metriken wie BERTScore für Textzusammenfassung und Übersetzung, die Einbettungen aus Transformatoren großer Sprachmodelle verwenden. CLIPScore ist jedoch einzigartig, da es modalübergreifend arbeitet und Vision und Sprache verbindet.
Die Entwicklung von CLIPScore wurde durch die Veröffentlichung von OpenAIs CLIP-Modell Anfang 2021 ermöglicht, das selbst ein transformerbasiertes neuronales Netzwerk ist, das auf 400 Millionen Bild-Text-Paaren trainiert wurde. Der Erfolg von CLIPScore hat nachfolgende Arbeiten zur referenzfreien Bewertung in anderen multimodalen Aufgaben inspiriert, wie etwa der Videounterschriftengenerierung und der visuellen Fragebeantwortung.