CLIPScoreは、人工知能システムによって生成された画像キャプションの品質を評価するための指標です。これは参照不要の指標であり、比較のための人間が作成した正解キャプション（グラウンドトゥルース）を必要としません。その代わりに、CLIP（Contrastive Language-Image Pre-training）と呼ばれる事前学習済みニューラルネットワークを直接使用して、画像と候補キャプション間の意味的な整合性を測定します。
この指標は、2021年にコペンハーゲン大学とデンマーク工科大学の研究者らによって、Jack Hessel氏の主導で導入されました。同年、自然言語処理に関する国際会議（EMNLP）で発表されました。中心となるアイデアは、CLIPが学習した共同埋め込み空間を活用することです。この空間では、画像とそれに対応するテキスト記述が互いに近いベクトルとしてマッピングされます。CLIPScoreは、画像のCLIP埋め込みとキャプションのCLIP埋め込み間のコサイン類似度を計算し、必要に応じて短すぎるキャプションに対するペナルティで重み付けします。
計算と変種
基本のCLIPScoreは、正規化された画像の埋め込みとキャプションの埋め込み間のコサイン類似度として定義され、キャプションの長さを考慮する係数が乗算されます。具体的には、式は次のようになります：CLIPScore(I, c) = w * max(cos(I, c), 0)。ここで、wは重み付け項であり、キャプションのトークン数が一定数（通常は10）未満の場合は2.5、それ以外の場合は1となります。このペナルティは、画像と自明に一致する可能性のある過度に簡潔なキャプションを抑制します。
RefCLIPScoreと呼ばれる変種は、参照キャプションを組み込みます。これは、画像と各参照キャプション間のCLIPScoreの平均を計算し、その後、基本のCLIPScoreと調和平均を用いて組み合わせます。この変種は、人間の参照キャプションが利用可能な場合に使用されますが、CLIPScoreの主な利点は、それらなしで機能する能力にあります。
従来の指標に対する利点
BLEU、ROUGE、METEOR、CIDErなどの従来の画像キャプション評価指標は、生成されたキャプションと参照キャプション間のn-gram重複に依存しています。これらの指標は参照ベースであり、言語的に異なるが意味的に等価な言い換えを penalize することが多く、意味的類似性を捉え損ねることがよくあります。CLIPScoreは、大規模な画像とテキストのペアのコーパスから学習された高次元の意味空間で操作することにより、この問題に対処します。これにより、「a dog playing fetch」と「a canine retrieving a ball」のように、共通の単語がなくても同じシーンを記述していることを認識できます。
実証研究により、CLIPScoreは、Flickr8k、Flickr30k、MS COCOを含む複数のベンチマークデータセットにおいて、従来の指標よりも人間の判断と高い相関を示すことが示されています。また、その参照不要の性質により、参照キャプションが利用できない新しいドメインやゼロショットキャプションモデルの評価に特に役立ちます。
応用と限界
CLIPScoreは、画像キャプション生成およびテキストから画像への生成モデルの評価において広く採用されています。総合的な評価を提供するために、他の指標と併用されることがよくあります。例えば、テキストから画像へのモデルでは、生成された画像とテキストプロンプト間の整合性を測定するためにCLIPScoreの変種が使用され、研究者がモデルパラメータを調整するのに役立ちます。
その強みにもかかわらず、CLIPScoreには既知の限界があります。CLIPモデルのチェックポイントの選択に敏感であり、異なるチェックポイントでは異なるスコアが生成される可能性があります。また、一般的なオブジェクトや属性に言及するキャプションに対してバイアスがかかる可能性があり、細かい詳細や構成的推論を完全に捉えられない場合があります。さらに、文法的な正確さや流暢さを直接測定するものではないため、言語モデルベースの流暢さ指標と組み合わせて使用されることがよくあります。
他のAI指標との関係
CLIPScoreは、機械学習評価において、n-gramベースの指標から学習された埋め込みベースの指標への広範なトレンドの一部です。これは、テキスト要約や翻訳の評価に埋め込みを使用するBERTScoreなどの指標と概念的な類似点を共有しています。しかし、CLIPScoreは、視覚と言語をつなぐクロスモーダルな操作を行う点で独自です。
CLIPScoreの開発は、2021年初頭にOpenAIが公開したCLIPモデルによって可能になりました。CLIP自体は、4億の画像とテキストのペアで訓練されたトランスフォーマーベースのニューラルネットワークです。CLIPScoreの成功は、ビデオキャプション評価や視覚的質問応答など、他のマルチモーダルタスクにおける参照不要の評価に関するその後の研究に影響を与えました。