Winogroundは、視覚言語モデルの構成的理解をテストするために設計されたベンチマークデータセットおよび評価スイートである。2022年にトロント大学の研究者らによって導入され、モデルが統計的な近道や表面的な相関に頼るのではなく、視覚コンテンツと言語構造の関係を真に理解しているかどうかを評価するための標準的な参照点となっている。このベンチマークの名称は、「Winograd」（自然言語におけるWinograd Schema Challengeに由来）と「ground」（言語を画像に接地すること）を組み合わせたかばん語である。
Winogroundの中心的なタスクは、400の慎重に構築された例で構成される。各例は2つの画像と2つのキャプションからなる。キャプションは構成的に困難なように設計されており、同じ単語セットを含むが、順序が異なることで意味が変わる。例えば、一方のキャプションが「the dog chases the cat」で、もう一方が「the cat chases the dog」である場合がある。対応する2つの画像はそれぞれのシナリオを描いている。モデルは両方の画像と両方のキャプションを提示され、各キャプションを対応する画像に正しくマッチングしなければならない。成功するには、モデルがキャプションの構文構造を解析し、それを画像内の視覚的関係（行為者-動作-対象の役割、空間前置詞（例：「on」対「in」）、属性-対象のペアリングなど）と整合させる必要がある。
このベンチマークは、多くの視覚言語モデルに知られた弱点に対処するために作成された。それらのモデルは、個々のオブジェクトを認識したり言語的な事前知識を使用したりすることで解決できるタスクでは良好なパフォーマンスを示すことが多いが、単語の配置が意味を変えることを理解する必要があるタスクでは失敗する。例えば、モデルが画像に犬と猫が含まれていることを正しく識別できても、どちらの動物が動作を行っているかを判断できない場合がある。Winogroundはこの能力に対する統制されたテストを提供し、最先端のモデルでさえもパフォーマンスに大きなギャップがあることを明らかにしている。
設計と評価
各Winogroundの例は、「キャプションスコア」、「イメージスコア」、「グループスコア」の3つの別々の指標で評価される。キャプションスコアは、モデルが両方のキャプションをそれぞれの画像に正しくマッチングした例の割合を測定する。イメージスコアは、モデルが両方の画像をそれぞれのキャプションに正しくマッチングした割合を測定する（対称的だが、モデルの非対称性により異なる場合がある）。グループスコアは最も厳格であり、モデルが1回の試行で両方のキャプションと画像のマッチングを正しく行うことを要求する。つまり、モデルは正しいペアリングを特定するだけでなく、2つの選択肢の間の混乱を避けなければならない。
データセットは、画像ペアとキャプションを生成した人間のアノテーターによって構築された。キャプションは、特定の構成的要素のみが異なる最小ペアとして設計された。画像は各キャプションに正確に一致するように調達または生成された。作成者はまた、単純なオブジェクト検出だけでは解決できないことを保証するために例をフィルタリングし、人間のアノテーターがほぼ完璧な精度でタスクを解決できることを検証して、人間のベースラインを確立した。
結果と発見
Winogroundにおける著名な視覚言語モデルの初期評価では、ほとんどのモデルが偶然レベル（グループスコアで約25%、2つの可能なペアリングがありモデルが正しいものを選択する必要があるため）で、またはその近くでパフォーマンスを示した。例えば、CLIP（Contrastive Language-Image Pre-training）や他のデュアルエンコーダーアーキテクチャ（画像とテキストを共有空間に埋め込む）のようなモデルは、2つのキャプションを区別できないことが多かった。これは、これらのモデルが画像キャプション検索や視覚的質問応答などの他のベンチマークで高いスコアを達成していたため、驚くべきことであった。この失敗は、これらのモデルが真に構成的推論を行っているのではなく、個々のオブジェクトの存在や、関係構造の理解を必要としない単語と視覚的特徴の間の相関に依存していることが多いことを浮き彫りにした。
その後の研究では、Winogroundを使用して、Transformer (architecture)やLarge language modelを視覚エンコーダーと組み合わせたものなど、さまざまなモデルアーキテクチャの限界を調査している。研究者らは、より洗練された注意メカニズムを持つモデルや、Cross-AttentionやMulti-Head Attention層などの追加の目的で訓練されたモデルが、改善されたパフォーマンスを示すことがあることを発見したが、それでもスコアは人間のレベルをはるかに下回っている。このベンチマークはまた、トレーニングデータの規模や合成データの使用の効果を研究するためにも使用されており、いくつかの研究では、構成的な例でトレーニングデータを増強することでWinogroundのパフォーマンスが向上するが、一般化は依然として課題であることが示されている。
他のベンチマークとの関係
Winogroundは、AIにおける構成的一般化をテストするより広いベンチマークファミリーの一部である。これは、自然言語処理における共参照解決と常識推論をテストするWinograd Schema Challengeと概念的に関連している。視覚言語領域では、VQA（Visual Question Answering）や画像テキスト検索などの他のベンチマークを補完するが、特に構成的側面を分離している。モデルが言語的な事前知識やオブジェクトの共起統計を使用することを可能にするタスクとは異なり、Winogroundはモデルにキャプションの正確な構文構造を使用することを強制する。これにより、Residual Network (ResNet)やU-Netに基づく画像エンコーディングのための新しいアーキテクチャや、Curriculum LearningやReinforcement Learning from AI Feedback (RLAIF)（AIフィードバックからの強化学習）などのトレーニング技術を開発する研究者にとって、貴重な診断ツールとなっている。
このベンチマークはまた、ビデオ用や多言語設定用のWinogroundなど、バリエーションや拡張に影響を与えているが、これらはあまり標準化されていない。元のデータセットは公開されており、OpenAI、Google DeepMind、Anthropicなどの企業や研究ラボで使用されているいくつかのモデル評価スイートに統合され、構成的理解の進捗を追跡する方法として使用されている。
制限と批判
一部の研究者は、Winogroundには制限があると指摘している。データセットは比較的小さく（400例）、特に確率的なモデルでは評価結果の分散が大きくなる可能性がある。また、例はすべて英語であり、主語-動詞-目的語の順序や空間関係などの限られた構成的現象に焦点を当てているため、視覚言語理解における構成的課題の全範囲を捉えていない可能性がある。さらに、タスクの二値的性質（2つの画像を2つのキャプションにマッチングする）は、文を完全に理解することなく、単一の識別単語に焦点を当てるなどの単純なヒューリスティックを使用するモデルによって解決されることがある。これらの批判にもかかわらず、WinogroundはArtificial intelligenceとMachine learningの分野で広く引用され影響力のあるベンチマークであり続けており、新しいモデルやトレーニング方法の標準テストとして使用され続けている。