NoCaps（Novel Object Captioning at Scale）は、画像キャプション生成システムが、学習データに存在しなかった物体を含む画像を記述する能力を評価するために設計されたベンチマークデータセットおよび評価プロトコルである。2019年にテキサス大学オースティン校の研究者らによって導入され、標準的なキャプション生成ベンチマークにおける重大な限界、すなわちモデルが学習中に見た限られた物体語彙に過適合し、視覚概念のロングテールに一般化できないという問題に対処している。NoCapsは、Open Imagesデータセットの画像と、広く使用されているCOCOデータセットのものとは重複しない大規模な物体カテゴリセットを用いて、この一般化能力を測定するための統制された設定を提供する。
このベンチマークは15,000枚以上の画像で構成され、各画像には複数の人間による参照キャプションが付与されている。画像は、含まれる新規物体の数に基づいて3つの評価サブセットに分割される。すなわち、ドメイン内（新規物体なし）、準ドメイン（少数の新規物体）、オープンドメイン（多数の新規物体）である。この階層構造により、視覚内容の新規性と複雑性が増すにつれて性能がどのように低下するかを研究者が分析できる。主要な評価指標はCIDErであり、生成キャプションと参照キャプション間の一致を測定する標準的なキャプション生成指標であるが、BLEU、METEOR、SPICEなどの他の指標も報告される。
動機と課題
COCOのような従来のキャプション生成データセットには80の物体カテゴリしか含まれておらず、これは視覚世界のごく一部に過ぎない。このようなデータセットで学習されたモデルは、頻繁に共起する物体のパターンを記憶する傾向があり、馴染みのない組み合わせや完全に新しい物体に遭遇すると失敗する。NoCapsは、より堅牢で一般化可能なキャプション生成システムへと分野を押し進めるために作成された。主要な課題は、モデルが新規物体を認識するだけでなく（視覚知覚の問題）、それらを記述するために流暢で文脈に適した言語を生成しなければならないことである。多くの場合、学習中にその視覚入力と対になったことのない単語を使用する必要がある。
構築とアノテーション
NoCapsの画像は、多様な物体アノテーションを持つ数百万枚の画像を含むOpen Imagesデータセットから取得されている。作成者らは画像のサブセットを選択し、3つの難易度層にわたってバランスの取れた分布を確保するためにフィルタリングを行った。彼らはOpen Imagesの500の物体カテゴリからなる語彙を使用し、そのうち200がCOCOの80カテゴリに対して新規と見なされる。Amazon Mechanical Turk上の人間のアノテーターは、自然で説明的な文を奨励するガイドラインに従って、画像ごとに5つの参照キャプションを書いた。アノテーションプロセスには、キャプションが正確で多様であることを保証するための品質管理措置が含まれていた。
評価プロトコル
NoCapsでモデルを評価するには、システムがテストセットの各画像に対してキャプションを生成する。生成されたキャプションは、CIDErを用いて人間の参照と比較される。CIDErは、候補と参照のn-gramベクトル間の平均コサイン類似度を、語頻度-逆文書頻度で重み付けして計算する。このベンチマークは、開発用の公開検証セットと最終評価用の非公開テストセットを提供し、結果は公式リーダーボードで報告される。この設定により、古典的なSequence-to-Sequence (Seq2Seq)モデルから現代のTransformer (architecture)ベースのアーキテクチャまで、異なるアプローチ間での公平な比較が促進される。
影響と使用法
NoCapsは、特に画像キャプション生成モデルの一般化能力を評価するための標準的なベンチマークとして、Machine learningおよびコンピュータビジョンコミュニティで広く使用されている。これは、Data Augmentation、Curriculum Learning、Large language modelなどの外部知識源の組み込みといった技術の有効性を示すために使用されてきた。例えば、一部のアプローチでは、事前学習済みの物体検出器を使用して新規物体を識別し、検出されたラベルに基づいて言語モデルを条件付けする一方、他のアプローチではCross-Attentionメカニズムを使用して視覚特徴とテキスト特徴をより効果的に整合させる。このベンチマークはまた、学習データとモデル容量のスケーリングの重要性を浮き彫りにしており、大規模なデータセットで学習されたより大きなNeural networkは、オープンドメインサブセットでより良い性能を発揮する傾向がある。
限界と批判
その影響力にもかかわらず、NoCapsにはいくつかの限界がある。このベンチマークは固定された新規物体のセットに依存しており、現実世界の新規性の開放的な性質を完全には捉えていない可能性がある。評価指標CIDErはスタイルと長さに敏感であることが知られており、意味的正確性を完全には反映しないかもしれない。さらに、人間の参照は高品質であるものの、数が限られており、画像を記述するすべての有効な方法を網羅しているわけではない。一部の研究者は、このベンチマークの物体レベルの新規性への焦点が、新規の関係や属性などの一般化の他の側面を覆い隠していると主張している。それでもなお、NoCapsは堅牢な画像キャプション生成の進歩を追跡するための貴重なツールであり続けている。
今後の方向性
分野がより能力の高いGenerative AIシステムへと移行するにつれて、NoCapsは、構成的一般化、ゼロショット学習、ユーザー指示との相互作用をテストするベンチマークによって拡張または補完される可能性が高い。デコーダーとしてのLarge language modelの統合は、しばしば視覚言語モデルと組み合わせられ、広範な世界知識を活用することで新規物体を扱う有望性をすでに示している。将来の研究では、モデルの学習データに適応し、新規性が常に真に新しいものであることを保証する動的ベンチマークも探求されるかもしれない。NoCapsは一般化の厳密な評価の先例を確立しており、その原則はマルチモーダルAIにおける将来のベンチマーク設計に影響を与える可能性が高い。