ImageNet-Sketchは、機械学習モデルのクロスドメイン汎化性能を評価するために2019年に導入されたベンチマークデータセットである。元のImageNetデータセットの1,000クラスそれぞれについて50枚のスケッチ画像を含む、計50,000枚のグレースケールスケッチ画像で構成される。スケッチはGoogleのQuickDrawプロジェクトやその他のソースから収集されたもので、物体の様式化された抽象的な描写であり、自然写真とは大きく異なる。このデータセットは、自然画像で訓練されたモデルがスケッチをどの程度認識できるかをテストするためにコンピュータビジョン研究で広く使用されており、ドメインシフトに対するロバスト性を必要とするタスクである。
このデータセットはMITとGoogleの研究者によって作成され、Haotian Wang、Weichao Qiuらによる論文「Learning Robust Representations by Projecting Supervisory Signals」で初めて発表された。主な動機は、訓練データと同じ分布を共有することが多い標準的なテストセットを超えた、挑戦的な評価セットを提供することであった。スケッチは写真とは視覚的に異なるため、ImageNet-Sketchはモデルに低レベルのテクスチャや色の手がかりではなく、高レベルの意味的特徴に依存することを強いる。
構築と構成
ImageNet-Sketchは、全1,000のImageNetカテゴリにわたってクラスごとに正確に50枚のスケッチを含む、計50,000枚の画像で構成される。スケッチは、数百万のユーザー描画による落書きを含むQuickDrawデータセットから取得され、ImageNetのクラスラベルに一致するようにフィルタリングされている。各スケッチは白黒の線画であり、通常は単純で抽象的な、物体の本質的な形状を捉えたものである。このデータセットは意図的に色とテクスチャ情報を避けており、形状ベースの認識の純粋なテストとなっている。
構築プロセスには、QuickDrawのカテゴリをImageNetのsynsetにマッチングし、代表と見なされるスケッチのサブセットを選択することが含まれる。最終的なデータセットは公開されており、ダウンロード可能で、この分野の標準的なベンチマークとなっている。研究者はしばしば、ImageNet-CやImageNet-Aなどの他のデータセットと併用して、さまざまな種類の分布シフトに対するロバスト性を評価する。
モデル評価における使用
ImageNet-Sketchは主に、深層学習モデル、特に畳み込みニューラルネットワークやより最近のトランスフォーマーベースのアーキテクチャのクロスドメイン汎化性能を評価するために使用される。モデルがImageNet（自然画像）で訓練され、ImageNet-Sketchでテストされた場合、性能の低下はモデルが転移可能な特徴をどの程度学習したかを示す。テクスチャや背景の手がかりに大きく依存するモデルは性能が低い傾向があり、形状と構造を捉えるモデルはより良い性能を発揮する。
例えば、ResNetモデルやビジョントランスフォーマーがこのベンチマークで評価されている。研究によると、ビジョントランスフォーマーは、そのグローバルな注意メカニズムにより、スケッチ認識において畳み込みネットワークを上回ることが多い。このデータセットはデータ拡張研究でも使用され、スタイル転送や敵対的訓練などの技術がドメインシフトに対するロバスト性を改善する能力がテストされている。
他のベンチマークとの関係
ImageNet-Sketchは、ImageNet-C（破損）、ImageNet-A（敵対的例）、ImageNet-R（レンディション）を含むロバスト性ベンチマークのファミリーの一部である。ImageNet-Cが自然画像に合成破損を適用するのに対し、ImageNet-Sketchは完全に異なる視覚スタイルを提供する。これにより、モデルの汎化を評価するための補完的なテストとなる。このデータセットは、元のImageNet検証セットでの精度に加えてロバスト性メトリクスを報告するために、リーダーボードや研究論文で頻繁に使用される。
このデータセットはまた、ニューラルネットワークにおける「テクスチャバイアス」現象の研究にも使用されてきた。これは、モデルがグローバルな形状ではなく局所的なテクスチャパターンに依存する傾向がある現象である。テクスチャを欠いたスケッチを提示することで、ImageNet-Sketchはこのバイアスを露呈し、より形状を意識したモデルの開発を促進する。
限界と批判
ImageNet-Sketchの限界の1つは、スケッチがすべてのクラスに均一に分布しているわけではないことである。データセットはバランスが取れるように設計されているが、一部のクラスでは50枚より多いまたは少ない場合がある。さらに、スケッチは比較的単純であり、現実世界のスケッチの完全な複雑さを捉えていない可能性があり、これが調査結果の汎化可能性を制限する可能性がある。一部の研究者はまた、このデータセットが動物や一般的な物体など、スケッチしやすいクラスに偏っており、より抽象的なクラスは過小評価される可能性があると指摘している。
これらの限界にもかかわらず、ImageNet-Sketchはクロスドメイン性能を評価するための貴重なリソースであり続けている。コンピュータビジョンの文献で広く引用され、ロバスト性、転移学習、モデル解釈可能性に関する研究で引き続き使用されている。