STL-10は、教師なし学習および自己教師あり学習の研究を支援するために作成されたベンチマーク画像データセットである。このデータセットは、比較的小規模なラベル付きサンプル（合計13,000枚）に加えて、大規模なラベルなし画像（100,000枚）を含む点で注目に値する。この設計は、ラベル付きサブセットで微調整する前に、ラベルなしデータを活用して有用な視覚的特徴を学習するアルゴリズムを促進し、ラベル付きデータは乏しいがラベルなしデータは豊富である実用的なシナリオを反映している。
このデータセットは、飛行機、鳥、車、猫、鹿、犬、馬、猿、船、トラックの10クラスで構成されている。各ラベル付きクラスには1,300サンプルが含まれ、500がトレーニング用、500がテスト用、300が検証用に分割されている（この分割はすべての研究者が一般的に使用するものではなく、トレーニングと検証を組み合わせることが多い）。各画像は96x96ピクセルのRGBカラーである。ラベルなし部分は、はるかに広範な動物および車両カテゴリ（ラベル付きセットに存在しないものも含む）から抽出されており、教師なし学習にとってより大きな課題を提供し、すべての画像はImageNetと類似した分布から取得されている。
歴史と起源
STL-10は、2011年にスタンフォード大学（具体的にはスタンフォードAIラボ）のAdam Coates、Honglak Lee、Andrew Y. Ngによって、深層学習と特徴抽出に関する研究の一環として導入された。論文「An Analysis of Single-Layer Networks in Unsupervised Feature Learning」がこのデータセットを正式に発表した。その目標は、大規模な計算リソースを必要とせずに教師なし特徴学習アルゴリズムを評価するための、コンパクトでありながら現実的なベンチマークを提供することであった。96x96ピクセルであるため、高速な実験には十分小さいが、CIFAR-10の32x32画像よりも高解像度である。
このデータセットの設計は、機械学習および深層学習の研究、特にラベルなしデータから表現を学習するニューラルネットワークアーキテクチャを直接支援している。その作成は、同じグループによるCIFAR-10およびCIFAR-100データセットに関する以前の研究に続くものであるが、STL-10は特に、高価な人間によるラベル付けの必要性を減らすためのラベルなし代替手段の使用を強調している。
深層学習研究との関係
STL-10は、人工知能の研究、特にオートエンコーダー、制限付きボルツマンマシン、後の対比学習アプローチなどの事前学習方法の評価において、標準的なベンチマークとなっている。2010年代後半から2020年代初頭にかけて、自己教師あり学習が人気を博すにつれて、STL-10は頻繁に使用される評価タスクであり続けた。その100,000枚のラベルなし画像は、ImageNetのような大規模なラベルなしデータセットの理想的な代替物として機能するが、管理可能な空間サイズと扱いやすいカテゴリ数を備えている。
ラベル付きデータが非常に限られているため（クラスあたり500枚のトレーニング用）、このデータセットはアルゴリズムにラベルなしプールを効果的に活用することを強制し、特徴学習の厳格なテストとなっている。STL-10で高い精度を達成するモデルは通常、堅牢な汎化を示すため、学術的な比較の有効なターゲットであり続けている。このデータセットは、OpenAIやGoogle DeepMindなどのグループからのアーキテクチャの進歩と組み合わせて、低コストの設定で新しい方法をテストするためによく使用される。
データ構成とアクセス
STL-10は、バイナリファイルのセットとラベルのASCIIリスト（0〜9）として配布されている。公開以来、TensorFlowやPyTorchのデータセットなど、いくつかのライブラリへの統合を含む多くの形式で準備されている。ラベルなしセットには、ラベル付きの10クラスよりもはるかに多くのクラスが含まれているが、公式ドキュメントは正確なカテゴリ名を提供していない。対応する画像は、より大きなImageNetセットからのサンプルであり、動物やシーンにわたるより広い分布を表していると注記されている。
実用的な利点の1つは、ダウンロードやライセンスの必要性がないことである。スタンフォード大学による元のホスティング（他の大学でのミラーあり）は、研究用に無料アクセスを提供している。2020年代現在、学術論文での比較の一般的な対象であり続けているが、ファイルサイズが大きいため（約1.5 GBの不均衡対約170 MB）、CIFAR-10ほど人気はない。
自己教師あり学習での使用
視覚のためのトランスフォーマーアーキテクチャ（例：ViT）の時代において、STL-10は自己教師あり事前学習の評価スイートとして関連性を維持している。SimCLR、BYOL、DINOなどの方法は、STL-10でのテストを報告し、小さなラベル付きセットでの教師ありベースラインと比較してパフォーマンスを評価している。このデータセットは、教師なし事前学習が大きな利得をもたらすシナリオを正確に提供する：100kのラベルなし画像対5kのトレーニング用画像（ただし、より高解像度の画像を使用）。
さらに、STL-10は、分類だけでなく、学習された特徴に対する線形プロービングやKNN分類などの表現学習品質の新しい技術をベンチマークするためにもよく使用される。はるかに大きなラベルなしプール（CIFAR-10の50kと比較して）は、ラベルなしサンプルの数に対する感度を示し、アルゴリズムのより大きなデータセットへのスケーラビリティをテストすることを可能にする。ImageNet（1.28M）のような以前の現代的なベンチマークが主要なターゲットとして取って代わったが、STL-10は計算効率の点で依然として価値を持っている。
制限と遺産
2010年代初頭のデータセットと同様に、STL-10にはいくつかの欠点がある。その96ピクセルの解像度は比較的中程度であり、ImageNetの多様な解像度ほど高くはないが、画像の多様性は乏しい。ラベル付きクラスは10に限定されており、アルゴリズムにそれらのカテゴリ内での細かい認識タスクを実行させる。ラベルなしセットの内容はラベル付きセットと完全に分離されているわけではないが、実験設計から、同じクラス（動物）の画像がラベル付けされずに含まれる可能性があることが知られている。
それにもかかわらず、そのリリースは現代の方法の発展に貢献してきた。強力だが小さなラベル付きセットと大きなラベルなしプールの組み合わせは、後の弱教師あり学習への関心を先取りしている。バークレーAI研究やMITのコンピュータサイエンスなどのラボでの人工知能の顕著な進歩の多くは、教師なし特徴抽出に関する論文でこれを使用しており、視覚ベンチマークにおけるその永続的な影響を示している。STL-10はまた、学術会議で標準的なタスクでの簡潔な進歩を示すために頻繁に使用されている。2023年現在、深層学習コースの標準的な講義例であり、多くのライブラリドキュメントの安定した参照として残っている。