STL-10 ist ein Benchmark-Bilddatensatz, der zur Unterstützung der Forschung im Bereich des unüberwachten und selbstüberwachten Lernens erstellt wurde. Er zeichnet sich durch die Einbeziehung einer großen Menge unbeschrifteter Bilder (100.000) neben einer vergleichsweise kleinen Menge beschrifteter Beispiele (insgesamt 13.000) aus. Dieses Design soll Algorithmen dazu anregen, die unbeschrifteten Daten zu nutzen, um nützliche visuelle Merkmale zu erlernen, bevor sie auf der beschrifteten Teilmenge feinabgestimmt werden. Dies spiegelt praktische Szenarien wider, in denen beschriftete Daten knapp, aber unbeschriftete Daten reichlich vorhanden sind.
Der Datensatz besteht aus 10 Klassen: Flugzeug, Vogel, Auto, Katze, Hirsch, Hund, Pferd, Affe, Schiff und Lastwagen. Jede beschriftete Klasse enthält 1.300 Stichproben, aufgeteilt in 500 für das Training, 500 für den Test und 300 für die Validierung (eine Aufteilung, die nicht von allen Forschern verwendet wird, die oft Training und Validierung kombinieren). Jedes Bild ist 96x96 Pixel groß und im RGB-Farbraum. Der unbeschriftete Teil, der aus einer viel breiteren Gruppe von Tier- und Fahrzeugkategorien stammt (einschließlich einiger, die nicht im beschrifteten Satz enthalten sind), stellt eine größere Herausforderung für das unüberwachte Lernen dar, und alle Bilder stammen aus ähnlichen Verteilungen wie ImageNet.
Geschichte und Ursprünge
STL-10 wurde 2011 von Adam Coates, Honglak Lee und Andrew Y. Ng von der Stanford University (insbesondere dem Stanford AI Lab) im Rahmen ihrer Forschung zu Deep Learning und Merkmalsextraktion eingeführt. Das Papier 'An Analysis of Single-Layer Networks in Unsupervised Feature Learning' stellte den Datensatz formell vor. Das Ziel war es, einen kompakten, aber dennoch realistischen Benchmark für die Bewertung von Algorithmen zum unüberwachten Merkmalslernen zu bieten, ohne massive Rechenressourcen zu erfordern, da er mit 96x96 Pixeln klein genug für schnelle Experimente ist, aber eine höhere Auflösung als die 32x32-Bilder von CIFAR-10 aufweist.
Das Design des Datensatzes unterstützt direkt die Forschung im Bereich des maschinellen Lernens und des Deep Learnings, insbesondere für neuronale Netzwerk-Architekturen, die Repräsentationen aus unbeschrifteten Daten lernen. Seine Erstellung folgte früheren Arbeiten derselben Gruppe, unter anderem zu den Datensätzen CIFAR-10 und CIFAR-100, aber STL-10 betont speziell die Verwendung unbeschrifteter Alternativen, um den Bedarf an teurer menschlicher Beschriftung zu reduzieren.
Beziehung zur Deep-Learning-Forschung
STL-10 ist zu einem Standard-Benchmark in der Erforschung der künstlichen Intelligenz geworden, insbesondere zur Bewertung von Pre-Training-Methoden wie Autoencodern, Restricted Boltzmann Machines und späteren Ansätzen des kontrastiven Lernens. In den späten 2010er und frühen 2020er Jahren, als das selbstüberwachte Lernen an Popularität gewann, blieb STL-10 eine häufig verwendete Bewertungsaufgabe. Seine 100.000 unbeschrifteten Bilder dienen als idealer Stellvertreter für größere unbeschriftete Datensätze wie ImageNet, jedoch mit einer überschaubaren räumlichen Größe und einer handhabbaren Anzahl von Kategorien.
Da die beschrifteten Daten so begrenzt sind (500 pro Klasse für das Training), zwingt der Datensatz die Algorithmen dazu, den unbeschrifteten Pool effektiv zu nutzen, was ihn zu einem strengen Test des Merkmalslernens macht. Modelle, die eine hohe Genauigkeit auf STL-10 erzielen, zeigen typischerweise eine robuste Generalisierung, weshalb es ein gültiges Ziel für akademische Vergleiche bleibt. Der Datensatz wird oft in Verbindung mit architektonischen Fortschritten von Gruppen wie OpenAI oder Google DeepMind verwendet, um neue Methoden in einer kostengünstigen Umgebung zu testen.
Datenzusammensetzung und Zugriff
STL-10 wird als eine Reihe von Binärdateien zusammen mit einer ASCII-Liste der Beschriftungen (0-9) verteilt. Seit seiner Veröffentlichung wurde es in vielen Formen aufbereitet, einschließlich der Integration in mehrere Bibliotheken, zum Beispiel TensorFlow- und PyTorch-Datensätze zur direkten Verwendung. Der unbeschriftete Satz enthält viele weitere Klassen als die 10 beschrifteten, obwohl die offizielle Dokumentation die genauen Kategorienamen nicht angibt. Die entsprechenden Bilder sind Stichproben aus einem größeren Satz von ImageNet, die eine breitere Verteilung über Tiere und Szenen darstellen, wie angemerkt wird.
Ein praktischer Vorteil ist, dass kein Download oder keine Lizenzierung erforderlich ist. Das ursprüngliche Hosting durch Stanford (mit einem Spiegel an anderen Universitäten) bietet freien Zugang für die Forschung. In den 2020er Jahren bleibt es ein häufiges Thema für Vergleiche in akademischen Papieren, obwohl es aufgrund seiner größeren Dateigröße (etwa 1,5 GB unausgeglichen vs. ~170 MB) weniger beliebt ist als CIFAR-10.
Verwendung im selbstüberwachten Lernen
Im Zeitalter der Transformer-Architekturen für das Sehen (z. B. ViT) bleibt STL-10 als Bewertungssuite für das selbstüberwachte Pre-Training relevant. Methoden wie SimCLR, BYOL und DINO haben über Tests auf STL-10 berichtet und ihre Leistung mit überwachten Basislinien auf dem kleinen beschrifteten Satz verglichen. Der Datensatz bietet genau ein Szenario, in dem unüberwachtes Pre-Training große Gewinne erzielen kann: 100.000 unbeschriftete Bilder gegenüber 5.000 Trainingsbildern (aber mit Bildern höherer Auflösung).
Darüber hinaus wird STL-10 oft verwendet, um neue Techniken nicht nur für die Klassifikation, sondern auch für die Qualität des Repräsentationslernens zu bewerten, wie z. B. lineares Sondieren oder KNN-Klassifikation auf gelernten Merkmalen. Der wesentlich größere unbeschriftete Pool (im Vergleich zu CIFAR-10s 50.000) zeigt die Empfindlichkeit gegenüber der Anzahl unbeschrifteter Beispiele und ermöglicht das Testen der Skalierbarkeit von Algorithmen auf größere Datensätze. Während frühere moderne Benchmarks wie ImageNet (1,28 Mio.) als primäres Ziel abgelöst wurden, behält STL-10 seinen Wert aufgrund seiner rechnerischen Effizienz.
Einschränkungen und Vermächtnis
Wie bei Datensätzen aus den frühen 2010er Jahren hat STL-10 einige Nachteile. Seine 96-Pixel-Auflösung ist relativ moderat, nicht so hoch wie die von ImageNet, aber seine Bildvielfalt ist spärlich. Die beschrifteten Klassen sind auf 10 begrenzt, was Algorithmen dazu zwingt, feinkörnige Erkennungsaufgaben innerhalb dieser Kategorien durchzuführen. Der Inhalt des unbeschrifteten Satzes ist nicht vollständig disjunkt vom beschrifteten Satz, aber aus dem Versuchsaufbau bekannt, kann er Bilder derselben Klassen (Tiere) enthalten, die nicht beschriftet sind.
Dennoch hat seine Veröffentlichung zur Entwicklung moderner Methoden beigetragen. Seine Kombination aus einem kleinen, aber starken beschrifteten Satz und einem großen unbeschrifteten Pool nimmt das spätere Interesse am schwach überwachten Lernen vorweg. Viele der prominenten Fortschritte in der künstlichen Intelligenz in Labors wie der Berkeley AI Research und der Informatikabteilung des MIT haben es in Papieren zur unüberwachten Merkmalsextraktion verwendet, was auf seinen anhaltenden Einfluss in visuellen Benchmarks hinweist. STL-10 wird auch häufig von agilen Forschern auf akademischen Konferenzen verwendet, um sparsame Fortschritte bei einer Standardaufgabe zu zeigen. Ab 2023 bleibt es ein Standard-Vorlesungsbeispiel in Deep-Learning-Kursen und eine stabile Referenz in zahlreichen Bibliotheksdokumentationen.
Siehe auch
- CIFAR-10 - Ein kleinerer Datensatz mit 32x32-Auflösung und ähnlichen Klassenkategorien
- ImageNet - Ein viel größerer Datensatz, der eng mit der Quelle der unbeschrifteten Bilder von STL-10 verwandt ist
- Unüberwachtes Lernen - Das breite Paradigma des Lernens ohne Beschriftungen, das den Hauptzweck von STL-10 darstellt