ImageNet-Sketch ist ein Benchmark-Datensatz, der 2019 eingeführt wurde, um die domänenübergreifende Generalisierung von Modellen des maschinellen Lernens zu evaluieren. Er enthält 50.000 Graustufen-Skizzenbilder, mit 50 Bildern für jede der 1.000 Klassen des ursprünglichen ImageNet-Datensatzes. Die Skizzen stammen aus Googles QuickDraw-Projekt und anderen Quellen und stellen eine stilisierte, abstrakte Darstellung von Objekten dar, die sich erheblich von natürlichen Fotografien unterscheidet. Dieser Datensatz wird in der Forschung zum maschinellen Sehen häufig verwendet, um zu testen, wie gut Modelle, die auf natürlichen Bildern trainiert wurden, Skizzen erkennen können – eine Aufgabe, die Robustheit gegenüber Domänenverschiebungen erfordert.
Der Datensatz wurde von Forschern am MIT und bei Google erstellt und erstmals in dem Paper „Learning Robust Representations by Projecting Supervisory Signals“ von Haotian Wang, Weichao Qiu und anderen vorgestellt. Die Hauptmotivation bestand darin, einen anspruchsvollen Evaluationssatz bereitzustellen, der über Standard-Testsätze hinausgeht, die oft dieselbe Verteilung wie die Trainingsdaten aufweisen. Durch die Verwendung von Skizzen, die sich visuell von Fotos unterscheiden, zwingt ImageNet-Sketch Modelle dazu, sich auf hochrangige semantische Merkmale zu verlassen, anstatt auf niedrigrangige Textur- oder Farbhinweise.
Konstruktion und Zusammensetzung
ImageNet-Sketch umfasst 50.000 Bilder, mit genau 50 Skizzen pro Klasse über alle 1.000 ImageNet-Kategorien. Die Skizzen stammen aus dem QuickDraw-Datensatz, der Millionen von nutzergenerierten Kritzeleien enthält, und werden gefiltert, um den ImageNet-Klassenbezeichnungen zu entsprechen. Jede Skizze ist eine schwarz-weiße Strichzeichnung, typischerweise einfach und abstrakt, die die wesentliche Form eines Objekts erfasst. Der Datensatz verzichtet bewusst auf Farb- und Texturinformationen, was ihn zu einem reinen Test der formbasierten Erkennung macht.
Der Konstruktionsprozess umfasste das Abgleichen von QuickDraw-Kategorien mit ImageNet-Synsets und die Auswahl einer Teilmenge von Skizzen, die als repräsentativ erachtet wurden. Der endgültige Datensatz ist öffentlich zum Download verfügbar und hat sich zu einem Standard-Benchmark in dem Feld entwickelt. Forscher verwenden ihn oft in Verbindung mit anderen Datensätzen wie ImageNet-C oder ImageNet-A, um die Robustheit gegenüber verschiedenen Arten von Verteilungsverschiebungen zu bewerten.
Verwendung in der Modellevaluierung
ImageNet-Sketch wird hauptsächlich verwendet, um die domänenübergreifende Generalisierung von Deep-Learning-Modellen zu evaluieren, insbesondere von konvolutionären neuronalen Netzen und neueren Transformer-basierten Architekturen. Wenn ein Modell auf ImageNet (natürliche Bilder) trainiert und auf ImageNet-Sketch getestet wird, zeigt der Leistungsabfall, wie gut das Modell übertragbare Merkmale gelernt hat. Modelle, die stark auf Textur- oder Hintergrundhinweise angewiesen sind, schneiden tendenziell schlecht ab, während solche, die Form und Struktur erfassen, besser abschneiden.
Zum Beispiel wurden ResNet-Modelle und Vision-Transformer anhand dieses Benchmarks evaluiert. Studien haben gezeigt, dass Vision-Transformer konvolutionäre Netze bei der Skizzenerkennung oft übertreffen, möglicherweise aufgrund ihrer globalen Aufmerksamkeitsmechanismen. Der Datensatz wird auch in der Datenaugmentierungs-Forschung verwendet, wo Techniken wie Stiltransfer oder adversariales Training auf ihre Fähigkeit getestet werden, die Robustheit gegenüber Domänenverschiebungen zu verbessern.
Beziehung zu anderen Benchmarks
ImageNet-Sketch ist Teil einer Familie von Robustheits-Benchmarks, die ImageNet-C (Korruptionen), ImageNet-A (adversariale Beispiele) und ImageNet-R (Renditionen) umfasst. Während ImageNet-C synthetische Korruptionen auf natürliche Bilder anwendet, bietet ImageNet-Sketch einen völlig anderen visuellen Stil. Dies macht es zu einem komplementären Test für die Bewertung der Modellgeneralisierung. Der Datensatz wird oft in Leaderboards und Forschungspapieren verwendet, um Robustheitsmetriken neben der Genauigkeit auf dem ursprünglichen ImageNet-Validierungssatz zu berichten.
Der Datensatz wurde auch verwendet, um das Phänomen der „Texturverzerrung“ in neuronalen Netzen zu untersuchen, bei dem Modelle dazu neigen, sich auf lokale Texturmuster anstatt auf globale Formen zu verlassen. Indem er Skizzen präsentiert, denen Textur fehlt, deckt ImageNet-Sketch diese Verzerrung auf und fördert die Entwicklung formbewussterer Modelle.
Einschränkungen und Kritik
Eine Einschränkung von ImageNet-Sketch besteht darin, dass die Skizzen nicht gleichmäßig über alle Klassen verteilt sind; einige Klassen können mehr oder weniger als 50 Bilder aufweisen, obwohl der Datensatz darauf ausgelegt ist, ausgewogen zu sein. Darüber hinaus sind die Skizzen relativ einfach und erfassen möglicherweise nicht die volle Komplexität realer Skizzen, was die Generalisierbarkeit der Ergebnisse einschränken könnte. Einige Forscher haben auch angemerkt, dass der Datensatz zu Klassen tendiert, die leicht zu skizzieren sind, wie Tiere und alltägliche Objekte, während abstraktere Klassen möglicherweise unterrepräsentiert sind.
Trotz dieser Einschränkungen bleibt ImageNet-Sketch eine wertvolle Ressource zur Bewertung der domänenübergreifenden Leistung. Es wird in der Literatur zum maschinellen Sehen häufig zitiert und weiterhin in Studien zu Robustheit, Transferlernen und Modellinterpretierbarkeit verwendet.