ImageNet-Sketch ist ein Benchmark-Datensatz, der 2019 eingeführt wurde, um zu testen, wie gut Bildklassifikationsmodelle auf eine andere visuelle Domäne generalisieren. Er enthält 50.000 Graustufen-Skizzenbilder, mit 50 Bildern für jede der 1.000 Klassen des ursprünglichen ImageNet-Datensatzes. Die Skizzen werden aus Google-Bildersuchen nach Begriffen wie „Skizze von [Klassenname]“ gesammelt und manuell gefiltert, um sicherzustellen, dass sie das beabsichtigte Objekt darstellen. Im Gegensatz zu natürlichen Fotografien sind diese Bilder abstrakte Strichzeichnungen, oft mit minimalen Details, was sie zu einem anspruchsvollen Domänenverschiebungstest für Modelle macht, die auf Standard-Fotodatensätzen trainiert wurden.
Der Datensatz wurde von Forschern der University of California, Berkeley, erstellt, darunter Haohan Wang, Songwei Ge, Zachary Lipton und Eric Xing. Er wurde zusammen mit einem Papier mit dem Titel „Learning Robust Global Representations by Penalizing Local Predictive Power“ veröffentlicht, das auf der 2019 Conference on Neural Information Processing Systems (NeurIPS) vorgestellt wurde. Die Hauptmotivation war, eine einfache, aber effektive Sonde zur Bewertung der Robustheit eines Modells gegenüber Verteilungsverschiebungen bereitzustellen, insbesondere der Verschiebung von realen Bildern zu abstrakten menschlichen Skizzen. ImageNet-Sketch ist seitdem zu einem Standard-Evaluierungsset im Bereich des Machine learning und Deep learning geworden und wird oft zusammen mit anderen Robustheits-Benchmarks wie ImageNet-C und ImageNet-R verwendet.
Konstruktion und Merkmale
Der Konstruktionsprozess umfasste die Abfrage der Google-Bildersuche mit dem Muster „Skizze von [Klasse]“ für jede der 1.000 ImageNet-Klassen. Die zurückgegebenen Bilder wurden dann gefiltert, um Nicht-Skizzen-Bilder wie Fotos oder Diagramme zu entfernen und sicherzustellen, dass jede Klasse mindestens 50 gültige Skizzen hatte. Der endgültige Datensatz enthält genau 50 Bilder pro Klasse, insgesamt 50.000 Bilder. Alle Bilder werden auf eine konsistente Auflösung, typischerweise 224x224 Pixel, skaliert, um den Standardeingabegrößen für Neural network-Klassifikatoren zu entsprechen.
Ein Hauptmerkmal von ImageNet-Sketch ist seine Abhängigkeit von handgezeichneten Skizzen, die von Natur aus abstrakter und weniger fotorealistisch sind als natürliche Bilder. Diese Skizzen lassen oft Farbe, Textur und feine Details weg, was Modelle zwingt, sich auf globale Form- und Strukturhinweise zu verlassen. Dies macht den Datensatz besonders nützlich, um zu untersuchen, ob Modelle robuste, generalisierbare Merkmale gelernt haben oder auf oberflächliche Statistiken in natürlichen Bildern überangepasst sind.
Rolle in der Robustheitsbewertung
ImageNet-Sketch wird häufig verwendet, um die Robustheit von Bildklassifikatoren unter Domänenverschiebung zu messen. Modelle, die auf ImageNet trainiert wurden, zeigen typischerweise einen signifikanten Abfall der Genauigkeit, wenn sie auf ImageNet-Sketch evaluiert werden, oft von etwa 70-80 % Top-1-Genauigkeit auf natürlichen Bildern auf 20-30 % bei Skizzen. Diese Leistungslücke verdeutlicht die Zerbrechlichkeit vieler Deep learning-Modelle bei Eingaben außerhalb der Verteilung.
Der Datensatz wird oft in Robustheits-Ranglisten und Studien aufgenommen. Zum Beispiel ist er ein Kernbestandteil der ImageNet-C- und ImageNet-P-Korruptions-Benchmarks, obwohl er sich dadurch unterscheidet, dass er eine natürliche, von Menschen geschaffene Domänenverschiebung darstellt und nicht synthetische Korruptionen. Forscher haben ImageNet-Sketch verwendet, um die Wirksamkeit verschiedener Robustheitstechniken zu bewerten, wie Data Augmentation-Strategien, adversariales Training und architektonische Änderungen wie Residual Network (ResNet)-Varianten. Er wurde auch verwendet, um die internen Repräsentationen von Modellen zu untersuchen, was aufdeckte, dass viele Modelle stark auf Textur und lokale Muster angewiesen sind und nicht auf globale Form, was Skizzen stören.
Beziehung zu anderen Benchmarks
ImageNet-Sketch ergänzt andere Domänenverschiebungs-Datensätze wie ImageNet-R (das künstlerische Darstellungen wie Gemälde und Cartoons enthält) und ImageNet-A (das natürlich vorkommende adversariale Beispiele enthält). Während ImageNet-R eine Mischung künstlerischer Stile umfasst, konzentriert sich ImageNet-Sketch speziell auf Strichzeichnungen und bietet einen klareren Test der formbasierten Erkennung. Der Datensatz ist auch mit dem Sketchy-Datensatz und dem TU-Berlin-Skizzen-Datensatz verwandt, aber er ist einzigartig in seinem Umfang und seiner direkten Ausrichtung auf ImageNet-Klassen.
Im breiteren Kontext der Artificial intelligence-Forschung hat ImageNet-Sketch maßgeblich dazu beigetragen, die Grenzen aktueller Modelle aufzuzeigen und das Interesse an robustem und generalisierbarem Lernen zu fördern. Er wird häufig in Papieren zu Domänengeneralisierung, selbstüberwachtem Lernen und Modellinterpretierbarkeit zitiert. Ab 2025 bleibt er ein Standard-Evaluierungswerkzeug im Computer Vision, wobei viele State-of-the-Art-Modelle ihre Leistung auf diesem Benchmark berichten.
Einschränkungen und Kritik
Eine Einschränkung von ImageNet-Sketch ist, dass die Skizzen aus Websuchen gesammelt werden, was Verzerrungen in Stil oder Inhalt einführen kann. Zum Beispiel können einige Klassen vielfältigere Skizzenstile haben als andere, und der Filterprozess kann unbeabsichtigt Bilder einschließen, die keine reinen Skizzen sind. Zusätzlich ist der Datensatz statisch, sodass er sich entwickelnde Skizzenstile im Laufe der Zeit nicht erfasst. Trotz dieser Probleme haben seine Einfachheit und Benutzerfreundlichkeit ihn zu einer beliebten Wahl für Forscher gemacht.
Eine weitere Kritik ist, dass der Leistungsabfall auf ImageNet-Sketch möglicherweise nicht vollständig reale Domänenverschiebungen widerspiegelt, da Skizzen eine extreme Abstraktion sind. Diese Extremität ist jedoch genau das, was den Datensatz wertvoll für Stresstests von Modellen macht. Er zwingt Forscher, Methoden zu entwickeln, die über das Auswendiglernen von Pixelmustern hinausgehen und stattdessen abstraktere, übertragbare Repräsentationen lernen.
Verwendung in Forschung und Industrie
In der akademischen Forschung wird ImageNet-Sketch oft verwendet, um neue Architekturen und Trainingsmethoden zu benchmarken. Zum Beispiel berichten Studien über Vision-Transformer und konvolutionale Netzwerke häufig Ergebnisse auf diesem Datensatz, um Robustheit zu demonstrieren. Er wird auch in der Entwicklung von Foundation-Modellen verwendet, bei denen erwartet wird, dass Vortraining auf vielfältigen Daten die Leistung auf solchen Out-of-Distribution-Sets verbessert. In der Industrie können Unternehmen, die an Bilderkennungssystemen arbeiten, wie solche im autonomen Fahren oder in der medizinischen Bildgebung, ImageNet-Sketch als Plausibilitätsprüfung für die Modellgeneralisierung verwenden, obwohl er häufiger in Forschungsumgebungen vorkommt.
Der Datensatz ist öffentlich zum Download verfügbar, und seine Nutzung unterliegt den ursprünglichen ImageNet-Bedingungen, die nicht-kommerzielle Forschungsnutzung erlauben. Er wurde in Tausenden von Papieren zitiert, was ihn zu einem der einflussreichsten Robustheits-Benchmarks in dem Feld macht. Ab 2025 bleibt er eine relevante und weit verbreitete Ressource, insbesondere da sich die Gemeinschaft darauf konzentriert, Modelle zu bauen, die in vielfältigen und unvorhersehbaren Umgebungen zuverlässig sind.
Zukünftige Richtungen
In Zukunft erforschen Forscher Möglichkeiten, ImageNet-Sketch auf andere Domänen auszudehnen, wie 3D-Skizzen oder animierte Zeichnungen, und anspruchsvollere Versionen mit feineren Klassen zu erstellen. Es gibt auch Interesse daran, den Datensatz zu verwenden, um Modelle zu trainieren, die von Natur aus robuster sind, anstatt sie nur zu evaluieren. Zum Beispiel hat einige Arbeit untersucht, Skizzendaten in Trainingssätze aufzunehmen, um die Formverzerrung zu verbessern, was zu besserer Generalisierung auf andere Domänenverschiebungen führen könnte. Der Datensatz bleibt ein Eckpfeiler in den laufenden Bemühungen, wirklich robuste Artificial intelligence-Systeme zu erreichen.