CIFAR-100-C ist ein Benchmark-Datensatz, der entwickelt wurde, um die Robustheit von maschinellen Lernmodellen gegenüber häufigen Bildkorruptionen zu bewerten. Er besteht aus korrupten Versionen des CIFAR-100-Testsatzes, die durch Anwendung von 15 Arten von Verzerrungen auf fünf Schweregraden erstellt wurden. Der Datensatz wird in der Robustheitsforschung häufig verwendet, um zu messen, wie gut Modelle auf unerwartete Eingabestörungen generalisieren, und ergänzt dabei standardmäßige Genauigkeitsmetriken.
Der ursprüngliche CIFAR-100-Datensatz enthält 60.000 32x32-Farbbilder in 100 Klassen, mit 50.000 Trainingsbildern und 10.000 Testbildern. CIFAR-100-C nimmt die 10.000 Testbilder und wendet jede Korruptionsart auf jedem Schweregrad an, was 75.000 korrupte Bilder ergibt (15 Korruptionen x 5 Schweregrade x 10.000 Bilder). Die Korruptionen simulieren reale Verzerrungen wie Rauschen, Unschärfe, Wettereffekte und digitale Artefakte.
Korruptionsarten
Die 15 Korruptionsarten sind in vier Kategorien gruppiert: Rauschen (Gaußsch, Schrot, Impuls), Unschärfe (Defokus, Frost, Glas, Bewegung, Zoom), Wetter (Schnee, Frost, Nebel, Helligkeit) und digital (Kontrast, elastisch, Pixelierung, JPEG). Jede Korruption wird algorithmisch angewendet, wobei die Schweregrade von 1 (mild) bis 5 (schwer) reichen. Beispielsweise fügt Gaußsches Rauschen zufällige Pixelwerte hinzu, während Bewegungsunschärfe Kamerabewegungen simuliert. Der Datensatz wird mit einem standardisierten Codebase generiert, was die Reproduzierbarkeit über Studien hinweg gewährleistet.
Verwendung in der Robustheitsbewertung
CIFAR-100-C wird häufig verwendet, um die Robustheit von neuronalen Netzen und anderen maschinellen Lernmodellen zu messen. Forscher berichten die durchschnittliche Fehlerrate über alle Korruptionen und Schweregrade, oft als mittlerer Korruptionsfehler (mCE) bezeichnet. Modelle, die mit Datenanreicherung-Techniken wie zufälligem Zuschneiden oder Farb-Jitter trainiert wurden, schneiden bei CIFAR-100-C in der Regel besser ab als Modelle ohne solche Techniken. Der Benchmark ist zu einem Standardwerkzeug in der Robustheitsgemeinschaft geworden, neben CIFAR-10-C und ImageNet-C.
Beziehung zu anderen Benchmarks
CIFAR-100-C ist Teil einer Familie von Korruptions-Benchmarks, die 2019 von Hendrycks und Dietterich eingeführt wurde und auch CIFAR-10-C und ImageNet-C umfasst. Diese Datensätze teilen dieselben Korruptionsarten und Schweregrade, was Vergleiche über Datensätze hinweg ermöglicht. Der Benchmark wird oft in Verbindung mit Bewertungen der adversarialen Robustheit verwendet, obwohl er sich auf natürliche Korruptionen und nicht auf böswillige Störungen konzentriert. Er wird auch verwendet, um die Auswirkungen von Batch-Normalisierung und anderen architektonischen Entscheidungen auf die Robustheit zu untersuchen.
Einschränkungen und Erweiterungen
Obwohl CIFAR-100-C weit verbreitet ist, hat es Einschränkungen. Die Korruptionen sind synthetisch und erfassen möglicherweise nicht vollständig reale Verteilungsverschiebungen. Einige Forscher haben Erweiterungen vorgeschlagen, wie CIFAR-100-P, das zeitlich korrelierte Korruptionen für videoähnliche Sequenzen enthält. Andere haben CIFAR-100-C verwendet, um die Robustheit von großen Sprachmodellen bei der Anwendung auf Sehaufgaben zu bewerten, obwohl solche Anwendungen weniger verbreitet sind. Der Datensatz bleibt eine wertvolle Ressource für die Robustheits-Benchmarking, insbesondere für Modelle im kleinen Maßstab und schnelle Experimente.