CIFAR-100-C est un ensemble de données de référence conçu pour évaluer la robustesse des modèles d'apprentissage automatique face aux corruptions d'images courantes. Il se compose de versions corrompues de l'ensemble de test CIFAR-100, créées en appliquant 15 types de distorsions à cinq niveaux de sévérité. Cet ensemble est largement utilisé dans la recherche sur la robustesse pour mesurer la capacité des modèles à généraliser face à des perturbations inattendues en entrée, complétant les métriques de précision standard.
L'ensemble de données original CIFAR-100 contient 60 000 images couleur de 32x32 pixels réparties en 100 classes, avec 50 000 images d'entraînement et 10 000 images de test. CIFAR-100-C prend les 10 000 images de test et applique chaque type de corruption à chaque niveau de sévérité, ce qui donne 75 000 images corrompues (15 corruptions x 5 sévérités x 10 000 images). Les corruptions simulent des distorsions du monde réel telles que le bruit, le flou, les effets météorologiques et les artefacts numériques.
Types de corruptions
Les 15 types de corruptions sont regroupés en quatre catégories : bruit (gaussien, impulsionnel, impulsif), flou (défocalisation, givré, verre, mouvement, zoom), météo (neige, givre, brouillard, luminosité) et numérique (contraste, élastique, pixellisation, JPEG). Chaque corruption est appliquée de manière algorithmique, avec des niveaux de sévérité allant de 1 (léger) à 5 (sévère). Par exemple, le bruit gaussien ajoute des valeurs de pixels aléatoires, tandis que le flou de mouvement simule un mouvement de caméra. L'ensemble est généré à l'aide d'un code source standardisé, garantissant la reproductibilité des études.
Utilisation dans l'évaluation de la robustesse
CIFAR-100-C est couramment utilisé pour mesurer la robustesse des réseaux de neurones et d'autres modèles de apprentissage automatique. Les chercheurs rapportent le taux d'erreur moyen sur toutes les corruptions et sévérités, souvent appelé erreur de corruption moyenne (mCE). Les modèles entraînés avec des techniques de augmentation de données, telles que le recadrage aléatoire ou la variation de couleur, performent généralement mieux sur CIFAR-100-C que les modèles entraînés sans. Ce benchmark est devenu un outil standard dans la communauté de la robustesse, aux côtés de CIFAR-10-C et ImageNet-C.
Relation avec d'autres benchmarks
CIFAR-100-C fait partie d'une famille de benchmarks de corruption introduits par Hendrycks et Dietterich en 2019, qui inclut également CIFAR-10-C et ImageNet-C. Ces ensembles partagent les mêmes types de corruptions et niveaux de sévérité, permettant des comparaisons entre ensembles. Le benchmark est souvent utilisé en conjonction avec des évaluations de robustesse adversariales, bien qu'il se concentre sur les corruptions naturelles plutôt que sur les perturbations malveillantes. Il est également utilisé pour étudier les effets de la normalisation par lots et d'autres choix architecturaux sur la robustesse.
Limites et extensions
Bien que CIFAR-100-C soit largement utilisé, il présente des limites. Les corruptions sont synthétiques et peuvent ne pas capturer pleinement les changements de distribution du monde réel. Certains chercheurs ont proposé des extensions, comme CIFAR-100-P, qui inclut des corruptions temporellement corrélées pour des séquences de type vidéo. D'autres ont utilisé CIFAR-100-C pour évaluer la robustesse des grands modèles de langage lorsqu'ils sont appliqués à des tâches de vision, bien que de telles applications soient moins courantes. L'ensemble reste une ressource précieuse pour évaluer la robustesse, en particulier pour les modèles à petite échelle et les expériences rapides.