ImageNet-Sketch est un ensemble de données de référence introduit en 2019 pour tester la capacité des modèles de classification d'images à généraliser à un domaine visuel différent. Il contient 50 000 images de croquis en niveaux de gris, avec 50 images pour chacune des 1 000 classes de l'ensemble de données ImageNet original. Les croquis sont collectés à partir de recherches d'images Google pour des termes tels que « sketch of [nom de la classe] » et sont filtrés manuellement pour garantir qu'ils représentent l'objet visé. Contrairement aux photographies naturelles, ces images sont des dessins au trait abstraits, souvent avec un minimum de détails, ce qui en fait un test de changement de domaine difficile pour les modèles entraînés sur des ensembles de photos standard.
L'ensemble de données a été créé par des chercheurs de l'Université de Californie à Berkeley, notamment Haohan Wang, Songwei Ge, Zachary Lipton et Eric Xing. Il a été publié en même temps qu'un article intitulé « Learning Robust Global Representations by Penalizing Local Predictive Power », présenté à la Conférence 2019 sur les systèmes de traitement de l'information neuronale (NeurIPS). La motivation principale était de fournir un outil simple mais efficace pour évaluer la robustesse d'un modèle face aux changements de distribution, en particulier le passage d'images du monde réel à des croquis humains abstraits. ImageNet-Sketch est depuis devenu un ensemble d'évaluation standard dans le domaine du apprentissage automatique et du apprentissage profond, souvent utilisé aux côtés d'autres références de robustesse comme ImageNet-C et ImageNet-R.
Construction et caractéristiques
Le processus de construction impliquait d'interroger la recherche d'images Google avec le modèle « sketch of [classe] » pour chacune des 1 000 classes d'ImageNet. Les images renvoyées étaient ensuite filtrées pour supprimer les images non-croquis, telles que les photos ou les diagrammes, et pour garantir que chaque classe disposait d'au moins 50 croquis valides. L'ensemble de données final contient exactement 50 images par classe, soit un total de 50 000 images. Toutes les images sont redimensionnées à une résolution cohérente, généralement 224x224 pixels, pour correspondre aux tailles d'entrée standard des classificateurs réseaux de neurones.
Une caractéristique clé d'ImageNet-Sketch est sa dépendance aux croquis dessinés par des humains, qui sont intrinsèquement plus abstraits et moins photoréalistes que les images naturelles. Ces croquis omettent souvent la couleur, la texture et les détails fins, forçant les modèles à s'appuyer sur des indices globaux de forme et de structure. Cela rend l'ensemble de données particulièrement utile pour étudier si les modèles ont appris des caractéristiques robustes et généralisables ou s'ils se sont surajustés aux statistiques superficielles des images naturelles.
Rôle dans l'évaluation de la robustesse
ImageNet-Sketch est largement utilisé pour mesurer la robustesse des classificateurs d'images sous changement de domaine. Les modèles entraînés sur ImageNet montrent généralement une baisse significative de précision lorsqu'ils sont évalués sur ImageNet-Sketch, passant souvent d'environ 70-80 % de précision top-1 sur les images naturelles à 20-30 % sur les croquis. Cet écart de performance met en évidence la fragilité de nombreux modèles de apprentissage profond face à des entrées hors distribution.
L'ensemble de données est souvent inclus dans les classements et les études de robustesse. Par exemple, il est un composant central des références de corruption ImageNet-C et ImageNet-P, bien qu'il soit distinct en ce qu'il représente un changement de domaine naturel, créé par l'humain, plutôt que des corruptions synthétiques. Les chercheurs ont utilisé ImageNet-Sketch pour évaluer l'efficacité de diverses techniques de robustesse, telles que les stratégies de augmentation de données, l'entraînement adversarial et les changements architecturaux comme les variantes de réseaux résiduels. Il a également été utilisé pour sonder les représentations internes des modèles, révélant que de nombreux modèles s'appuient fortement sur la texture et les motifs locaux plutôt que sur la forme globale, ce que les croquis perturbent.
Relation avec d'autres références
ImageNet-Sketch complète d'autres ensembles de données de changement de domaine comme ImageNet-R (qui contient des rendus artistiques tels que des peintures et des dessins animés) et ImageNet-A (qui contient des exemples adversariaux naturels). Alors qu'ImageNet-R inclut un mélange de styles artistiques, ImageNet-Sketch se concentre spécifiquement sur les dessins au trait, fournissant un test plus propre de la reconnaissance basée sur la forme. L'ensemble de données est également lié à l'ensemble de données Sketchy et à l'ensemble de données de croquis TU-Berlin, mais il est unique par son échelle et son alignement direct avec les classes d'ImageNet.
Dans le contexte plus large de la recherche en intelligence artificielle, ImageNet-Sketch a été déterminant pour mettre en évidence les limites des modèles actuels et pour stimuler l'intérêt pour un apprentissage robuste et généralisable. Il est fréquemment cité dans les articles sur la généralisation de domaine, l'apprentissage auto-supervisé et l'interprétabilité des modèles. En 2025, il reste un outil d'évaluation standard en vision par ordinateur, de nombreux modèles de pointe rapportant leurs performances sur cette référence.
Limites et critiques
Une limitation d'ImageNet-Sketch est que les croquis sont collectés à partir de recherches Web, ce qui peut introduire des biais de style ou de contenu. Par exemple, certaines classes peuvent avoir des styles de croquis plus diversifiés que d'autres, et le processus de filtrage peut inclure par inadvertance des images qui ne sont pas de purs croquis. De plus, l'ensemble de données est statique, il ne capture donc pas l'évolution des styles de croquis au fil du temps. Malgré ces problèmes, sa simplicité et sa facilité d'utilisation en ont fait un choix populaire pour les chercheurs.
Une autre critique est que la baisse de performance sur ImageNet-Sketch peut ne pas refléter pleinement les changements de domaine du monde réel, car les croquis sont une abstraction extrême. Cependant, cette extrême est précisément ce qui rend l'ensemble de données précieux pour tester les modèles sous contrainte. Elle force les chercheurs à développer des méthodes qui vont au-delà de la mémorisation des motifs de pixels et apprennent plutôt des représentations plus abstraites et transférables.
Utilisation dans la recherche et l'industrie
Dans la recherche académique, ImageNet-Sketch est souvent utilisé pour évaluer de nouvelles architectures et méthodes d'entraînement. Par exemple, les études sur les transformeurs de vision et les réseaux convolutifs rapportent fréquemment des résultats sur cet ensemble de données pour démontrer la robustesse. Il est également utilisé dans le développement de modèles de fondation, où le pré-entraînement sur des données diverses est censé améliorer les performances sur de tels ensembles hors distribution. Dans l'industrie, les entreprises travaillant sur des systèmes de reconnaissance d'images, comme celles de la conduite autonome ou de l'imagerie médicale, peuvent utiliser ImageNet-Sketch comme test de cohérence pour la généralisation des modèles, bien que cela soit plus courant dans les contextes de recherche.
L'ensemble de données est disponible publiquement en téléchargement, et son utilisation est régie par les termes d'ImageNet d'origine, qui autorisent une utilisation de recherche non commerciale. Il a été cité dans des milliers d'articles, ce qui en fait l'une des références de robustesse les plus influentes du domaine. En 2025, il continue d'être une ressource pertinente et largement utilisée, surtout alors que la communauté se concentre sur la construction de modèles fiables dans des environnements divers et imprévisibles.
Directions futures
À l'avenir, les chercheurs explorent des moyens d'étendre ImageNet-Sketch à d'autres domaines, tels que les croquis 3D ou les dessins animés, et de créer des versions plus difficiles avec des classes plus fines. Il y a également un intérêt à utiliser l'ensemble de données pour entraîner des modèles intrinsèquement plus robustes, plutôt que de simplement les évaluer. Par exemple, certains travaux ont exploré l'incorporation de données de croquis dans les ensembles d'entraînement pour améliorer le biais de forme, ce qui pourrait conduire à une meilleure généralisation sur d'autres changements de domaine. L'ensemble de données reste une pierre angulaire dans l'effort continu pour atteindre une intelligence artificielle véritablement robuste.