ImageNet-Sketch est un ensemble de données de référence introduit en 2019 pour évaluer la généralisation inter-domaines des modèles d'apprentissage automatique. Il contient 50 000 images de croquis en niveaux de gris, avec 50 images pour chacune des 1 000 classes de l'ensemble de données ImageNet original. Les croquis sont collectés à partir du projet QuickDraw de Google et d'autres sources, et ils représentent une représentation stylisée et abstraite des objets, différant considérablement des photographies naturelles. Cet ensemble de données est largement utilisé dans la recherche en vision par ordinateur pour tester la capacité des modèles entraînés sur des images naturelles à reconnaître des croquis, une tâche qui exige une robustesse face au changement de domaine.
L'ensemble de données a été créé par des chercheurs du MIT et de Google, et il a été présenté pour la première fois dans l'article « Learning Robust Representations by Projecting Supervisory Signals » de Haotian Wang, Weichao Qiu et d'autres. La motivation principale était de fournir un ensemble d'évaluation difficile qui va au-delà des ensembles de test standard, qui partagent souvent la même distribution que les données d'entraînement. En utilisant des croquis, qui sont visuellement distincts des photos, ImageNet-Sketch force les modèles à s'appuyer sur des caractéristiques sémantiques de haut niveau plutôt que sur des indices de texture ou de couleur de bas niveau.
Construction et composition
ImageNet-Sketch comprend 50 000 images, avec exactement 50 croquis par classe parmi les 1 000 catégories d'ImageNet. Les croquis proviennent de l'ensemble de données QuickDraw, qui contient des millions de gribouillages dessinés par les utilisateurs, et sont filtrés pour correspondre aux étiquettes de classe d'ImageNet. Chaque croquis est un dessin au trait en noir et blanc, généralement simple et abstrait, capturant la forme essentielle d'un objet. L'ensemble de données évite intentionnellement les informations de couleur et de texture, ce qui en fait un test pur de reconnaissance basée sur la forme.
Le processus de construction a impliqué la mise en correspondance des catégories QuickDraw avec les synsets d'ImageNet, puis la sélection d'un sous-ensemble de croquis jugés représentatifs. L'ensemble de données final est disponible publiquement en téléchargement, et il est devenu une référence standard dans le domaine. Les chercheurs l'utilisent souvent en conjonction avec d'autres ensembles de données, tels que ImageNet-C ou ImageNet-A, pour évaluer la robustesse à divers types de changement de distribution.
Utilisation dans l'évaluation des modèles
ImageNet-Sketch est principalement utilisé pour évaluer la généralisation inter-domaines des modèles de apprentissage profond, en particulier les réseaux de neurones convolutifs et les architectures plus récentes basées sur les transformeurs. Lorsqu'un modèle est entraîné sur ImageNet (images naturelles) et testé sur ImageNet-Sketch, la baisse de performance indique dans quelle mesure le modèle a appris des caractéristiques transférables. Les modèles qui s'appuient fortement sur la texture ou les indices de fond ont tendance à mal performer, tandis que ceux qui capturent la forme et la structure obtiennent de meilleurs résultats.
Par exemple, les modèles ResNet et les transformeurs de vision ont été évalués sur cette référence. Des études ont montré que les transformeurs de vision surpassent souvent les réseaux convolutifs dans la reconnaissance de croquis, peut-être en raison de leurs mécanismes d'attention globale. L'ensemble de données est également utilisé dans la recherche sur la augmentation de données, où des techniques telles que le transfert de style ou l'entraînement adversarial sont testées pour leur capacité à améliorer la robustesse face au changement de domaine.
Relation avec d'autres références
ImageNet-Sketch fait partie d'une famille de références de robustesse qui incluent ImageNet-C (corruptions), ImageNet-A (exemples adversariaux) et ImageNet-R (renditions). Alors qu'ImageNet-C applique des corruptions synthétiques aux images naturelles, ImageNet-Sketch fournit un style visuel complètement différent. Cela en fait un test complémentaire pour évaluer la généralisation des modèles. L'ensemble de données est souvent utilisé dans les classements et les articles de recherche pour rapporter des métriques de robustesse aux côtés de la précision sur l'ensemble de validation ImageNet original.
L'ensemble de données a également été utilisé pour étudier le phénomène de « biais de texture » dans les réseaux de neurones, où les modèles ont tendance à s'appuyer sur des motifs de texture locaux plutôt que sur la forme globale. En présentant des croquis sans texture, ImageNet-Sketch expose ce biais et encourage le développement de modèles plus conscients de la forme.
Limites et critiques
Une limitation d'ImageNet-Sketch est que les croquis ne sont pas uniformément répartis entre toutes les classes ; certaines classes peuvent avoir plus ou moins de 50 images, bien que l'ensemble de données soit conçu pour être équilibré. De plus, les croquis sont relativement simples et peuvent ne pas capturer toute la complexité des croquis du monde réel, ce qui pourrait limiter la généralisabilité des résultats. Certains chercheurs ont également noté que l'ensemble de données est biaisé vers les classes faciles à dessiner, telles que les animaux et les objets courants, tandis que les classes plus abstraites peuvent être sous-représentées.
Malgré ces limites, ImageNet-Sketch reste une ressource précieuse pour évaluer les performances inter-domaines. Il est largement cité dans la littérature en vision par ordinateur et continue d'être utilisé dans les études sur la robustesse, l'apprentissage par transfert et l'interprétabilité des modèles.