MNIST-M est un ensemble de données d'images synthétiques conçu pour évaluer les techniques d'adaptation de domaine en apprentissage automatique. Il est dérivé de l'ensemble de données original MNIST de chiffres manuscrits, mais chaque chiffre est mélangé avec un fond de couleur aléatoire extrait de l'ensemble de données BSDS500. Le résultat est un ensemble d'images qui conservent la structure des chiffres tout en introduisant une variation visuelle significative en couleur et en texture, ce qui en fait un banc d'essai difficile pour les modèles entraînés sur MNIST standard.
L'ensemble de données a été introduit en 2016 par Yaroslav Ganin et Victor Lempitsky dans leur article sur l'adaptation de domaine non supervisée, où ils ont proposé un réseau neuronal contradictoire de domaine. MNIST-M est depuis devenu un banc d'essai standard dans la littérature sur l'adaptation de domaine, souvent associé à MNIST comme domaine source et MNIST-M comme domaine cible. Les chercheurs l'utilisent pour tester dans quelle mesure les modèles généralisent d'une source propre en niveaux de gris à une cible bruitée et colorée.
Construction et propriétés
MNIST-M est construit en prenant chaque image des ensembles d'entraînement et de test MNIST et en la composant sur un patch de fond aléatoire de l'ensemble de données BSDS500. Le chiffre est rendu dans une couleur aléatoire, et le fond est également sélectionné aléatoirement, créant une grande variété d'apparences. Les images sont de 28x28 pixels, correspondant à la résolution originale de MNIST, mais elles sont au format RVB plutôt qu'en niveaux de gris. L'ensemble de données contient 60 000 images d'entraînement et 10 000 images de test, reflétant la répartition de MNIST.
Le mélange aléatoire introduit un décalage de domaine : bien que les formes des chiffres soient identiques à celles de MNIST, les distributions de couleurs et les textures de fond diffèrent radicalement. Cela fait de MNIST-M un test de stress utile pour les modèles qui s'appuient sur des caractéristiques de bas niveau, car ils doivent apprendre à ignorer les informations de couleur non pertinentes et à se concentrer sur la forme.
Rôle dans la recherche sur l'adaptation de domaine
L'adaptation de domaine est un sous-domaine du apprentissage automatique qui traite du problème de l'entraînement d'un modèle sur une distribution (source) et de son application à une distribution différente mais liée (cible). MNIST-M est fréquemment utilisé comme domaine cible dans des expériences où MNIST sert de source. L'objectif est d'entraîner un classifieur sur des images MNIST étiquetées, puis d'évaluer ses performances sur des images MNIST-M non étiquetées, le modèle étant censé s'adapter au nouveau domaine sans étiquettes supplémentaires.
Une ligne de base courante consiste à entraîner un modèle uniquement sur MNIST et à le tester sur MNIST-M, ce qui donne généralement une faible précision en raison du décalage de domaine. Des méthodes telles que l'entraînement contradictoire de domaine, l'alignement de caractéristiques et le pré-entraînement auto-supervisé ont montré des améliorations significatives sur ce banc d'essai. L'ensemble de données est également utilisé dans des comparaisons d'algorithmes d'adaptation de domaine non supervisée, où les étiquettes du domaine cible ne sont disponibles que pour l'évaluation.
Ensembles de données et variantes associés
MNIST-M fait partie d'une famille de bancs d'essai dérivés de MNIST, notamment MNIST-C (MNIST corrompu), MNIST-R (MNIST pivoté) et SVHN (numéros de maisons de rue), qui servent également de cibles d'adaptation de domaine. Contrairement à MNIST-C, qui applique des corruptions déterministes, MNIST-M utilise des fonds aléatoires, ce qui le rend plus proche d'un problème de transfert de style. L'ensemble de données est souvent combiné avec d'autres bancs d'essai dans des études d'adaptation de domaine multi-sources.
Limites et critiques
Bien que MNIST-M soit un banc d'essai précieux, il présente des limites. La nature synthétique de l'ensemble de données signifie que les performances sur MNIST-M peuvent ne pas prédire pleinement les performances sur des décalages de domaine réels, tels que ceux rencontrés en imagerie médicale ou en conduite autonome. De plus, les fonds aléatoires peuvent parfois obscurcir le chiffre, rendant certains échantillons presque impossibles à classer même pour les humains. Les chercheurs ont noté que MNIST-M est relativement facile par rapport à des bancs d'essai plus complexes comme DomainNet ou Office-Home, mais il reste une première étape utile pour valider de nouvelles méthodes.
Applications en apprentissage profond
MNIST-M est largement utilisé dans la recherche en apprentissage profond pour évaluer les architectures et les techniques d'entraînement. Il est particulièrement populaire dans les études sur l'entraînement contradictoire, l'apprentissage de caractéristiques invariantes de domaine et les modèles génératifs. Par exemple, certaines approches utilisent le IA générative pour synthétiser des images similaires à la cible à partir de données source, et MNIST-M sert de banc d'essai pour de telles méthodes. L'ensemble de données est également utilisé dans des contextes éducatifs pour illustrer les défis du décalage de domaine et l'efficacité des techniques d'adaptation.
Voir aussi
Références
- Ganin, Y., & Lempitsky, V. (2015). Unsupervised Domain Adaptation by Backpropagation. Proceedings of the 32nd International Conference on Machine Learning (ICML).
- Ganin, Y., et al. (2016). Domain-Adversarial Training of Neural Networks. Journal of Machine Learning Research.