MNIST-M是一个合成图像数据集，旨在评估机器学习中的领域自适应技术。它源自原始的MNIST手写数字数据集，但每个数字都与从BSDS500数据集中提取的随机彩色背景混合。结果是保留数字结构的同时引入颜色和纹理上的显著视觉变化的一组图像，使其成为对在标准MNIST上训练的模型具有挑战性的基准。
该数据集由Yaroslav Ganin和Victor Lempitsky在2016年关于无监督领域自适应的论文中引入，他们在其中提出了一种领域对抗神经网络。MNIST-M自此成为领域自适应文献中的标准基准，通常与MNIST配对使用，其中MNIST作为源领域，MNIST-M作为目标领域。研究人员用它来测试模型如何从干净的灰度源泛化到带噪声的彩色目标。
构建与属性
MNIST-M的构建方式是将MNIST训练集和测试集中的每张图像合成到BSDS500数据集中的随机背景块上。数字以随机颜色渲染，背景也是随机选择的，从而产生多种多样的外观。图像为28x28像素，与原始MNIST分辨率一致，但采用RGB格式而非灰度。数据集包含60,000张训练图像和10,000张测试图像，与MNIST的划分方式相同。
随机混合引入了领域偏移：虽然数字形状与MNIST相同，但颜色分布和背景纹理差异巨大。这使得MNIST-M成为依赖低级特征的模型的有效压力测试，因为模型必须学会忽略无关的颜色信息并专注于形状。
在领域自适应研究中的作用
领域自适应是机器学习的一个子领域，解决在一个分布（源）上训练模型并将其应用于不同但相关的分布（目标）的问题。MNIST-M经常被用作实验中的目标领域，而MNIST作为源领域。目标是在带标签的MNIST图像上训练分类器，然后评估其在无标签的MNIST-M图像上的性能，期望模型在无需额外标签的情况下适应新领域。
常见的基线是仅在MNIST上训练模型并在MNIST-M上测试，由于领域偏移，这通常会产生较低的准确率。领域对抗训练、特征对齐和自监督预训练等方法在该基准上显示出显著改进。该数据集也用于无监督领域自适应算法的比较，其中目标领域标签仅用于评估。
相关数据集与变体
MNIST-M是MNIST衍生基准家族的一部分，包括MNIST-C（损坏的MNIST）、MNIST-R（旋转的MNIST）和SVHN（街景门牌号），这些也作为领域自适应目标。与应用确定性损坏的MNIST-C不同，MNIST-M使用随机背景，使其更类似于风格迁移问题。该数据集常与其他基准结合用于多源领域自适应研究。
局限性与批评
虽然MNIST-M是一个有价值的基准，但它存在局限性。数据集的合成性质意味着在MNIST-M上的性能可能无法完全预测在真实世界领域偏移（如医学成像或自动驾驶中遇到的）上的性能。此外，随机背景有时会遮挡数字，使某些样本即使对人类来说也几乎无法分类。研究人员指出，与DomainNet或Office-Home等更复杂的基准相比，MNIST-M相对简单，但它仍然是验证新方法的有用第一步。
在深度学习中的应用
MNIST-M广泛用于深度学习研究，以评估架构和训练技术。它在对抗训练、领域不变特征学习和生成模型的研究中特别受欢迎。例如，一些方法使用生成式人工智能从源数据合成类似目标的图像，而MNIST-M作为此类方法的测试平台。该数据集也用于教育环境，以说明领域偏移的挑战和自适应技术的有效性。
参见
参考文献
- Ganin, Y., & Lempitsky, V. (2015). Unsupervised Domain Adaptation by Backpropagation. Proceedings of the 32nd International Conference on Machine Learning (ICML).
- Ganin, Y., et al. (2016). Domain-Adversarial Training of Neural Networks. Journal of Machine Learning Research.