ImageNet-R是一个基准数据集，旨在测试机器学习模型在分布偏移下的鲁棒性。它包含的图像是对原始ImageNet数据集中物体类别的艺术化再现，涵盖卡通、绘画、素描和雕塑等风格。与包含自然照片的标准测试集不同，ImageNet-R向模型呈现了显著的视觉域偏移，挑战其超越训练分布进行泛化的能力。该数据集的引入是为了揭示深度神经网络在面对熟悉对象的非典型表示时的脆弱性。
ImageNet-R的主要用途是作为分布偏移鲁棒性的评估工具。在机器学习中，模型通常在大规模数据集（如ImageNet）上训练，这些数据集包含自然图像。然而，现实世界中的应用经常会遇到风格、纹理或上下文不同的图像。ImageNet-R提供了一个受控环境，用于衡量模型在输入域变化时保持分类准确率的能力。它已成为鲁棒深度学习领域的标准基准，与ImageNet-C（损坏）和ImageNet-A（对抗性示例）等其他数据集互为补充。
构建与组成
ImageNet-R由Hendrycks等人于2020年创建。该数据集包含30,000张图像，涵盖200个ImageNet类别，每个类别约有150张图像。这些图像来源于多个在线存储库，并经过精心筛选以代表多样的艺术风格。这200个类别是原始1,000个ImageNet类别的子集，选择标准是包含在艺术中具有清晰视觉对应物的类别，例如动物、车辆和日常物品。这些再现形式包括水彩画、油画、剪贴画和3D渲染等。这种多样性确保数据集涵盖广泛的视觉变换，从抽象表示到更逼真但仍风格化的描绘。
评估与指标
在ImageNet-R上评估模型时，标准指标是top-1分类准确率。该数据集通常用作测试集，模型在标准ImageNet或其他自然图像数据集上训练。初步实验的一个关键发现是，许多最先进的模型，包括基于残差网络架构的模型，在ImageNet-R上的准确率相比标准ImageNet验证集出现显著下降。例如，在ImageNet上训练的ResNet-50在自然图像上可能达到约76%的top-1准确率，但在ImageNet-R上仅为约36%。这一性能差距凸显了分布偏移的挑战。后续研究专注于开发训练技术，例如数据增强策略和鲁棒性感知的损失函数，以改善在该基准上的表现。
与其他鲁棒性基准的关系
ImageNet-R是一个基准家族的一部分，该家族旨在探测模型鲁棒性的不同方面。ImageNet-C引入噪声和模糊等合成损坏，而ImageNet-R则聚焦于自然风格变化。另一方面，ImageNet-A包含自然发生的对抗性示例，这些示例常被标准模型错误分类。这些数据集共同提供了对模型处理分布外数据能力的全面评估。在人工智能安全性和可靠性的背景下，ImageNet-R尤为重要，因为艺术化再现常见于用户生成内容中，而在此类输入上失败的模型在现实应用中可能不太值得信赖。
影响与局限性
ImageNet-R推动了域泛化和鲁棒表示学习领域的大量研究。它已被用于评估各种方法的有效性，包括对比学习、自监督预训练以及像Transformer视觉模型这样的架构创新。然而，该数据集也存在局限性。这200个类别是ImageNet的子集，因此并未覆盖完整的标签空间。此外，艺术风格并非详尽无遗，在ImageNet-R上表现良好的模型仍可能在其他类型的分布偏移上失败。截至2024年，ImageNet-R仍是一个被广泛引用的基准，但研究人员正日益开发更多样化和更具挑战性的数据集，以推动鲁棒性的边界。
参见
参考文献
- Hendrycks, D., et al. (2020). The Many Faces of Robustness: A Critical Analysis of Out-of-Distribution Generalization. arXiv preprint.
- Hendrycks, D., & Dietterich, T. (2019). Benchmarking Neural Network Robustness to Common Corruptions and Perturbations. ICLR.
外部链接
- ImageNet-R官方存储库（因政策原因未链接）
分类
- 鲁棒性
- 基准
- 数据集
- 计算机视觉