ImageNet-V2是一个用于图像分类模型的测试集，其图像收集自与原始ImageNet数据集不同的来源。引入该数据集旨在衡量模型对新数据的泛化能力，以解决人们对原始测试集上性能可能因过拟合或数据集特定偏差而被夸大的担忧。该数据集为模型在现实场景中的鲁棒性提供了更真实的评估。
原始ImageNet数据集是一个大规模视觉数据库，自2009年推出以来一直是图像分类的标准基准。然而，研究人员观察到，在ImageNet上达到高准确率的模型，往往无法在不同分布的图像上保持该性能。这种差异凸显了需要一个能更准确评估泛化能力的新测试集。ImageNet-V2通过从各种来源（包括不同的搜索引擎和照片分享平台）收集新图像而创建，确保图像集多样化，而非简单地从原始数据集中重新采样。
动机与设计
ImageNet-V2的主要动机是评估机器学习模型的泛化能力，特别是深度学习模型，如残差网络和其他神经网络。原始ImageNet测试集在研究中常被反复使用，可能导致潜在的过拟合。通过提供一组全新的图像，ImageNet-V2提供了对模型性能更诚实的评估。该数据集被设计为匹配原始ImageNet的类别分布，但图像本身收集自不同来源，如Flickr和其他在线存储库，以引入自然变化。
收集过程涉及为每个1,000个ImageNet类别查询多个搜索引擎和照片分享网站。这种方法确保了图像不仅仅是原始数据集中图像的重复或近似重复。由此产生的数据集包含10,000张图像，每个类别10张，为评估提供了具有统计意义的样本。
主要发现与影响
使用ImageNet-V2的研究揭示，许多模型在该数据集上的准确率相比其在原始测试集上的表现有显著下降。例如，一个在ImageNet上达到90%准确率的模型，在ImageNet-V2上可能仅达到80%，这表明存在泛化差距。这一发现推动了关于数据增强技术、模型剪枝以及其他提高鲁棒性方法的进一步研究。该数据集已成为评估模型泛化能力的标准基准，与ImageNet-C和ImageNet-A等其他数据集并列，后者分别测试对损坏和对抗样本的鲁棒性。
ImageNet-V2的引入也影响了新评估协议的发展。研究人员现在通常会在多个测试集上报告性能，以提供对模型能力更全面的视角。这一转变导致了对人工智能安全性和可靠性的更大关注，因为在多样化测试集上表现良好的模型更可能在现实应用中可靠运行。
与其他基准的关系
ImageNet-V2是创建更具挑战性和更现实基准的更广泛努力的一部分。与从单一来源（Flickr）收集的原始ImageNet不同，ImageNet-V2使用多个来源，使其更能代表实践中遇到的图像多样性。它补充了其他数据集，如对图像应用常见损坏的ImageNet-C，以及包含自然发生的对抗样本的ImageNet-A。这些基准共同提供了对模型鲁棒性的多方面评估。
该数据集已被机器学习社区广泛采用，许多论文在ImageNet-V2上报告结果。它也被用于研究批归一化、丢弃法和其他训练技术对泛化的影响。这些研究的发现为模型训练和评估的最佳实践提供了信息。
局限性与批评
尽管有其用途，ImageNet-V2仍存在一些局限性。该数据集相对原始测试集较小，这可能导致准确率估计的方差较高。此外，收集过程可能引入偏差，因为图像来自在线平台，可能无法代表所有现实场景。一些研究人员认为，即使是ImageNet-V2也不能完全捕捉现实部署的挑战，其中图像可能高度多变且具有领域特异性。
另一个批评是，该数据集仅涵盖原始ImageNet的1,000个类别，限制了其在其他任务上的适用性。然而，它仍然是评估泛化能力的宝贵工具，其设计已启发了其他领域的类似努力，如自然语言处理和大型语言模型。
未来方向
ImageNet-V2的成功鼓励了其他具有类似目标的测试集的创建。研究人员正在探索创建能适应新模型和任务的动态基准的方法。也有兴趣开发较少依赖网络抓取图像的测试集，转而使用合成数据或受控环境。随着深度学习的持续发展，对稳健评估方法的需求只会增长，像ImageNet-V2这样的数据集将在确保模型不仅在纸面上准确，而且在实践中可靠方面发挥关键作用。