ObjectNet是一个于2019年引入的基准数据集，旨在评估物体识别模型在真实世界分布偏移下的稳健性。与ImageNet等标准数据集（通常包含具有规范视角和干净背景的图像）不同，ObjectNet特意包含在日常环境中、从异常角度、背景杂乱且旋转方向各异的物体照片。该数据集包含313个物体类别下的50,000张图像，每张图像均专门设计用于挑战在传统数据集上训练的模型。其主要目的是衡量模型在训练分布统计规律之外泛化能力的好坏，这是将人工智能系统部署于非受控环境中的关键属性。
ObjectNet的创建源于一个观察：许多最先进的深度学习模型在标准基准上取得高准确率，但在测试看似细微差异的图像时却表现大幅下降。该数据集由安德烈·巴尔布领导的团队在麻省理工学院计算机科学与人工智能实验室（CSAIL）设计，并与其他机构的研究者合作完成。图像通过众包方式收集，并经过筛选以确保满足物体类别、视角、背景和旋转的严格标准。每张图像都附有描述物体旋转、场景背景和相机视角的元数据，使研究者能够详细分析失败模式。
设计与收集
ObjectNet的构建涉及大规模众包工作。工作人员被要求在家中或其他自然环境中拍摄物体，并遵循特定指示来变化每个物体的角度、背景和旋转。这一过程产生的图像相对于典型训练集而言真正属于分布外数据，因为它们捕捉了真实世界场景的自然变异性。数据集包含313个类别，其中许多与ImageNet类别重叠，但图像本身是全新的，并非来自现有数据集。每张图像的元数据包含三个关键属性：旋转（物体在图像平面中的方向）、背景（场景类型，如厨房、浴室或办公室）和视角（相机相对于物体的角度）。这种结构化标注使得能够对不同类型分布偏移下的模型性能进行细粒度评估。
对模型评估的影响
当ObjectNet发布时，它暴露了最先进模型中的显著漏洞。例如，一个在ImageNet上达到接近人类性能的模型，在ObjectNet上的准确率可能下降超过40个百分点。这种鲜明对比凸显了许多模型依赖虚假相关性（如背景线索或典型物体姿态），而非学习稳健的视觉特征。该数据集迅速成为稳健性研究的标准基准，与ImageNet-C和ImageNet-A等其他分布外数据集并列。研究者使用ObjectNet评估数据增强、领域适应和架构变化等技术，从而推动了模型泛化能力的提升。该数据集还激发了对形状、纹理和上下文在物体识别中作用的兴趣，研究表明模型往往优先考虑纹理而非形状，而ObjectNet的多样条件有助于暴露这种偏差。
与其他基准的关系
ObjectNet在计算机视觉基准中占据独特位置。与对现有图像应用人工噪声或模糊的合成损坏基准不同，ObjectNet完全由自然照片组成，使其成为更真实的现实世界性能测试。它通过提供受控但自然的分类环境，补充了专注于检测和分割的COCO和Pascal VOC等基准。数据集对旋转和视角的强调也将其与3D物体理解和神经网络可解释性研究联系起来。由于数据集相对于ImageNet较小，它通常用作测试集而非训练集，尽管一些研究探索了在其部分数据上进行微调以提高稳健性。
局限性与批评
尽管有其贡献，ObjectNet仍存在局限性。数据集的313个类别是更广泛物体分类法的子集，一些常见类别缺失。图像的众包性质意味着背景和视角的分布可能无法完全代表所有现实场景，且标注过程中存在固有噪声。此外，由于ObjectNet是在家庭环境中收集的，它可能低估了工业、户外或极端环境。一些研究者指出，通过训练更大、更多样化的数据集，可以部分缓解数据集的难度，这表明随着模型改进，ObjectNet与标准基准之间的差距正在缩小。尽管如此，ObjectNet仍然是压力测试模型和理解基准性能与现实世界可靠性之间差距的宝贵工具。
遗产与持续使用
ObjectNet已成为构建稳健视觉系统持续努力中的参考点。它经常在领域泛化、对抗稳健性和自监督学习的论文中被引用。数据集的元数据还支持了对旋转或背景等特定因素对模型性能影响的研究，为设计更具弹性的架构提供了见解。截至2020年代中期，ObjectNet继续用于学术研究和开发计算机视觉产品的行业团队，特别是在自动驾驶、机器人和增强现实等领域，这些领域常见新颖视角和杂乱场景。其创建凸显了在训练分布之外评估模型的重要性，并推动了机器学习社区更广泛地向稳健性和分布外泛化作为首要关注点的转变。