COCO（Common Objects in Context）是一个用于计算机视觉任务的大规模数据集，主要涵盖目标检测、分割和图像描述。该数据集由微软的研究人员于2014年创建，旨在解决早期数据集的局限性，重点关注自然场景中的物体，包含多个物体和复杂场景的非标志性图像。该数据集包含超过33万张图像，其中超过20万张已标注，涵盖80个物体类别中的250万个标注实例。COCO已成为评估机器学习模型在视觉任务中表现的标准基准，推动了深度学习架构和神经网络设计的进步。
与之前以单个居中物体为特征的数据集不同，COCO强调上下文理解。每张图像通常包含多个物体、交互关系和多变的背景，使得检测和分割更具挑战性，也更接近实际应用。标注内容包括每个实例的分割掩码、边界框、人体姿态关键点，以及每张图像的自然语言描述。这种丰富性使得跨任务的同时训练和评估成为可能，例如实例分割、全景分割和密集描述。
数据集组成与标注
COCO数据集发布了三个主要版本：2014年、2015年和2017年。2017年版本是最常用的，包含118,000张训练图像、5,000张验证图像和41,000张测试开发图像。标注内容包括物体实例（带有多边形分割掩码）、stuff类别（如天空、草地）、图像描述和人体关键点（17个身体关节）。80个物体类别来源于日常常见物体，包括人、自行车、汽车、狗、猫和家具物品。标注过程通过Amazon Mechanical Turk众包完成，并进行了严格的质量控制。每张图像由多名标注员进行标注，结果经过合并和验证，确保标签一致性较高。每张图像的平均实例数为7.7个，每张图像包含约3.5个不同类别，反映了现实世界的复杂性。
评估指标
COCO引入了现代视觉研究中广泛使用的标准评估指标。主要指标是在IoU（交并比）阈值下的平均精度（AP），在IoU从0.5到0.95之间以0.05为步长进行聚合。这种“COCO AP”指标奖励精确的定位。次要指标包括IoU为0.5和0.75时的AP，以及针对小、中、大物体的AP，以评估尺度鲁棒性。对于分割任务，AP使用掩码IoU而非框IoU进行计算。官方评估服务器提供测试开发和测试挑战数据划分的排名，推动了检测器性能的快速提升。自2015年以来，COCO还举办年度研讨会和挑战赛，吸引了来自学术界和工业界的顶尖研究团队，包括卡内基梅隆大学、斯坦福人工智能实验室和伯克利人工智能研究的团队。
对计算机视觉研究的影响
COCO在推动目标检测和分割方面发挥了重要作用。许多里程碑式的架构都在COCO上进行了基准测试，包括Faster R-CNN（2015年）、Mask R-CNN（2017年）和YOLO变体。数据集的复杂性推动该领域向更鲁棒的模型发展，促进了特征金字塔网络、无锚点检测器和基于注意力机制的发展。COCO还促进了基于Transformer的视觉模型的兴起，例如2020年引入的DETR（检测Transformer），它将检测视为集合预测问题。该数据集成为数百万次模型迭代的训练和评估基础，成为学术论文中同行比较的事实标准。在检测之外，COCO的描述标注刺激了视觉语言模型的研究，这些模型后来随着生成式人工智能和大语言模型的进步而发展。关键点标注的可用性促进了姿态估计研究，影响了人机交互和机器人等领域。
扩展与社区资源
COCO衍生出多个派生数据集和工具。COCO-Stuff数据集（2017年）为91个stuff类别添加了像素级标注，支持全景分割。关键点标注被扩展用于多人姿态估计任务。COCO的格式被许多其他数据集采用，如LVIS（大规模词汇实例分割）和Open Images，促进了互操作性。COCO API是一个用于加载、可视化和评估标注的Python和MATLAB工具箱，已成为标准工具。此外，在COCO上进行预训练是其他视觉领域迁移学习的常见做法。最近的工作，如2023年的Segment Anything Model（SAM），将COCO作为训练数据的一部分，展示了其持续的相关性。截至2025年，COCO仍然是基石基准，尽管具有更多类别或更高图像分辨率的新数据集偶尔会补充它。
局限性与批评
尽管取得了成功，COCO仍存在局限性。80个类别有限且偏向西方语境，缺乏许多文化特定物体。数据集是静态的，图像收集于2014年，不能反映当代场景。标注错误存在，但由于多标注员一致性，错误率相对较低。类别分布不平衡，偏向于“人”和“汽车”等常见物体，而稀有物体较少。密集标注的要求使得扩展到更多类别因劳动力成本而昂贵。研究人员提出了主动学习和自动标注来解决这一问题，但成本仍然很高。此外，COCO的指标侧重于定位精度，这可能混淆语义和空间错误。尽管存在这些问题，COCO的影响力依然持续，它通常是评估新架构的首个基准，确保了比较结果的持续流动。
未来方向
随着Objects365（2019年）和Open Images V6（2019年）等新数据集的出现，COCO作为基准的未来正在演变，这些数据集提供更多类别或图像。然而，COCO的遗产通过其在定义评估实践中的作用得以巩固。现代人工智能系统，特别是为自动驾驶汽车和增强现实提供动力的系统，仍然依赖COCO训练的模型进行神经网络感知。数据集的设计原则，即上下文物体、密集标注和严格指标，影响了后续基准，如用于自动驾驶的nuScenes和LVIS挑战。此外，COCO的标注流程为生成式人工智能训练集的数据收集提供了参考。随着该领域向开放词汇检测和基础模型发展，COCO仍然是关键的验证集，尽管研究人员也使用自定义子集来测试零样本泛化能力。该数据集对可复现科学的贡献是深远的，为数百万次实验提供了共同基础。
参见
类别：计算机视觉数据集