COCO（Common Objects in Context）数据集是一个大规模图像集合，旨在推动目标检测、分割和图像描述领域的研究。该数据集于2014年由微软、Facebook AI Research及其他机构的研究人员合作发布，为评估计算机视觉模型提供了标准化基准。数据集包含超过33万张图像，其中20余万张带有标注，涵盖80个目标类别中的250万个标注实例。其对场景上下文和非典型目标的重视，使其区别于早期专注于单目标分类的数据集（如ImageNet）。
COCO的创建旨在解决现有数据集的局限性，尤其是它们对典型、居中目标的偏好。标注过程涉及对每个目标进行详细的多边形分割，从而支持像素级任务。数据集还为超过15万张图像提供了描述，支持多模态研究。自发布以来，COCO已成为评估目标检测和分割算法的事实标准，COCO联盟每年举办挑战赛直至2020年。
数据集结构与标注
COCO数据集分为三个主要子集：训练集（118,000张图像）、验证集（5,000张图像）和测试集（20,000张图像，标注被保留用于挑战赛评估）。每张图像都标注有边界框、分割掩码以及人物实例的关键点。80个目标类别包括人、自行车、汽车、狗和杯子等常见物品，旨在覆盖日常场景。标注通过众包平台创建，并采用质量控制机制确保一致性。数据集还为描述任务提供每张图像5条由人工标注者生成的描述。
对计算机视觉的影响
COCO推动了机器学习和深度学习在视觉任务中的显著进展。数据集的复杂性，，包括重叠目标、多尺度变化和杂乱背景，，促使研究人员开发更稳健的模型。COCO评估指标的引入，特别是多个交并比（IoU）阈值下的平均精度（AP），成为算法比较的标准。在COCO上训练的模型，如基于ResNet的检测器和后来的Transformer架构，在准确性上取得了显著提升。数据集还促进了实例分割研究，催生了Mask R-CNN等架构的发展。
挑战赛与扩展
从2015年到2020年举办的年度COCO挑战赛吸引了来自学术界和工业界的数百支团队，包括来自Google DeepMind、OpenAI和Amazon Web Services的参与者。这些竞赛聚焦于检测、分割、关键点估计和全景分割等任务。2018年，数据集通过COCO-Stuff标注进行了扩展，新增91个场景类别（如天空、草地、墙壁）以支持场景理解。COCO数据集还启发了衍生数据集，如LVIS（Large Vocabulary Instance Segmentation），其类别数量扩展至超过1,200个。尽管年代久远，COCO仍广泛用于预训练和基准测试，许多近期神经网络模型在其验证集上报告性能。
技术规格与使用
COCO中的图像以JPEG格式存储，平均分辨率为640x480像素，但尺寸有所变化。标注以JSON格式提供，每张图像包含一个目标列表，每个目标带有类别ID、边界框坐标和分割多边形。数据集在宽松许可下免费供学术和商业使用。研究人员通常使用数据增强技术来提高在COCO上训练时的泛化能力。数据集的规模和复杂性要求大量计算资源；在COCO上训练最先进的检测器通常需要多块GPU运行数天。COCO API等Python库工具可简化标注的加载和评估。
遗产与未来方向
COCO的影响超越了目标检测，延伸至生成式人工智能和图像生成等领域。其描述已被用于训练视觉-语言模型，包括那些从文本提示生成图像的模型。数据集的标注还被重新用于全景分割和密集描述等任务。尽管Open Images和Objects365等新数据集提供了更大规模，但COCO的均衡类别和高质量标注使其保持相关性。截至2024年，COCO仍是学术论文中的主要基准，其指标每年被数百篇出版物引用。数据集的设计原则，，上下文多样性、精确标注和标准化评估，，为未来视觉数据集设定了模板。