RefCOCOg是一个用于指称表达理解的数据集，该任务属于计算机视觉和自然语言处理领域，要求系统根据文本描述在图像中定位特定对象。它作为早期RefCOCO数据集的扩展而引入，重点在于更长的、更具描述性的短语，这些短语更接近人类生成的语言。该数据集基于Microsoft COCO（Common Objects in Context）图像集合构建，该集合包含超过330,000张带有详细对象标注的图像。
RefCOCOg的主要区别在于其描述。与早期数据集通常使用简短的、基于模板的短语不同，RefCOCOg提供了更长的、更自然的句子，其中包含上下文信息、空间关系和属性细节。例如，描述可能是“站在红色汽车旁边的蓝衣男子”，而不是简单的“那个男人”。这使得数据集对于评估必须同时理解视觉内容和语言细微差别的模型而言更具挑战性和现实性。
数据集构建
RefCOCOg由北卡罗来纳大学教堂山分校的研究人员创建，并在2016年的一篇论文中首次提出。该数据集通过众包平台构建，工作人员被展示来自COCO的图像，并被要求编写能够唯一标识图像中特定对象的描述。指令强调生成自然的、类似人类的短语，而不是使用预定义模板。这一过程产生了约104,560条指称表达，涵盖26,711张图像中的54,822个对象。
数据集被划分为训练集、验证集和测试集。一种常见的划分方式，称为RefCOCOg-google，使用90/10的比例进行训练和验证，并设有单独的测试集。另一种划分方式，RefCOCOg-umd，后来由马里兰大学的研究人员提出，提供了跨划分更均衡的图像分布。划分方式的选择会显著影响模型评估，因为不同的划分可能具有不同的难度水平。
评估与指标
RefCOCOg的标准评估使用准确率指标，如果预测的边界框与真实框的交并比（IoU）超过阈值（通常为0.5），则预测被视为正确。一些评估还会报告更高IoU阈值（如0.75）下的准确率，以评估定位精度。该任务通常被表述为一个排序问题，模型必须从对象检测器生成的候选区域集合中选择正确的区域。
对AI研究的影响
RefCOCOg已成为视觉基础和多模态理解的基准。它被广泛用于评估结合视觉和语言的模型，包括基于Transformer (architecture)架构和Large language model的模型。该数据集推动了区域级字幕生成、视觉问答和指称表达生成等领域的发展。许多现代方法使用Deep learning技术，包括Residual Network (ResNet)骨干网络和Multi-Head Attention机制，来应对数据集较长描述所带来的挑战。
该数据集还作为相关任务的基础，例如指称表达分割，其目标是生成像素级掩码而不是边界框。研究人员已扩展RefCOCOg以创建新基准，包括具有时间或交互元素的基准，但原始数据集仍然是标准的参考点。
局限性与挑战
尽管有其用途，RefCOCOg存在已知的局限性。描述虽然比早期数据集中的更长，但与完整的自然语言段落相比仍然相对较短。数据集还继承了COCO的偏差，例如常见对象类别的过度代表以及对日常场景的关注。此外，众包描述可能具有歧义或依赖于并非总是视觉上明显的上下文，这使得任务在某些情况下即使对人类标注者而言也很困难。
另一个挑战是评估协议本身。使用固定的IoU阈值可能无法完全捕捉模型定位的质量，尤其是对于小对象或形状不规则的物体。近年来，研究人员提出了更稳健的指标和评估框架，但原始准确率指标仍是最常报告的。
未来方向
RefCOCOg作为新AI方法的测试平台仍然具有相关性。随着Generative AI和多模态模型的兴起，该数据集常被用于探究这些系统如何在视觉内容中锚定语言。未来的工作可能涉及扩展数据集以包含更多样化的描述，纳入视频或3D场景，或将其与其他基准集成以创建更全面的评估套件。从RefCOCOg中获得的经验教训很可能为下一代视觉基础数据集的发展提供信息，这些数据集将更好地反映现实世界语言和视觉的复杂性。