COCO图像描述是一项计算机视觉和自然语言处理领域的基准任务，模型接收来自微软常见对象上下文（COCO）数据集中的一张图像，并必须生成描述其内容的自然语言句子。该任务于2015年与COCO数据集一同推出，旨在评估算法如何弥合视觉理解与语言生成之间的鸿沟。它已成为视觉语言模型的标准测试平台，影响了现代多模态系统在人工智能和机器学习领域的发展。
COCO数据集包含超过33万张图像，带有超过250万个标注实例，对于图像描述任务，每张图像配有五条独立的人工撰写的描述。基准将图像分为训练集、验证集和测试集，官方评估使用一个未公开的留出测试集以防止过拟合。模型通过将生成的描述与五条参考描述进行比较，使用自动化指标进行评分，有时也会使用人工评估进行最终评定。
评估指标
COCO图像描述依赖多种自动化指标来衡量生成描述与人工参考之间的重叠度和相似性。最常报告的指标是BLEU、METEOR和CIDEr，后来加入SPICE以捕捉语义相似性。BLEU（双语评估替补）计算带有简洁惩罚的n-gram精确度，而METEOR对齐单词并考虑同义词和词干。CIDEr（基于共识的图像描述评估）根据n-gram在数据集中的频率进行加权，对信息丰富且独特的短语给予更高分数。SPICE（语义命题图像描述评估）将描述解析为场景图，并比较对象、属性和关系元组。
这些指标存在已知局限性，例如偏向于通用描述且不能完全反映人类判断。因此，研究社区也使用人工评分，特别是在定性分析以及比较自动化分数相近的模型时。官方COCO评估服务器提供了一个标准化平台，用于提交结果并与排行榜进行比较。
模型架构
该任务推动了模型架构从早期编码器-解码器框架向现代基于Transformer的系统的演变。最初的方法使用卷积神经网络（CNN）作为图像编码器，通常是预训练的残差网络（如ResNet），随后使用循环神经网络（RNN）或长短期记忆网络（LSTM）解码器逐词生成文本。这些模型使用交叉熵损失进行端到端训练，通常在推理时采用束搜索等技术以提高输出质量。
随着Transformer架构的兴起，图像描述模型转向使用Transformer编码器处理图像和Transformer解码器处理文本。编码器-解码器框架成为标准，图像特征从CNN中提取，然后由Transformer解码器通过交叉注意力处理这些特征。更近期的模型采用了多头注意力机制和预训练的视觉语言模型，例如基于大型语言模型骨干的模型，这些模型能生成更流畅且上下文更丰富的描述。
训练与优化
训练COCO图像描述模型通常涉及最小化生成描述与参考描述之间的交叉熵损失。许多模型使用两阶段训练过程：首先在COCO训练集上进行监督学习，其次使用强化学习或序列级目标进行优化，以直接改进评估指标。诸如课程学习和数据增强等技术已被应用于提高泛化能力，而梯度裁剪和批归一化则常用于稳定训练。
优化器和学习率调度的选择会显著影响性能。标准优化器如Adam（参见Adam优化器）和随机梯度下降的变体（参见SGD变体）被广泛使用，通常配合学习率调度进行预热然后衰减。在推理过程中，采用束搜索、Top-k采样和Top-p采样等解码策略，并使用温度缩放（参见温度缩放）来控制随机性。
影响与扩展
COCO图像描述对生成式人工智能和多模态学习领域产生了广泛影响。它已成为更复杂任务的基础，如视觉问答、图像文本检索和文本到图像生成。该基准还影响了大规模视觉语言预训练的发展，其中模型在大量图像文本对上训练，然后在COCO上进行微调。诸如斯坦福人工智能实验室、伯克利人工智能研究和麻省理工学院计算机科学与人工智能实验室等机构的研究团队贡献了有影响力的方法，而OpenAI和谷歌DeepMind等公司在其多模态系统中使用了COCO风格的数据。
该任务还凸显了评估机器生成描述的挑战，导致了对更稳健指标和人机协同评估的研究。截至2020年代初，最先进的模型在某些指标上接近人类表现，但仍难以处理细粒度细节和罕见对象。COCO图像描述仍然是比较视觉语言模型以及研究感知与语言交叉领域的广泛使用的基准。