COCO Captions 2015 é um conjunto de dados de referência amplamente utilizado para legendagem de imagens, consistindo em cinco descrições independentes escritas por humanos para cada imagem das coleções Microsoft COCO (Common Objects in Context) de 2014 e 2015. O conjunto de dados foi introduzido para apoiar a pesquisa em inteligência artificial e aprendizado de máquina, especificamente tarefas que exigem a geração de descrições em linguagem natural de conteúdo visual. Cada legenda é uma frase completa que descreve os objetos, ações e relações presentes na imagem correspondente, fornecendo uma fonte rica de dados alinhados de visão e linguagem.
As legendas foram coletadas por meio do Amazon Mechanical Turk, com instruções para que os trabalhadores descrevessem todas as partes importantes da imagem em uma única frase. O conjunto de dados inclui mais de 330.000 imagens, cada uma associada a cinco legendas, resultando em mais de 1,5 milhão de pares de legenda e imagem. O COCO Captions 2015 tornou-se um conjunto de avaliação padrão para modelos que combinam técnicas de aprendizado profundo em visão computacional e processamento de linguagem natural, frequentemente usando arquiteturas de redes neurais, como modelos codificador-decodificador. O design do conjunto de dados incentiva a diversidade na formulação, pois diferentes anotadores descrevem a mesma cena de maneiras variadas, o que testa a capacidade de um modelo de produzir texto fluente e semanticamente preciso.
Estrutura e Estatísticas
O conjunto de dados COCO Captions 2015 é organizado em divisões de treinamento, validação e teste, sendo a divisão de teste ainda subdividida em um conjunto de teste público e um conjunto de teste reservado, usado para avaliação oficial. A divisão de treinamento contém aproximadamente 82.783 imagens, a divisão de validação contém 40.504 imagens e a divisão de teste contém 40.775 imagens. Cada imagem está associada a cinco legendas, mas as legendas do conjunto de teste não são divulgadas publicamente para evitar sobreajuste; em vez disso, os pesquisadores enviam previsões para um servidor de avaliação. As legendas variam em comprimento, tipicamente de 8 a 25 palavras, e cobrem uma ampla gama de cenas cotidianas, incluindo pessoas, animais, veículos e ambientes internos e externos.
Métricas de Avaliação
As métricas de avaliação padrão para o COCO Captions 2015 incluem BLEU, METEOR, ROUGE-L e CIDEr. O CIDEr (Consensus-based Image Description Evaluation) foi especificamente projetado para legendagem de imagens e mede o consenso entre uma legenda gerada e o conjunto de referências humanas usando sobreposições de n-gramas ponderadas por TF-IDF. O script de avaliação oficial do conjunto de dados calcula essas métricas no conjunto de teste reservado, e os rankings acompanham o desempenho dos modelos de última geração. Em 2015, os sistemas de melhor desempenho alcançaram pontuações BLEU-4 em torno de 0,30 e pontuações CIDEr em torno de 1,0, mas avanços subsequentes em arquiteturas baseadas em transformadores e no pré-treinamento de modelos de linguagem de grande escala melhoraram significativamente esses números.
Papel no Desenvolvimento de Modelos
O COCO Captions 2015 foi fundamental no desenvolvimento de sistemas modernos de legendagem de imagens. As abordagens iniciais usavam redes de resíduos ou U-Net como bases para extração de características visuais, combinadas com redes neurais recorrentes para geração de texto. Posteriormente, mecanismos de atenção multi-cabeça e atenção cruzada, introduzidos na arquitetura transformadora, substituíram os componentes recorrentes, permitindo um treinamento paralelo mais eficiente. O conjunto de dados também facilitou a pesquisa em aumento de dados e aprendizado curricular, bem como o uso de estratégias de decodificação como busca em feixe e amostragem top-p. Muitos modelos de IA generativa, incluindo os da OpenAI e do Google DeepMind, usaram o COCO Captions 2015 como referência de pré-treinamento ou avaliação, embora conjuntos de dados mais recentes, como Flickr30k e Visual Genome, tenham surgido.
Limitações e Legado
O conjunto de dados tem limitações conhecidas, incluindo um viés em relação a objetos comuns e estruturas de frases simples, bem como possível ruído de anotação por parte dos trabalhadores da multidão. Ele também carece de relações espaciais de granularidade fina e desafios de raciocínio composicional que aparecem em benchmarks mais recentes. Apesar dessas questões, o COCO Captions 2015 permanece um recurso fundamental para comparar métodos de legendagem de imagens e para estudar o alinhamento entre visão e linguagem. Seu design de cinco legendas por imagem influenciou conjuntos de dados posteriores, e seu protocolo de avaliação continua sendo usado em pesquisa acadêmica. O conjunto de dados está disponível gratuitamente para uso acadêmico, e suas anotações são amplamente citadas na literatura.
Benchmarks e Extensões Relacionados
As extensões do COCO Captions 2015 incluem o COCO-CN, que adiciona legendas em chinês, e o nocaps, que se concentra na legendagem de objetos novos. O conjunto de dados também se sobrepõe às tarefas de detecção e segmentação do COCO, permitindo aprendizado multitarefa. Os pesquisadores frequentemente combinam o COCO Captions 2015 com outros conjuntos de dados para melhorar a generalização, e ele continua sendo uma escolha comum para testar modelos sequência a sequência em tarefas de visão e linguagem. A influência do conjunto de dados se estende às ofertas da Amazon Web Services e do Google Cloud, que fornecem versões pré-processadas para uso em nuvem.