COCO Captioning é uma tarefa de referência em visão computacional e processamento de linguagem natural, na qual um modelo recebe uma imagem do conjunto de dados Microsoft Common Objects in Context (COCO) e deve produzir uma frase em linguagem natural que descreva seu conteúdo. A tarefa foi introducida junto com o conjunto de dados COCO em 2015 para avaliar quão bem algoritmos conseguem unir compreensão visual e geração de linguagem. Tornou-se um ambiente de teste padrão para modelos de visão-linguagem, influenciando o desenvolvimento de sistemas multimodais modernos em inteligência artificial e aprendizado automático.
O conjunto de dados COCO contém mais de 330.000 imagens com mais de 2,5 milhões de instâncias rotuladas, e para a tarefa de legendagem, cada imagem é emparejada com cinco legendas escritas por humanos de forma independente. A referência divide as imagens em conjuntos de treinamento, validação e teste, com a avaliação oficial usando um conjunto de teste retenido que não é divulgado publicamente para evitar sobreajuste. Os modelos são avaliados comparando as legendas geradas com as cinco legendas de referência usando métricas automatizadas, com avaliação humana às vezes usada para a avaliação final.
Métricas de Avaliação
COCO Captioning depende de várias métricas automatizadas que medem a superposição e a similaridade entre legendas geradas e referências humanas. As métricas mais comumente reportadas são BLEU, METEOR e CIDEr, com SPICE adicionado posteriormente para capturar similaridade semântica. BLEU (Bilingual Evaluation Understudy) calcula precisão de n-gramas com uma penalidade de brevidade, enquanto METEOR alinha palavras e considera sinônimos e lematização. CIDEr (Consensus-based Image Description Evaluation) pondera n-gramas com base em sua frequência no conjunto de dados, dando pontuações mais altas a frases informativas e distintivas. SPICE (Semantic Propositional Image Caption Evaluation) analiza legendas em grafos de escena e compara tuplas de objetos, atributos e relações.
Estas métricas têm limitações conhecidas, como favorecer descripções genéricas e não capturar completamente o julgamento humano. Como resultado, a comunidade de pesquisa também usou avaliações humanas, particularmente para análise qualitativa e para comparar modelos que alcanzan pontuações automatizadas similares. O servidor oficial de avaliação COCO fornece uma plataforma estandarizada para enviar resultados e comparar contra um ranking.
Arquitecturas de Modelos
A tarefa impulsionou a evolução das arquitecturas de modelos desde frameworks de codificador-decodificador iniciais até sistemas modernos baseados em transformadores. Abordagens iniciais usavam uma rede neural convolucional (CNN) como codificador de imagem, tipicamente uma rede residual pré-treinada como ResNet, seguida por uma rede neural recorrente (RNN) ou unidade de memória de longo prazo (LSTM) como decodificador para gerar palavras sequencialmente. Estes modelos eram treinados de ponta a ponta usando perda de entropia cruzada, muitas vezes com técnicas como busca em haz durante a inferência para melhorar a qualidade da saída.
Com o surgimento da arquitectura transformador, os modelos de legendagem se deslocaram para usar codificadores transformadores para imagens e decodificadores transformadores para texto. O framework codificador-decodificador se tornou padrão, com características de imagem extraídas de uma CNN e depois processadas por um decodificador transformador que atende a essas características via atenção cruzada. Modelos mais recentes adotaram mecanismos de atenção de múltiples cabezas e modelos de visão-linguagem pré-treinados, como os baseados em backbones de modelos de linguagem grandes, que podem gerar legendas mais fluentes e contextualmente ricas.
Treinamento e Otimização
Treinar um modelo de legendagem COCO tipicamente envolve minimizar uma perda de entropia cruzada entre a legenda gerada e as legendas de referência. Muitos modelos usan um processo de treinamento em duas etapas: primeiro, aprendizado supervisionado no conjunto de treinamento COCO, e segundo, otimização com aprendizado por refuerzo ou objetivos a nível de secuencia para melhorar diretamente a métrica de avaliação. Técnicas como aprendizado curricular e aumento de datos foram aplicadas para melhorar a generalização, enquanto recorte de gradiente e normalización por lotes são comuns para um treinamento estáble.
A escolha do optimizador e do esquema de taxa de aprendizado pode afetar significativamente o desempeño. Optimizadores estándar como Adam (veja optimizador Adam) e variantes de descenso de gradiente estocástico (veja variantes de SGD) são amplamente usados, muitas vezes com um esquema de taxa de aprendizado que se aquece e depois decae. Durante a inferência, estratégias de decodificación como busca en haz, muestreo top-k e muestreo top-p são empregadas, com escalado de temperatura (veja escalado de temperatura) para controlar a aleatoriedad.
Impacto e Extensões
COCO Captioning teve um impacto amplio no campo de IA generativa e aprendizado multimodal. Serviu como base para tarefas más complexas como resposta a preguntas visuais, recuperación de imagen-texto e generación de texto a imagen. A referência também influenciou o desenvolvimento de pre-treinamento de visión-linguagem a gran escala, onde modelos são treinados em pares masivos de imagen-texto e depois ajustados em COCO. Grupos de pesquisa em instituciones como Stanford AI Lab, Berkeley AI Research e MIT CSAIL contribuíron métodos influentes, e empresas como OpenAI e Google DeepMind usaron datos estilo COCO em seus sistemas multimodales.
A tarefa também destacou desafíos na evaluación de descripciones generadas por máquinas, levando a investigación sobre métricas más robustas e evaluación con humanos en el ciclo. A partir do início dos anos 2020, modelos de última generación alcanzan puntuaciones que se aproximan ao desempeño humano em algumas métricas, aunque ainda lutam com detalles finos e objetos raros. COCO Captioning permanece como uma referência amplamente usada para comparar modelos de visão-linguagem e para estudiar a intersección entre percepción e linguagem.