COCO test-dev é uma divisão de teste designada do conjunto de dados Common Objects in Context (COCO), criada para a avaliação de modelos nos desafios de detecção e segmentação do COCO. Diferentemente da divisão de teste padrão, test-dev é um conjunto "cego": suas anotações de ground-truth não são publicamente divulgadas. Pesquisadores submetem as previsões de seus modelos ao servidor de avaliação, que calcula métricas como mean Average Precision (mAP) e retorna pontuações. Esse protocolo é projetado para prevenir overfitting ao conjunto de teste e garantir comparação justa entre métodos concorrentes.
O conjunto de dados COCO foi introduzido em 2014 por Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár e C. Lawrence Zitnick. Ele contém mais de 200.000 imagens com mais de 1,5 milhão de instâncias de objetos rotuladas em 80 categorias. O conjunto de dados é amplamente utilizado em pesquisa de visão computacional para tarefas como detecção de objetos, segmentação de instâncias e detecção de pontos-chave. A divisão test-dev inclui aproximadamente 20.000 imagens, um subconjunto do conjunto de teste completo, que por sua vez contém cerca de 40.000 imagens. As imagens de teste restantes são usadas para a divisão "test-challenge", que é reservada para avaliação de desafios e também não possui anotações públicas.
Protocolo de Avaliação
Participantes dos desafios COCO, como o COCO Detection Challenge realizado na Conference on Computer Vision and Pattern Recognition (CVPR) a partir de 2015, submetem resultados para a divisão test-dev. O servidor de avaliação calcula métricas padrão: Average Precision (AP) em limiares de IoU de 0,5 a 0,95 em passos de 0,05, AP em IoU 0,5, AP em IoU 0,75 e recall médio (AR) para diferentes números de detecções. A métrica principal é AP em IoU 0,50:0,95, frequentemente referida como COCO AP. Essa métrica é mais rigorosa do que a métrica tradicional do PASCAL VOC, que usa um único limiar de IoU de 0,5.
A natureza cega do test-dev significa que pesquisadores não podem iterar diretamente no conjunto de teste. Em vez disso, eles normalmente usam um conjunto de validação retido (val2014 ou val2017) para desenvolvimento e ajuste de hiperparâmetros. A divisão test-dev é usada apenas para relatórios finais, o que ajuda a manter a integridade do benchmark. Ao longo dos anos, o servidor de avaliação do COCO tornou-se um padrão para comparar modelos de aprendizado de máquina em detecção de objetos, com muitos sistemas de última geração relatando seu desempenho no test-dev.
Contexto Histórico
O COCO foi criado para abordar limitações de conjuntos de dados anteriores como PASCAL VOC e ImageNet, que tinham menos categorias de objetos ou focavam em classificação em vez de localização. A divisão test-dev foi introduzida como parte do design do conjunto de dados para apoiar a avaliação baseada em desafios. O primeiro desafio COCO foi realizado em 2015, e edições subsequentes ocorreram anualmente até 2020, com o último desafio oficial no workshop da ECCV 2020. Durante esse período, test-dev tornou-se o benchmark de facto para comparar algoritmos de detecção e segmentação.
O conjunto de dados passou por várias versões: COCO 2014, COCO 2015 e COCO 2017. A divisão test-dev existe para cada versão, mas a versão de 2017 é a mais comumente usada em pesquisas recentes. O test-dev de 2017 contém 20.288 imagens, e suas anotações são retidas. O servidor de avaliação para COCO 2017 permanece operacional, permitindo que pesquisadores submetam previsões e obtenham métricas.
Impacto na Pesquisa
O COCO test-dev tem sido fundamental para impulsionar o progresso em detecção de objetos e segmentação de instâncias. Muitos modelos influentes relataram resultados nessa divisão, incluindo Faster R-CNN, Mask R-CNN e variantes do YOLO. Por exemplo, Mask R-CNN, introduzido por Kaiming He e colegas em 2017, alcançou um AP de 37,1 no test-dev, estabelecendo um novo estado da arte na época. Modelos subsequentes como EfficientDet e Swin Transformer elevaram o AP acima de 50. A disponibilidade de um conjunto de teste cego padronizado permitiu comparações justas e acelerou o desenvolvimento de técnicas como redes de pirâmide de características, detectores sem âncoras e detectores baseados em transformers.
Além da detecção, test-dev também é usado para avaliar segmentação panóptica, uma tarefa introduzida em 2018 que combina segmentação semântica e de instâncias. O desafio panóptico do COCO usa uma divisão test-dev separada com 80 categorias de coisas e 91 categorias de materiais. Essa extensão ampliou a utilidade do benchmark.
Limitações e Alternativas
Apesar de seu uso generalizado, test-dev tem limitações. O pequeno número de imagens (cerca de 20.000) em comparação com a escala de conjuntos de dados modernos pode levar a métricas ruidosas, especialmente para categorias raras. Além disso, o protocolo de avaliação cega exige submeter previsões a um servidor, o que pode ser uma barreira para pesquisadores sem acesso à internet ou para aqueles que desejam avaliar em hardware local. Para abordar essas questões, alguns pesquisadores criaram benchmarks alternativos, como LVIS (Large Vocabulary Instance Segmentation), que tem um conjunto de categorias maior e um protocolo de avaliação diferente. No entanto, COCO test-dev permanece um ponto de referência padrão no campo.
O conjunto de dados COCO em si é hospedado pelo COCO Consortium, e o servidor de avaliação é mantido pela equipe da Universidade de Michigan e outros colaboradores. Em 2025, o servidor ainda está ativo, embora os desafios oficiais tenham cessado. Pesquisadores continuam usando test-dev para relatar resultados em artigos, e ele permanece um benchmark comum em pesquisa de aprendizado profundo e inteligência artificial.
Ver Também
- visão computacional
- detecção de objetos
- segmentação de instâncias
- mean average precision