COCO Keypoints é um subconjunto do conjunto de dados Microsoft Common Objects in Context (COCO), especificamente projetado para tarefas de estimativa de pose humana e detecção de pontos-chave. Ele fornece anotações detalhadas de 17 articulações do corpo - incluindo nariz, olhos, orelhas, ombros, cotovelos, pulsos, quadris, joelhos e tornozelos - para instâncias de pessoas em diversas imagens do mundo real. O conjunto de dados tornou-se um padrão de referência no campo da visão computacional e da inteligência artificial, permitindo que pesquisadores treinem e avaliem modelos que localizam partes do corpo humano em ambientes não controlados.
O conjunto de dados COCO Keypoints foi introduzido juntamente com o conjunto de dados principal COCO em 2014 por pesquisadores da Microsoft. Ele contém mais de 200.000 instâncias de pessoas com anotações de pontos-chave, extraídas de mais de 118.000 imagens de treinamento e 5.000 imagens de validação. Cada ponto-chave é rotulado com um sinalizador de visibilidade (visível, ocluído ou não rotulado), permitindo que os modelos lidem com oclusões parciais. As anotações seguem um formato estrito em que os pontos-chave são ordenados de forma consistente, e cada instância de pessoa também é fornecida com uma caixa delimitadora e uma máscara de segmentação.
Formato de Anotação e Qualidade
Cada anotação de pessoa no COCO Keypoints inclui uma lista de 17 pontos-chave, representados como triplas (x, y, visibilidade). O sinalizador de visibilidade assume valores 0 (não rotulado), 1 (rotulado, mas ocluído) e 2 (rotulado e visível). Essa rotulagem granular suporta métricas de avaliação que distinguem entre precisão de detecção e precisão de localização. O conjunto de dados foi anotado por anotadores profissionais usando uma ferramenta personalizada, com processos de controle de qualidade para garantir consistência. A ordem dos pontos-chave segue uma sequência anatômica fixa, o que simplifica a formatação da saída do modelo e a avaliação.
Métricas de Avaliação
A principal métrica de avaliação para COCO Keypoints é a Object Keypoint Similarity (OKS), que mede a distância entre pontos-chave previstos e os de referência, normalizada pela escala da pessoa. A métrica padrão é a Precisão Média (AP) calculada sobre múltiplos limiares de OKS (0,50, 0,75 e 0,90). Essa métrica leva em conta a dificuldade da localização de pontos-chave em relação ao tamanho da pessoa. O desafio COCO Keypoints, realizado anualmente de 2016 a 2019, atraiu numerosas equipes de pesquisa e impulsionou avanços significativos em arquiteturas de estimativa de pose.
Impacto na Pesquisa de Estimativa de Pose
COCO Keypoints tem sido fundamental para avançar abordagens de aprendizado profundo para estimativa de pose. Métodos iniciais usavam backbones de rede residual com cabeças deconvolucionais, enquanto abordagens posteriores incorporaram arquiteturas de transformadores e fusão de características em múltiplas escalas. A diversidade do conjunto de dados - incluindo imagens com fundos complexos, iluminação variada e múltiplas pessoas - empurrou os modelos além de configurações controladas simples. Muitos sistemas de última geração, como aqueles baseados em variantes de U-Net e mecanismos de atenção, foram avaliados neste conjunto de dados. A disponibilidade desses dados rotulados de alta qualidade tem sido crucial para o aprendizado supervisionado, pois produzir tais anotações manualmente é caro e demorado.
Extensões e Conjuntos de Dados Relacionados
Várias extensões do COCO Keypoints foram desenvolvidas para tarefas especializadas. O conjunto de dados COCO-WholeBody adiciona 133 pontos-chave, incluindo anotações de rosto, mão e pé. O conjunto de dados CrowdPose foca em cenas lotadas com múltiplas pessoas interagindo. As anotações do COCO Keypoints também foram usadas para gerar pseudo-rótulos para aprendizado semissupervisionado e para pré-treinar modelos para outras tarefas relacionadas à pose, como reconhecimento de ações e interação humano-computador. O conjunto de dados permanece amplamente utilizado em pesquisa acadêmica e aplicações industriais, incluindo robótica, análise esportiva e monitoramento de saúde.
Disponibilidade e Uso
COCO Keypoints está disponível gratuitamente para fins de pesquisa sob a licença COCO. As anotações são distribuídas como arquivos JSON, e as imagens são provenientes do Flickr. O conjunto de dados está hospedado no site do COCO e pode ser acessado por meio de vários frameworks e ferramentas de aprendizado de máquina. Muitas bibliotecas de código aberto fornecem utilitários para carregar e processar dados do COCO Keypoints, tornando-o acessível a pesquisadores em todo o mundo. O conjunto de dados foi citado em milhares de publicações revisadas por pares, refletindo seu papel central no desenvolvimento de algoritmos de estimativa de pose.