COCO Keypoints es un subconjunto del conjunto de datos Microsoft Common Objects in Context (COCO), diseñado específicamente para tareas de estimación de pose humana y detección de puntos clave. Proporciona anotaciones detalladas de 17 articulaciones del cuerpo - incluyendo nariz, ojos, orejas, hombros, codos, muñecas, caderas, rodillas y tobillos - para instancias de personas en diversas imágenes del mundo real. El conjunto de datos se ha convertido en un estándar de referencia en el campo de la visión por computadora y la inteligencia artificial, permitiendo a los investigadores entrenar y evaluar modelos que localizan partes del cuerpo humano en entornos sin restricciones.
El conjunto de datos COCO Keypoints fue introducido junto con el conjunto de datos principal de COCO en 2014 por investigadores de Microsoft. Contiene más de 200,000 instancias de personas con anotaciones de puntos clave, extraídas de más de 118,000 imágenes de entrenamiento y 5,000 imágenes de validación. Cada punto clave está etiquetado con un indicador de visibilidad (visible, ocluido o no etiquetado), lo que permite a los modelos manejar oclusiones parciales. Las anotaciones siguen un formato estricto donde los puntos clave están ordenados de manera consistente, y cada instancia de persona también se proporciona con una caja delimitadora y una máscara de segmentación.
Formato de Anotación y Calidad
Cada anotación de persona en COCO Keypoints incluye una lista de 17 puntos clave, representados como tripletas (x, y, visibilidad). El indicador de visibilidad toma valores 0 (no etiquetado), 1 (etiquetado pero ocluido) y 2 (etiquetado y visible). Este etiquetado granular respalda métricas de evaluación que distinguen entre precisión de detección y precisión de localización. El conjunto de datos fue anotado por anotadores profesionales utilizando una herramienta personalizada, con procesos de control de calidad para garantizar la consistencia. El orden de los puntos clave sigue una secuencia anatómica fija, lo que simplifica el formato de salida del modelo y la evaluación.
Métricas de Evaluación
La métrica de evaluación principal para COCO Keypoints es la Similitud de Puntos Clave de Objeto (OKS), que mide la distancia entre los puntos clave predichos y los reales normalizada por la escala de la persona. La métrica estándar es la Precisión Promedio (AP) media calculada sobre múltiples umbrales de OKS (0.50, 0.75 y 0.90). Esta métrica tiene en cuenta la dificultad de la localización de puntos clave en relación con el tamaño de la persona. El desafío COCO Keypoints, celebrado anualmente de 2016 a 2019, atrajo a numerosos equipos de investigación y impulsó avances significativos en arquitecturas de estimación de pose.
Impacto en la Investigación de Estimación de Pose
COCO Keypoints ha sido fundamental para avanzar en enfoques de aprendizaje profundo para la estimación de pose. Los métodos tempranos utilizaban backbones de red residual con cabezales deconvolucionales, mientras que enfoques posteriores incorporaron arquitecturas de transformador y fusión de características multiescala. La diversidad del conjunto de datos - incluyendo imágenes con fondos complejos, iluminación variada y múltiples personas - empujó a los modelos más allá de entornos controlados simples. Muchos sistemas de última generación, como los basados en variantes de U-Net y mecanismos de atención, han sido evaluados en este conjunto de datos. La disponibilidad de estos datos etiquetados de alta calidad ha sido crucial para el aprendizaje supervisado, ya que producir tales anotaciones manualmente es costoso y requiere mucho tiempo.
Extensiones y Conjuntos de Datos Relacionados
Se han desarrollado varias extensiones de COCO Keypoints para tareas especializadas. El conjunto de datos COCO-WholeBody añade 133 puntos clave, incluyendo anotaciones de cara, manos y pies. El conjunto de datos CrowdPose se centra en escenas concurridas con múltiples personas interactuando. Las anotaciones de COCO Keypoints también se han utilizado para generar pseudoetiquetas para el aprendizaje semisupervisado y para preentrenar modelos para otras tareas relacionadas con la pose, como el reconocimiento de acciones y la interacción humano-computadora. El conjunto de datos sigue siendo ampliamente utilizado en la investigación académica y aplicaciones industriales, incluyendo robótica, análisis deportivo y monitoreo de salud.
Disponibilidad y Uso
COCO Keypoints está disponible gratuitamente para fines de investigación bajo la licencia de COCO. Las anotaciones se distribuyen como archivos JSON, y las imágenes provienen de Flickr. El conjunto de datos está alojado en el sitio web de COCO y se puede acceder a través de varios marcos y herramientas de aprendizaje automático. Muchas bibliotecas de código abierto proporcionan utilidades para cargar y procesar datos de COCO Keypoints, haciéndolo accesible para investigadores de todo el mundo. El conjunto de datos ha sido citado en miles de publicaciones revisadas por pares, reflejando su papel central en el desarrollo de algoritmos de estimación de pose.