NYU Depth V2 es un conjunto de datos RGB-D a gran escala para la comprensión de escenas interiores, publicado en 2012 por investigadores de la Universidad de Nueva York. Consiste en secuencias de video grabadas con un sensor Microsoft Kinect, que capturan tanto imágenes de color (RGB) como mapas de profundidad alineados. El conjunto de datos es un punto de referencia estándar para tareas como la estimación de profundidad monocular, la segmentación semántica y el análisis de escenas, y ha sido fundamental para avanzar en los enfoques de aprendizaje profundo para la percepción en interiores.
El conjunto de datos contiene 1,449 pares de imágenes RGB y de profundidad densamente etiquetados, donde cada píxel está anotado con una de 894 categorías de objetos (posteriormente consolidadas en 40 clases para puntos de referencia comunes). Además, proporciona 407,024 fotogramas no etiquetados de 464 escenas interiores diversas, que incluyen habitaciones como dormitorios, salas de estar, oficinas y cocinas. Las escenas fueron capturadas desde una perspectiva en primera persona, imitando a una persona que se mueve por un espacio, lo que hace que los datos sean particularmente relevantes para aplicaciones de robótica y realidad aumentada.
Adquisición y Anotación
El conjunto de datos original de NYU Depth (V1) se publicó en 2011, pero V2 amplió el número de escenas y mejoró la calidad de las anotaciones. Los datos RGB-D se grabaron utilizando un sensor Kinect a una resolución de 640x480 píxeles tanto para las transmisiones de color como de profundidad. Los mapas de profundidad se capturaron utilizando luz estructurada, que proporciona información de profundidad métrica en milímetros. Para crear el subconjunto etiquetado, los investigadores seleccionaron fotogramas de las secuencias de video y los anotaron manualmente utilizando una herramienta personalizada, etiquetando cada píxel con una clase semántica. El proceso de anotación implicó múltiples pasadas para garantizar la consistencia, y las etiquetas finales fueron verificadas por anotadores humanos.
Tareas de Referencia
NYU Depth V2 se utiliza principalmente para dos tareas: estimación de profundidad y segmentación semántica. Para la estimación de profundidad, los modelos se entrenan para predecir un mapa de profundidad denso a partir de una sola imagen RGB, con métricas de evaluación como el error cuadrático medio (RMSE) y el error relativo. Para la segmentación semántica, los modelos clasifican cada píxel en una de las 40 clases, con métricas como la precisión de píxeles y la intersección media sobre unión (mIoU). El conjunto de datos también admite el aprendizaje multitarea, donde un modelo predice simultáneamente profundidad y semántica, lo cual es común en las arquitecturas modernas de redes neuronales.
Impacto en la Investigación
Desde su publicación, NYU Depth V2 ha sido una piedra angular para la comprensión de escenas interiores. Se ha utilizado en cientos de artículos, incluidos trabajos tempranos sobre codificadores basados en redes residuales y modelos posteriores basados en transformadores. Los mapas de profundidad del conjunto de datos también se han utilizado para tareas de reconstrucción 3D y completado de escenas. Su popularidad se debe a los entornos interiores realistas y a la disponibilidad tanto de etiquetas densas como de grandes cantidades de datos no etiquetados, lo que permite técnicas de aprendizaje semi-supervisado y autosupervisado. Los investigadores también han utilizado los fotogramas no etiquetados para preentrenar modelos con aumento de datos y aprendizaje contrastivo.
Limitaciones y Extensiones
El conjunto de datos tiene limitaciones conocidas, como el ruido del sensor en los mapas de profundidad, particularmente en superficies reflectantes u oscuras, y un sesgo hacia interiores residenciales. El conjunto de etiquetas de 40 clases es grueso, fusionando muchas categorías de grano fino. Para abordar estos problemas, se han propuesto extensiones como NYU Depth V2 con etiquetas mejoradas y conjuntos de datos sintéticos. A pesar de estos desafíos, NYU Depth V2 sigue siendo un punto de referencia para comparar algoritmos de percepción en interiores, y su influencia se extiende a aplicaciones comerciales en robótica y servicios de visión en la nube basados en Amazon Web Services.
Véase También
- aprendizaje automático
- visión por computadora (no en la lista, pero relacionado)
- U-Net
- normalización por lotes