Open Images es un conjunto de datos a gran escala creado por Google para la investigación en visión por computadora. Contiene millones de imágenes anotadas con una variedad de etiquetas y metadatos, diseñado para entrenar y evaluar modelos de Machine learning. El conjunto de datos es notable por su escala y diversidad, abarcando una amplia gama de objetos y escenas cotidianas, con anotaciones que incluyen etiquetas a nivel de imagen, cuadros delimitadores de objetos y tripletas de relaciones visuales.
La primera versión de Open Images se publicó en 2016, conteniendo aproximadamente 9 millones de imágenes con etiquetas a nivel de imagen en casi 6,000 categorías. Versiones posteriores ampliaron el conjunto de datos para incluir más de 30 millones de imágenes, con más de 15 millones de cuadros delimitadores que demarcan objetos en más de 600 clases. Las anotaciones se produjeron mediante una combinación de métodos automatizados y verificación humana, reflejando la inversión de Google en infraestructura de datos a gran escala para avanzar en las capacidades de Artificial intelligence.
Estructura del conjunto de datos
Open Images está estructurado para soportar múltiples tareas de visión por computadora. Los componentes principales son la colección de imágenes, las etiquetas a nivel de imagen que indican la presencia de objetos o conceptos, y anotaciones localizadas como cuadros delimitadores y máscaras de segmentación. Para cada imagen, el conjunto de datos proporciona un identificador único, la URL original y metadatos como la confianza predicha de las etiquetas. Las anotaciones de cuadros delimitadores se proporcionan en un formato estandarizado, listando las coordenadas relativas a las dimensiones de la imagen, junto con una etiqueta para la clase del objeto.
Además, el conjunto de datos incluye un conjunto de anotaciones de relaciones visuales que describen interacciones entre objetos, como "persona montando bicicleta" o "perro persiguiendo gato". Estas relaciones se formatean como tripletas de sujeto-predicado-objeto.
Metodología de anotación
La creación de Open Images se basó en un pipeline semiautomático que combinaba candidatos generados por máquinas con curación humana. Los sistemas internos de Google primero generaban candidatos de etiquetas ruidosas utilizando clasificadores de imágenes existentes y minería de datos a escala web. Estos candidatos luego se presentaban a anotadores humanos a través de plataformas de crowdsourcing, donde los trabajadores verificaban o corregían las etiquetas y refinaban los cuadros delimitadores. Este enfoque híbrido permitió escalar el conjunto de datos a millones de imágenes mientras se mantenía un nivel de calidad adecuado para entrenar redes neuronales modernas.
Para los cuadros delimitadores, se instruyó a los anotadores a dibujar el cuadro más ajustado posible alrededor de cada instancia visible de una clase objetivo. Las anotaciones finales se validaron mediante una serie de controles de calidad, incluido un análisis de concordancia entre múltiples anotadores en un subconjunto de imágenes.
Impacto en la investigación
Open Images ha sido ampliamente utilizado por grupos de investigación tanto académicos como industriales. Sirvió como base para varios desafíos públicos de referencia, incluido el Desafío Open Images alojado en Kaggle, que se celebró en 2018 y 2019. Estos desafíos atrajeron a cientos de equipos participantes y impulsaron el estado del arte en detección de objetos y detección de relaciones visuales. El conjunto de datos ha sido citado en miles de artículos de investigación, influyendo en enfoques para el entrenamiento de Neural network a gran escala y el aprendizaje por transferencia.
La disponibilidad de un conjunto de datos grande y diverso etiquetado también apoyó el desarrollo de sistemas de Generative AI que requieren fundamentación en conceptos visuales del mundo real. Modelos preentrenados en Open Images se han utilizado para tareas posteriores como subtitulado de imágenes, respuesta visual a preguntas y percepción para conducción autónoma. El conjunto de datos complementa otros recursos como ImageNet y COCO, ofreciendo un conjunto más amplio de clases y una distribución más realista de imágenes cotidianas.
Versiones y disponibilidad
Google ha publicado varias versiones de Open Images bajo una licencia Creative Commons, lo que lo hace disponible gratuitamente para investigación y uso comercial. La versión 4, introducida en 2018, añadió las anotaciones de relaciones visuales y expandió el número de imágenes a más de 9 millones con 30 millones de anotaciones a nivel de cuadro. La versión 5, publicada en 2019, aumentó el número de clases de cuadros delimitadores a 600 y añadió máscaras de segmentación para un subconjunto de imágenes. El conjunto de datos es accesible a través de la infraestructura de almacenamiento de Google y también se puede explorar mediante una herramienta de visualización interactiva en el sitio web oficial.
Todos los archivos se proporcionan en formato CSV, con archivos separados para cada tipo de anotación. El conjunto de datos tiene un artículo de acompañamiento presentado por primera vez en 2017 en la Conferencia sobre Visión por Computadora y Reconocimiento de Patrones, que detalla su construcción y estadísticas. El proyecto ha sido mantenido por el equipo de Google Research, con actualizaciones impulsadas por comentarios de la comunidad y necesidades internas de investigación. Hasta 2025, el conjunto de datos sigue siendo un punto de referencia estándar para la evaluación de reconocimiento visual a gran escala.
Limitaciones y direcciones futuras
A pesar de su escala, Open Images tiene limitaciones inherentes. Las etiquetas a nivel de imagen se basan en predicciones generadas por máquinas y pueden contener ruido, y la distribución de clases está sesgada hacia objetos comunes encontrados en imágenes web. Las anotaciones se centran principalmente en la presencia de objetos y relaciones gruesas, careciendo de atributos detallados o grafos de escena completos disponibles en algunos conjuntos de datos más pequeños. Los investigadores a menudo complementan Open Images con otras fuentes o aplican técnicas de adaptación de dominio cuando trabajan en tareas especializadas.
Las direcciones futuras para el conjunto de datos pueden incluir anotaciones de video más extensas, tipos de relaciones más ricos o la incorporación de datos multimodales como descripciones de texto. El éxito de Open Images ha inspirado esfuerzos similares de recopilación de datos a gran escala, incluidos los de Amazon AI y otros proveedores de nube, reflejando una tendencia más amplia hacia la creación de corpus anotados masivos para acelerar el progreso en Artificial intelligence.