Open Images est un ensemble de données à grande échelle créé par Google pour la recherche en vision par ordinateur. Il contient des millions d'images annotées avec une variété d'étiquettes et de métadonnées, conçu pour entraîner et évaluer des modèles d'apprentissage automatique. L'ensemble de données se distingue par son ampleur et sa diversité, couvrant un large éventail d'objets et de scènes du quotidien, avec des annotations comprenant des étiquettes au niveau de l'image, des boîtes englobantes d'objets et des triplets de relations visuelles.
La première version d'Open Images a été publiée en 2016, contenant environ 9 millions d'images avec des étiquettes au niveau de l'image couvrant près de 6 000 catégories. Les versions ultérieures ont étendu l'ensemble de données à plus de 30 millions d'images, avec plus de 15 millions de boîtes englobantes délimitant des objets dans plus de 600 classes. Les annotations ont été produites grâce à une combinaison de méthodes automatisées et de vérification humaine, reflétant l'investissement de Google dans une infrastructure de données à grande échelle pour faire progresser les capacités de l'intelligence artificielle.
Structure de l'ensemble de données
Open Images est structuré pour prendre en charge plusieurs tâches de vision par ordinateur. Les composants principaux sont la collection d'images, les étiquettes au niveau de l'image indiquant la présence d'objets ou de concepts, et les annotations localisées telles que les boîtes englobantes et les masques de segmentation. Pour chaque image, l'ensemble de données fournit un identifiant unique, l'URL d'origine et des métadonnées telles que la confiance prédite des étiquettes. Les annotations de boîtes englobantes sont fournies dans un format standardisé, listant les coordonnées relatives aux dimensions de l'image, ainsi qu'une étiquette pour la classe de l'objet.
De plus, l'ensemble de données inclut un ensemble d'annotations de relations visuelles qui décrivent les interactions entre objets, comme « personne montant à cheval » ou « chien poursuivant une balle ». Ces relations sont formatées sous forme de triplets sujet-prédicat-objet. Cette couche d'annotations plus riche permet la recherche sur le raisonnement relationnel et la compréhension de scènes, des domaines actifs dans la recherche en apprentissage profond et en reconnaissance visuelle.
Méthodologie d'annotation
La création d'Open Images repose sur un pipeline semi-automatique combinant des candidats générés par machine et une curation humaine. Les systèmes internes de Google ont d'abord généré des étiquettes candidates bruitées à l'aide de classifieurs d'images existants et de l'exploration de données à l'échelle du web. Ces candidats ont ensuite été présentés à des annotateurs humains via des plateformes de crowdsourcing, où les travailleurs ont vérifié ou corrigé les étiquettes et affiné les boîtes englobantes. Cette approche hybride a permis de faire passer l'ensemble de données à des millions d'images tout en maintenant un niveau de qualité adapté à l'entraînement de réseaux de neurones modernes.
Pour les boîtes englobantes, les annotateurs ont été invités à dessiner la boîte la plus serrée possible autour de chaque instance visible d'une classe cible. Les annotations finales ont été validées par une série de contrôles de qualité, y compris une analyse de concordance entre plusieurs annotateurs sur un sous-ensemble d'images. Grâce à ces efforts, l'ensemble de données est devenu une référence pour la classification à étiquette unique et multi-étiquettes, ainsi que pour la détection d'objets.
Impact sur la recherche
Open Images a été largement utilisé par des groupes de recherche universitaires et industriels. Il a servi de fondement à plusieurs défis publics de référence, notamment le défi Open Images hébergé sur Kaggle, qui s'est déroulé en 2018 et 2019. Ces défis ont attiré des centaines d'équipes participantes et ont fait progresser l'état de l'art en détection d'objets et en détection de relations visuelles. L'ensemble de données a été cité dans des milliers d'articles de recherche, influençant les approches d'entraînement à grande échelle et d'apprentissage par transfert pour les réseaux neuronaux.
La disponibilité d'un ensemble de données vaste et diversifié a également soutenu le développement de systèmes d'IA générative nécessitant un ancrage dans des concepts visuels du monde réel. Des modèles pré-entraînés sur Open Images ont été utilisés pour des tâches en aval telles que la génération de légendes d'images, la réponse à des questions visuelles et la perception pour la conduite autonome. L'ensemble de données complète d'autres ressources comme ImageNet et COCO, offrant un ensemble plus large de classes et une distribution plus réaliste de l'imagerie quotidienne.
Versions et disponibilité
Google a publié plusieurs versions d'Open Images sous licence Creative Commons, le rendant librement accessible pour la recherche et une utilisation commerciale. La version 4, introduite en 2018, a ajouté les annotations de relations visuelles et a porté le nombre d'images à plus de 9 millions avec 30 millions d'annotations au niveau des boîtes. La version 5, publiée en 2019, a augmenté le nombre de classes de boîtes englobantes à 600 et a ajouté des masques de segmentation pour un sous-ensemble d'images. L'ensemble de données est accessible via l'infrastructure de stockage de Google et peut également être exploré grâce à un outil de visualisation interactif sur le site officiel.
Tous les fichiers sont fournis au format CSV, avec des fichiers séparés pour chaque type d'annotation. L'ensemble de données a fait l'objet d'un article compagnon présenté pour la première fois à la conférence CVPR 2017, détaillant sa construction et ses statistiques. Le projet est maintenu par l'équipe de recherche de Google, avec des mises à jour guidées par les retours de la communauté et les besoins internes de recherche. En 2025, l'ensemble de données reste une référence standard pour les benchmarks de reconnaissance visuelle à grande échelle.
Limites et orientations futures
Malgré son ampleur, Open Images présente des limites inhérentes. Les étiquettes au niveau de l'image sont basées sur des prédictions générées par machine et peuvent contenir du bruit, et la distribution des classes est biaisée vers les objets courants trouvés sur le web. Les annotations se concentrent principalement sur la présence d'objets et des relations grossières, manquant d'attributs fins ou de graphes de scène détaillés disponibles dans certains ensembles de données plus petits. Les chercheurs complètent souvent Open Images avec d'autres sources ou appliquent des techniques d'adaptation de domaine lorsqu'ils travaillent sur des tâches spécialisées.
Les orientations futures pour l'ensemble de données pourraient inclure des annotations vidéo plus étendues, des types de relations plus riches ou l'incorporation de données multimodales telles que des descriptions textuelles. Le succès d'Open Images a inspiré des efforts similaires de collecte de données à grande échelle, y compris ceux d'Amazon AI et d'autres fournisseurs de cloud, reflétant une tendance plus large visant à rendre de vastes corpus annotés accessibles pour accélérer les progrès en intelligence artificielle.