ImageNet est une base de données visuelle à grande échelle conçue pour la recherche en logiciels de reconnaissance d'objets visuels. Elle contient plus de 14 millions d'images annotées manuellement, réparties en plus de 20 000 catégories, chacune comprenant généralement plusieurs centaines d'images. Au moins un million d'images incluent des annotations de boîtes englobantes. La base de données d'annotations et d'URLs d'images tierces est librement accessible, bien que les images elles-mêmes ne soient pas la propriété d'ImageNet. Depuis 2010, le projet organise un concours logiciel annuel, le défi de reconnaissance visuelle à grande échelle ImageNet (ILSVRC), où des programmes s'affrontent pour classer et détecter des objets et des scènes en utilisant une liste réduite de mille classes non chevauchantes.
Le projet est né de la vision de la chercheuse en IA Fei-Fei Li, qui cherchait à élargir les données disponibles pour l'entraînement des algorithmes d'IA à une époque où la plupart des recherches se concentraient sur les modèles et les algorithmes. ImageNet est depuis devenu une pierre angulaire de la révolution de l'apprentissage profond, permettant des avancées en vision par ordinateur et influençant le domaine plus large de l'intelligence artificielle.
Histoire
Fei-Fei Li a commencé à travailler sur l'idée d'ImageNet en 2006. En 2007, elle a rencontré Christiane Fellbaum, professeure à Princeton et l'une des créatrices de WordNet, pour discuter du projet. Cette rencontre a conduit Li à construire ImageNet à partir des quelque 22 000 noms de WordNet et en utilisant plusieurs de ses caractéristiques. Elle a également été inspirée par une estimation de 1987 selon laquelle une personne moyenne reconnaît environ 30 000 types d'objets différents.
En tant que professeure adjointe à Princeton, Li a réuni une équipe de chercheurs pour travailler sur le projet. Ils ont utilisé Amazon Mechanical Turk pour aider à la classification des images. L'étiquetage a commencé en juillet 2008 et s'est terminé en avril 2010, impliquant 49 000 travailleurs de 167 pays qui ont filtré et étiqueté plus de 160 millions d'images candidates. Le budget permettait que chacune des 14 millions d'images soit étiquetée trois fois.
Le plan initial prévoyait 10 000 images par catégorie sur 40 000 catégories, totalisant 400 millions d'images, chacune vérifiée trois fois. Cependant, les humains peuvent classer au maximum deux images par seconde, et à ce rythme, il était estimé que cela prendrait 19 années-humaines de travail sans repos. Le plan complet n'a pas été réalisé.
La base de données a été présentée pour la première fois sous forme de poster à la conférence sur la vision par ordinateur et la reconnaissance de formes (CVPR) de 2009 en Floride, intitulée « ImageNet : un aperçu d'un ensemble de données hiérarchique à grande échelle ». Le poster a été réutilisé à Vision Sciences Society 2009.
En 2009, Alex Berg a suggéré d'ajouter la localisation d'objets comme tâche. Li a approché le concours PASCAL Visual Object Classes pour une collaboration, ce qui a abouti au lancement du défi de reconnaissance visuelle à grande échelle ImageNet en 2010. Le défi comportait 1000 classes et la localisation d'objets, comparé à PASCAL VOC qui n'avait que 20 classes et 19 737 images en 2010.
Importance pour l'apprentissage profond
Le 30 septembre 2012, un réseau neuronal convolutif (CNN) appelé AlexNet a atteint une erreur top-5 de 15,3 % dans le défi ImageNet 2012, soit plus de 10,8 points de pourcentage de moins que le deuxième. L'utilisation de processeurs graphiques (GPU) pendant l'entraînement a rendu cela possible, un ingrédient essentiel de la révolution de l'apprentissage profond. Selon The Economist, « Soudain, les gens ont commencé à prêter attention, non seulement au sein de la communauté de l'IA, mais dans toute l'industrie technologique ».
En 2015, AlexNet a été surpassé par le CNN très profond de Microsoft avec plus de 100 couches, qui a remporté le concours ImageNet 2015 avec une erreur de 3,57 % sur l'ensemble de test. Andrej Karpathy a estimé en 2014 qu'avec un effort concentré, il pourrait atteindre un taux d'erreur de 5,1 %, et environ 10 personnes de son laboratoire ont atteint environ 12-13 % avec moins d'effort. Il a été estimé qu'avec un effort maximal, un humain pourrait atteindre 2,4 %.
Ces résultats ont démontré la puissance des architectures de apprentissage profond et de réseaux neuronaux, accélérant l'adoption des techniques de apprentissage automatique dans toute l'industrie technologique.
Ensemble de données
ImageNet externalise son processus d'annotation. Les annotations au niveau de l'image indiquent la présence ou l'absence d'une classe d'objets dans une image, comme « il y a des tigres dans cette image » ou « il n'y a pas de tigres dans cette image ». Les annotations au niveau de l'objet fournissent une boîte englobante autour de la partie visible de l'objet indiqué. ImageNet utilise une variante du schéma WordNet élargi pour catégoriser les objets, augmenté de 120 catégories de races de chiens pour mettre en valeur la classification fine.
En 2012, ImageNet était le plus grand utilisateur académique de Mechanical Turk au monde. Le travailleur moyen identifiait 50 images par minute.
Les statistiques récapitulatives données le 30 avril 2010 :
- Nombre total de synsets non vides : 21 841
- Nombre total d'images : 14 197 122
- Nombre d'images avec annotations de boîtes englobantes : 1 034 908
- Nombre de synsets avec caractéristiques SIFT : 1 000
- Nombre d'images avec caractéristiques SIFT : 1,2 million
Catégories
Les catégories d'ImageNet ont été filtrées à partir des concepts de WordNet. Chaque concept, puisqu'il peut contenir plusieurs synonymes (par exemple, « minou » et « jeune chat »), est appelé un « ensemble de synonymes » ou « synset ». Il y avait plus de 100 000 synsets dans WordNet 3.0, la majorité étant des noms (plus de 80 000). L'ensemble de données ImageNet a filtré ces synsets pour obtenir 21 841 synsets qui sont des noms comptables pouvant être illustrés visuellement.
Chaque synset dans WordNet 3.0 a un « identifiant WordNet » (wnid), qui est une concaténation de la partie du discours et d'un « décalage » (un numéro d'identification unique). Chaque wnid commence par « n » car ImageNet n'inclut que des noms. Par exemple, le wnid du synset « chien, chien domestique, Canis familiaris » est « n02084071 ».
Les catégories d'ImageNet se répartissent en 9 niveaux, du niveau 1 (comme « mammifère ») au niveau 9 (comme « berger allemand »).
Format des images
Les images ont été extraites de moteurs de recherche d'images en ligne (Google, Picsearch, MSN, Yahoo, Flickr, etc.) en utilisant des synonymes dans plusieurs langues. Par exemple, pour le berger allemand, les termes de recherche incluaient « chien de police allemand », « alsacien », « ovejero alemán », « pastore tedesco » et « 德国牧羊犬 ».
ImageNet se compose d'images au format RGB avec des résolutions variables. Par exemple, dans ImageNet 2012, la catégorie « poisson » a des résolutions allant de 4288 x 2848 à 75 x 56. En apprentissage automatique, celles-ci sont généralement prétraitées en une résolution constante standard et blanchies avant un traitement ultérieur par les réseaux neuronaux. Par exemple, dans PyTorch, les images ImageNet sont normalisées en divisant les valeurs de pixels pour qu'elles se situent entre 0 et 1, puis en soustrayant [0,485, 0,456, 0,406], et en divisant par [0,229, 0,224, 0,225]. Ce sont les moyennes et écarts types pour ImageNet, ce qui blanchit les données d'entrée.
Étiquettes et annotations
Chaque image est étiquetée avec exactement un wnid. Les caractéristiques SIFT denses (descripteurs SIFT bruts, mots de code quantifiés et coordonnées de chaque descripteur/mot de code) pour ImageNet-1K étaient disponibles en téléchargement, conçues pour le sac de mots visuels. Les boîtes englobantes des objets étaient disponibles pour environ 3 000 synsets populaires avec en moyenne 150 images dans chaque synset. De plus, certaines images ont des annotations d'attributs, bien que l'étendue complète de celles-ci ne soit pas détaillée ici.
Héritage
La création d'ImageNet a marqué un tournant vers des approches centrées sur les données en IA, influençant les ensembles de données et les références ultérieurs. Son défi annuel est devenu une norme pour mesurer les progrès en vision par ordinateur, et son succès a catalysé la croissance de la IA générative et d'autres applications d'IA. L'ensemble de données reste une ressource fondamentale pour l'entraînement et l'évaluation des modèles, et son impact s'étend à des domaines tels que la conduite autonome et l'imagerie médicale.
Malgré ses réalisations, ImageNet a également soulevé des questions sur les biais et la qualité des annotations, suscitant des discussions dans la communauté de l'IA sur la curation des ensembles de données et l'éthique. Néanmoins, son rôle dans le développement de l'IA moderne est incontesté, et il continue d'être largement utilisé dans la recherche et l'industrie.