Le défi de reconnaissance visuelle à grande échelle ImageNet (ILSVRC) était un concours annuel organisé de 2010 à 2017 dans le cadre du projet ImageNet. Il demandait aux algorithmes de classer et de détecter correctement des objets et des scènes dans un ensemble organisé de 1 000 classes d'objets non chevauchantes. Ce défi est largement reconnu comme un catalyseur majeur de la révolution de l'apprentissage profond en vision par ordinateur, en particulier après 2012, lorsqu'un réseau de neurones convolutifs a obtenu une amélioration spectaculaire de la précision.
Le concours est issu du projet ImageNet, une grande base de données visuelles conçue pour la recherche en reconnaissance d'objets. Initié par la chercheuse en IA Fei-Fei Li, ImageNet contient plus de 14 millions d'images annotées manuellement, couvrant plus de 20 000 catégories, dont au moins un million d'images comportent également des boîtes englobantes. L'ILSVRC utilisait un sous-ensemble de ces images et catégories pour fournir une référence standardisée permettant d'évaluer et de comparer les algorithmes de vision par ordinateur.
Historique
Fei-Fei Li a commencé à conceptualiser ImageNet en 2006, dans le but d'élargir les données disponibles pour l'entraînement des algorithmes d'IA à une époque où la recherche se concentrait principalement sur les modèles et les algorithmes. En 2007, elle rencontre Christiane Fellbaum, professeure à Princeton et créatrice de WordNet, ce qui conduit à la construction d'ImageNet sur la base des quelque 22 000 noms de WordNet. Li s'est également inspirée d'une estimation de 1987 selon laquelle une personne moyenne reconnaît environ 30 000 types d'objets différents.
En tant que professeure adjointe à Princeton, Li a constitué une équipe et a utilisé Amazon Mechanical Turk pour la classification des images. L'annotation a duré de juillet 2008 à avril 2010, impliquant 49 000 travailleurs de 167 pays qui ont filtré et étiqueté plus de 160 millions d'images candidates. Chacune des 14 millions d'images a été étiquetée trois fois. Le plan initial prévoyait 10 000 images par catégorie pour 40 000 catégories, mais cela s'est avéré irréaliste ; les humains ne pouvant classer qu'au maximum 2 images par seconde, cela aurait nécessité environ 19 années de travail humain.
La base de données a été présentée pour la première fois sous forme de poster lors de la conférence CVPR 2009 en Floride, intitulé « ImageNet: A Preview of a Large-scale Hierarchical Dataset ». En 2009, Alex Berg a suggéré d'ajouter la localisation d'objets comme tâche, ce qui a conduit à une collaboration avec le concours PASCAL Visual Object Classes. Le premier ILSVRC a eu lieu en 2010, avec 1 000 classes et la localisation d'objets, comparé aux 20 classes et 19 737 images du PASCAL VOC.
Importance pour l'apprentissage profond
Le 30 septembre 2012, un réseau de neurones convolutifs (CNN) nommé AlexNet a obtenu un taux d'erreur top-5 de 15,3 % lors du défi ImageNet 2012, soit plus de 10,8 points de pourcentage de mieux que le deuxième meilleur résultat. Ce succès a été rendu possible par l'utilisation de processeurs graphiques (GPU) lors de l'entraînement, un élément essentiel de la révolution de l'apprentissage profond. Selon The Economist, « soudainement, les gens ont commencé à prêter attention, non seulement au sein de la communauté de l'IA, mais dans toute l'industrie technologique ».
En 2015, AlexNet a été surpassé par un CNN très profond de Microsoft comptant plus de 100 couches, qui a remporté le concours ImageNet 2015 avec un taux d'erreur de 3,57 % sur l'ensemble de test. Andrej Karpathy a estimé en 2014 qu'avec un effort concentré, un humain pourrait atteindre un taux d'erreur de 5,1 %, et qu'environ 10 personnes de son laboratoire atteignaient environ 12 à 13 % avec moins d'effort. On estimait qu'avec un effort maximal, un humain pourrait atteindre un taux d'erreur de 2,4 %.
L'impact du défi a dépassé la vision par ordinateur, stimulant des innovations dans les architectures de réseaux de neurones, les techniques d'entraînement et l'accélération matérielle. Il a également influencé le développement des frameworks d'apprentissage automatique et le domaine plus large de l'intelligence artificielle.
Ensemble de données
ImageNet externalise son processus d'annotation. Les annotations au niveau de l'image indiquent la présence ou l'absence d'une classe d'objets dans une image, tandis que les annotations au niveau de l'objet fournissent une boîte englobante autour de la partie visible de l'objet. ImageNet utilise une variante du schéma de WordNet pour catégoriser les objets, augmenté de 120 catégories de races de chiens pour une classification fine.
En 2012, ImageNet était le plus grand utilisateur académique de Mechanical Turk, avec un travailleur moyen identifiant 50 images par minute. Le plan initial pour ImageNet complet prévoyait environ 50 millions d'images propres, diverses et en haute résolution, réparties sur environ 50 000 synsets, mais cela n'a pas été réalisé.
Au 30 avril 2010, les statistiques étaient les suivantes :
- Nombre total de synsets non vides : 21 841
- Nombre total d'images : 14 197 122
- Nombre d'images avec annotations de boîtes englobantes : 1 034 908
- Nombre de synsets avec caractéristiques SIFT : 1 000
- Nombre d'images avec caractéristiques SIFT : 1,2 million
Catégories
Les catégories d'ImageNet ont été filtrées à partir des concepts de WordNet. Chaque concept, qui peut contenir plusieurs synonymes (par exemple, « kitty » et « young cat »), est appelé un « synset ». WordNet 3.0 contient plus de 100 000 synsets, principalement des noms (plus de 80 000). ImageNet a filtré ces synsets pour n'en retenir que 21 841 qui sont des noms comptables pouvant être illustrés visuellement.
Chaque synset de WordNet 3.0 possède un « identifiant WordNet » (wnid), une concaténation de la partie du discours et d'un décalage. Chaque wnid commence par « n » car ImageNet n'inclut que des noms. Par exemple, le wnid du synset « dog, domestic dog, Canis familiaris » est « n02084071 ». Les catégories sont organisées en 9 niveaux, du niveau 1 (comme « mammifère ») au niveau 9 (comme « berger allemand »).
Format des images
Les images ont été collectées à partir de moteurs de recherche d'images en ligne (Google, Picsearch, Yahoo, Flickr, etc.) en utilisant des synonymes dans plusieurs langues. Par exemple, pour « berger allemand », ils ont utilisé des termes comme « German police dog », « Alsatian », « ovejero alemán », « pastore tedesco » et « 德国牧羊犬 ».
ImageNet se compose d'images au format RVB avec des résolutions variées. Par exemple, dans la catégorie « poisson » d'ImageNet 2012, les résolutions vont de 4288 x 2848 à 75 x 56. En apprentissage automatique, ces images sont généralement prétraitées pour être redimensionnées à une résolution constante standard et blanchies avant d'être traitées par des réseaux de neurones. Par exemple, dans PyTorch, les images d'ImageNet sont normalisées en divisant les valeurs de pixels pour les ramener entre 0 et 1, puis en soustrayant [0,485, 0,456, 0,406] et en divisant par [0,229, 0,224, 0,225], qui sont la moyenne et l'écart type d'ImageNet.
Annotations et étiquettes
Chaque image est étiquetée avec un seul wnid. Les caractéristiques SIFT denses (descripteurs SIFT bruts, mots de code quantifiés et coordonnées) pour ImageNet-1K étaient disponibles en téléchargement, conçues pour le sac de mots visuels. Des boîtes englobantes d'objets étaient disponibles pour environ 3 000 synsets populaires, avec une moyenne de 150 images par synset. De plus, certaines images comportent des annotations d'attributs, bien que le défi se soit principalement concentré sur les tâches de classification et de localisation.
L'ILSVRC s'est conclu en 2017, mais son héritage perdure à travers l'ensemble de données ImageNet, qui reste une référence standard pour l'évaluation des modèles de vision par ordinateur. L'accent mis par le concours sur les données à grande échelle et réelles, ainsi que sur une évaluation rigoureuse, a contribué à accélérer les progrès dans le domaine, influençant également les développements ultérieurs en IA générative et dans d'autres domaines de l'apprentissage automatique.