Sherlock est un ensemble de données et un benchmark à grande échelle pour le raisonnement de bon sens visuel, introduit en 2020 par des chercheurs de l'Université de Caroline du Nord à Chapel Hill et de l'Allen Institute for Artificial Intelligence. L'ensemble de données comprend plus de 103 000 paires de questions-réponses dérivées d'environ 21 000 images provenant du projet Visual Genome, chaque question étant conçue pour nécessiter des connaissances de bon sens au-delà de la simple reconnaissance d'objets. Sherlock a été créé pour combler une lacune dans les benchmarks de réponse à des questions visuelles (VQA), qui se concentrent souvent sur des descriptions littérales de scènes plutôt que sur les connaissances implicites et quotidiennes que les humains utilisent pour interpréter les images.
L'ensemble de données est structuré autour de deux tâches complémentaires : une tâche de réponse à des questions à choix multiples et une tâche de génération de justifications. Dans la tâche à choix multiples, les modèles doivent sélectionner la bonne réponse parmi quatre options, où la bonne réponse nécessite d'inférer des propriétés ou des relations non énoncées, comme prédire qu'une personne tenant une planche de surf est probablement près d'une plage. La tâche de génération de justifications demande aux modèles de produire une explication en texte libre expliquant pourquoi une réponse donnée est correcte, encourageant les modèles à articuler le raisonnement de bon sens derrière leurs prédictions. Cette double structure fait de Sherlock un test rigoureux des capacités de reconnaissance et de raisonnement.
Construction et annotation
Sherlock a été construit à l'aide d'un pipeline de crowdsourcing en deux étapes. Premièrement, les annotateurs ont vu des images de Visual Genome et ont été invités à écrire des questions qui ne pouvaient pas être répondues en listant simplement les objets ou attributs visibles, mais qui nécessitaient une inférence de bon sens. Par exemple, une question pourrait demander : « Pourquoi la personne porte-t-elle un casque ? » alors que le casque est visible mais que la raison (par exemple, conduire une moto) ne l'est pas. Deuxièmement, chaque question a été associée à quatre choix de réponse, une correcte et trois distracteurs plausibles, et les annotateurs ont également écrit une courte justification expliquant la bonne réponse. L'ensemble de données final contient 103 302 questions, avec une répartition train/test d'environ 80/20, et chaque image est associée à une moyenne de cinq questions.
Pour garantir la qualité, le processus d'annotation a inclus plusieurs cycles de révision et de filtrage. Les questions ambiguës, nécessitant des connaissances factuelles externes (comme des événements historiques spécifiques) ou ayant plusieurs réponses plausibles ont été écartées. L'ensemble de données résultant met l'accent sur le bon sens universel quotidien, comme comprendre qu'une personne tenant un parapluie s'attend probablement à de la pluie ou qu'un couteau de cuisine est utilisé pour couper des aliments.
Évaluation et métriques
Les modèles sont évalués sur deux métriques principales : la précision sur la tâche à choix multiples et la qualité des justifications générées. Pour la tâche à choix multiples, la précision est simplement le pourcentage de questions correctement répondues. Pour la génération de justifications, l'article original utilisait les scores BLEU, bien que des travaux ultérieurs aient souvent employé des métriques plus robustes comme ROUGE ou une évaluation humaine. Le benchmark est conçu pour être difficile pour les modèles contemporains ; dans l'article original, un modèle de réponse à des questions visuelles basé sur un Residual Network (ResNet) et des mécanismes d'attention a atteint une précision d'environ 55 %, par rapport à une performance humaine d'environ 90 % sur un sous-ensemble échantillonné. Cet écart significatif a souligné la difficulté du raisonnement de bon sens visuel et a motivé des recherches supplémentaires.
Importance et impact
Sherlock est devenu un benchmark standard dans les domaines de la Computer vision et du Natural language processing, en particulier pour la recherche à l'intersection de la vision et du langage. Il a été utilisé pour évaluer de nombreux modèles, y compris ceux basés sur des architectures Transformer (architecture) et des Large language models. L'accent mis par l'ensemble de données sur le raisonnement plutôt que sur la simple reconnaissance a influencé des benchmarks ultérieurs, tels que VCR (Visual Commonsense Reasoning) et OK-VQA, qui nécessitent également des connaissances externes. Sherlock a également contribué au développement de méthodes pour générer des explications dans les tâches vision-langage, un domaine d'intérêt croissant pour l'interprétabilité et la confiance dans les systèmes d'Artificial intelligence.
L'ensemble de données a été particulièrement utile pour étudier les limites des modèles de Deep learning. Par exemple, des analyses ont montré que les modèles s'appuient souvent sur des régularités statistiques dans les choix de réponse plutôt que sur un véritable raisonnement, et qu'ils ont du mal avec les questions nécessitant une inférence spatiale ou temporelle. Cela a stimulé la recherche sur des techniques d'entraînement plus robustes, y compris le Curriculum Learning et la Data Augmentation, ainsi que l'intégration de bases de connaissances externes.
Limites et critiques
Malgré son influence, Sherlock a été critiqué sur plusieurs points. L'utilisation de BLEU pour l'évaluation des justifications est connue pour mal corréler avec le jugement humain, conduisant à des scores trompeusement bas pour des justifications valides mais formulées différemment. De plus, la dépendance de l'ensemble de données aux images de Visual Genome introduit des biais, tels qu'une surreprésentation d'objets courants et de scènes de contextes occidentaux et urbains, ce qui peut limiter la généralisabilité des modèles entraînés dessus. Certains chercheurs ont également noté que le format à choix multiples peut être contourné par des modèles qui exploitent des indices linguistiques subtils dans les options de réponse, un problème courant dans de nombreux benchmarks VQA. Ces limites ont suscité des appels à des ensembles de données plus diversifiés et construits de manière adversarial.
Héritage et orientations futures
Sherlock reste une ressource largement citée dans la communauté vision-langage et est souvent utilisé comme cible de pré-entraînement ou d'évaluation pour les modèles qui visent à combiner la compréhension visuelle et textuelle. Sa conception a inspiré des ensembles de données de suivi qui se concentrent sur des types spécifiques de bon sens, tels que le raisonnement physique ou les interactions sociales. Au milieu des années 2020, les modèles de pointe, y compris ceux basés sur des architectures Transformer (architecture) et entraînés sur de vastes corpus multimodaux, ont atteint une précision significativement plus élevée sur Sherlock, certains dépassant 80 %, bien que la performance au niveau humain reste insaisissable. L'ensemble de données continue de servir d'outil précieux pour sonder les capacités de raisonnement des systèmes de Generative AI et pour développer des méthodes qui rendent ce raisonnement plus explicite et vérifiable.
Voir aussi
- réponse à des questions visuelles
- raisonnement de bon sens
- ensemble de données
- Visual Genome
Références
L'article original sur Sherlock a été présenté à la Conférence 2020 sur la vision par ordinateur et la reconnaissance de formes (CVPR) et est disponible dans les actes de la CVPR. L'ensemble de données est hébergé publiquement et peut être consulté via le site officiel du projet.