NLVR2 (Natural Language Visual Reasoning, version 2) est un ensemble de données de référence dans le domaine de l'intelligence artificielle et du apprentissage automatique, conçu pour évaluer la capacité d'un modèle à effectuer un raisonnement visuel. La tâche exige qu'un système examine deux images et une légende en langage naturel, puis détermine si la légende est vraie ou fausse par rapport à la paire d'images. Contrairement à son prédécesseur, NLVR, qui utilisait des scènes synthétiques générées par ordinateur, NLVR2 utilise des photographies réelles provenant d'Internet, ce qui rend la tâche de raisonnement nettement plus complexe et plus proche des applications du monde réel.
L'ensemble de données a été introduit en 2019 par des chercheurs de l'Université Stanford et de l'Université de Caroline du Nord à Chapel Hill, en tant que successeur du benchmark NLVR original publié en 2017. La motivation principale était de remédier aux limites des données synthétiques, qui permettaient aux modèles d'exploiter des raccourcis visuels de bas niveau plutôt que de s'engager dans un raisonnement authentique. NLVR2 se compose de plus de 107 000 légendes rédigées par des humains, chacune associée à deux images distinctes. Les légendes sont diverses, couvrant les relations spatiales, le comptage, les comparaisons et les opérations logiques, et elles exigent souvent une compréhension simultanée des deux images.
Définition de la tâche et évaluation
Dans NLVR2, chaque exemple présente à un modèle une paire d'images (gauche et droite) et une légende. Le modèle doit produire une décision binaire : « vrai » si la légende décrit avec précision la paire, ou « faux » sinon. Par exemple, une légende pourrait indiquer « L'image de gauche contient plus de personnes que l'image de droite », et le modèle doit vérifier cela en comparant les deux images. La métrique d'évaluation est simplement la précision de classification sur l'ensemble de test réservé. Étant donné que les légendes sont écrites par des humains et que les images sont des photographies naturelles, la tâche exige une perception visuelle robuste, une compréhension du langage et un raisonnement intermodal.
Le benchmark est divisé en ensembles d'entraînement, de développement et de test, l'ensemble de test étant utilisé pour les classements officiels. Une caractéristique notable est que l'ensemble de test comprend des exemples « difficiles » conçus pour être particulièrement exigeants, tels que des légendes impliquant la négation ou des prépositions spatiales complexes. Cela garantit que les modèles ne peuvent pas obtenir des scores élevés en mémorisant des schémas ou en utilisant des indices superficiels.
Relation avec d'autres benchmarks
NLVR2 fait partie d'une famille plus large de benchmarks de raisonnement visuel, notamment VQA (Visual Question Answering) et CLEVR. Cependant, il diffère de VQA en ce qu'il exige de comparer deux images plutôt que de répondre à des questions ouvertes sur une seule image. Par rapport à CLEVR, qui utilise des scènes 3D synthétiques, l'utilisation de photographies réelles dans NLVR2 introduit une plus grande variabilité et ambiguïté, ce qui en fait un test plus réaliste de généralisation. L'ensemble de données est souvent utilisé en conjonction avec des modèles de apprentissage profond, en particulier ceux basés sur des architectures de transformeur, qui sont devenues la norme pour les tâches multimodales.
NLVR2 a également influencé des benchmarks ultérieurs, tels que NLVR3 et les tâches plus larges d'« entailment visuel », où l'objectif est de déterminer si une légende est impliquée par une image. Il reste une ressource largement citée pour évaluer les modèles de réseaux neuronaux qui combinent vision et langage, et il est fréquemment utilisé dans la recherche sur les extensions de grands modèles de langage qui intègrent des entrées visuelles.
Performance des modèles et défis
Les premiers modèles qui atteignaient une haute précision sur NLVR s'appuyaient souvent sur des statistiques d'images synthétiques, mais ces approches ont échoué sur NLVR2. Le passage à des images naturelles a exposé des lacunes significatives dans les capacités des modèles. Les modèles de pointe, en date de 2024, atteignent environ 80 à 85 % de précision sur l'ensemble de test, laissant une marge d'amélioration substantielle. La performance humaine sur la même tâche est estimée à plus de 95 %, ce qui indique que les systèmes actuels peinent encore avec un raisonnement nuancé, comme la compréhension de relations implicites ou la gestion de légendes ambiguës.
Les défis clés incluent la gestion des variations d'éclairage, de perspective et d'apparence des objets, ainsi que la résolution de contradictions logiques dans la légende. Les modèles échouent souvent lorsqu'il faut compter des objets avec précision ou lorsque les légendes impliquent des termes spatiaux comme « au-dessus » ou « entre » qui dépendent des positions relatives des objets à travers deux images. Les chercheurs ont exploré diverses innovations architecturales, notamment des mécanismes d'attention croisée et des couches de attention multi-têtes, pour mieux aligner les caractéristiques visuelles avec les représentations textuelles.
Applications et impact
Les compétences testées par NLVR2 sont directement pertinentes pour des applications telles que les systèmes de IA générative qui génèrent des descriptions d'images, les technologies d'assistance pour les utilisateurs malvoyants et les systèmes autonomes qui doivent raisonner sur des scènes visuelles. Le benchmark a été utilisé pour évaluer des modèles de grands laboratoires de recherche, notamment ceux associés à Google DeepMind, OpenAI et Anthropic, ainsi que des institutions académiques comme MIT CSAIL et BAIR (Berkeley AI Research).
NLVR2 a également stimulé le développement de nouvelles techniques d'entraînement, telles que l'apprentissage contrastif et l'apprentissage curriculaire, où les modèles sont entraînés sur des exemples plus faciles avant d'être exposés à des exemples plus difficiles. La disponibilité publique de l'ensemble de données en a fait un banc d'essai standard pour comparer les modèles multimodaux, et il est souvent inclus dans des suites d'évaluation plus larges aux côtés d'autres benchmarks comme VQA et Visual Genome.
Orientations futures
En date de 2025, la recherche continue de repousser les limites du raisonnement visuel. L'intégration de NLVR2 avec des cadres de grands modèles de langage, où un modèle de langage est augmenté d'encodeurs visuels, s'est montrée prometteuse. Cependant, ces modèles présentent encore une fragilité, en particulier lorsque les légendes contiennent des mots rares ou des combinaisons d'objets inhabituelles. Les travaux futurs pourraient impliquer l'expansion de l'ensemble de données pour inclure des sources d'images plus diverses, l'incorporation d'un raisonnement temporel ou basé sur la vidéo, et le développement de métriques qui vont au-delà de la précision binaire pour capturer la qualité des étapes de raisonnement.
Le benchmark reste un outil critique pour mesurer les progrès en intelligence artificielle, mettant en évidence l'écart entre la compréhension humaine et machine des scènes visuelles. Ses principes de conception ont influencé de nombreux ensembles de données ultérieurs, consolidant son rôle en tant que ressource fondamentale dans le domaine de l'apprentissage automatique multimodal.