L'IQA physique (Physical Interaction Question Answering) est un ensemble de données de référence conçu pour évaluer les capacités de raisonnement physique de sens commun des systèmes d'intelligence artificielle. Introduit en 2021 par une équipe de l'Université de Californie à Los Angeles, cet ensemble de données se compose de 1 000 questions à choix multiples qui testent la compréhension par une IA de la manière dont les objets se comportent dans le monde physique, par exemple si un objet lourd coulera ou flottera, ou si une balle roulera plus vite sur une surface lisse ou rugueuse. L'ensemble de données a été créé pour combler une lacune dans les références existantes, qui se concentraient souvent sur le raisonnement linguistique ou visuel mais ne testaient pas les connaissances physiques intuitives que les humains acquièrent par l'expérience quotidienne.
L'ensemble de données a été développé par un groupe de recherche dirigé par Yejin Choi, professeure à l'Université de Washington et directrice de recherche principale à l'Allen Institute for AI, avec des collaborateurs dont Jae Sung Park, Chandra Bhagavatula et d'autres. L'article original, intitulé « Physical IQA: Physical Interaction Question Answering », a été présenté à la conférence 2021 sur les méthodes empiriques en traitement du langage naturel (EMNLP). L'ensemble de données a été construit en recueillant des questions auprès de travailleurs d'Amazon Mechanical Turk, à qui l'on a demandé de générer des scénarios impliquant des interactions physiques courantes, puis de fournir des choix de réponses corrects et incorrects. Chaque question comprend une phrase de contexte, une question sur le résultat probable et quatre options de réponse, avec une réponse correcte et trois distracteurs.
Structure et contenu de l'ensemble de données
L'ensemble de données Physical IQA contient 1 000 questions, réparties en 800 exemples d'entraînement, 100 exemples de validation et 100 exemples de test. Les questions couvrent une gamme de phénomènes physiques, notamment la gravité, la friction, la quantité de mouvement, la flottabilité et les propriétés des matériaux. Par exemple, une question typique pourrait demander : « Si une personne laisse tomber une plume et une brique de la même hauteur, laquelle touchera le sol en premier ? » avec des options telles que « la plume », « la brique », « les deux en même temps » ou « cela dépend du vent ». L'ensemble de données a été conçu pour être difficile pour les modèles d'IA existants, qui s'appuient souvent sur des schémas statistiques dans le langage plutôt que sur une véritable compréhension physique.
Évaluation et performance
Dans l'article original, les auteurs ont évalué plusieurs modèles de référence sur Physical IQA, notamment un modèle BERT affiné et un modèle GPT-2. Le modèle le plus performant à l'époque atteignait une précision d'environ 72 %, ce qui était nettement inférieur à la performance humaine de 95 % sur le même ensemble de test. Cet écart a mis en évidence les limites des grands modèles de langage contemporains dans les tâches de raisonnement physique. Des évaluations ultérieures ont montré que des modèles plus avancés, tels que GPT-3 et les versions ultérieures, ont amélioré les performances sur cette référence, certains atteignant une précision supérieure à 80 %, mais restant toujours en deçà des performances humaines. L'ensemble de données a été utilisé dans plusieurs études de suivi pour mesurer les progrès en matière de raisonnement physique de sens commun, notamment des travaux de chercheurs de OpenAI et Google DeepMind.
Importance et limites
Physical IQA est considéré comme une contribution significative au domaine de l'intelligence artificielle car il fournit un moyen concret et mesurable d'évaluer la compréhension d'un modèle du monde physique, qui est un élément central du raisonnement de sens commun humain. L'ensemble de données a été largement cité dans la littérature, avec plus de 200 citations en 2024, et a été intégré dans des évaluations plus complètes telles que la référence HELM de l'Université de Stanford. Cependant, l'ensemble de données a également été critiqué pour sa taille relativement petite et pour le fait que certaines questions peuvent être résolues à l'aide d'indices linguistiques ou d'associations statistiques plutôt que d'un véritable raisonnement physique. Les chercheurs ont noté que les modèles peuvent exploiter les biais dans la distribution des réponses, et l'ensemble de données ne couvre pas tous les aspects du raisonnement physique, tels que le raisonnement spatial ou la dynamique causale dans le temps.
Applications et influence
L'ensemble de données Physical IQA a influencé le développement de références ultérieures, notamment la référence plus complète Physical Reasoning Benchmark et l'ensemble de données Causal Reasoning. Il a également été utilisé pour former et évaluer des modèles en robotique et en IA incarnée, où la compréhension physique est essentielle pour des tâches telles que la manipulation d'objets et la navigation. Des entreprises comme Amazon Web Services et NVIDIA ont référencé l'ensemble de données dans leurs publications de recherche en IA, et il a été utilisé dans des cours universitaires sur le traitement du langage naturel et le raisonnement de sens commun. L'ensemble de données est disponible publiquement sur GitHub et via la bibliothèque de jeux de données Hugging Face, ce qui le rend accessible aux chercheurs du monde entier.
Orientations futures
En 2024, les chercheurs continuent d'utiliser Physical IQA comme référence pour évaluer de nouveaux modèles, y compris ceux basés sur des architectures transformers et des réseaux neuronaux. L'ensemble de données a été traduit en plusieurs langues, dont le chinois et l'espagnol, pour soutenir une évaluation multilingue. Des efforts sont en cours pour étendre l'ensemble de données avec des scénarios plus diversifiés et pour intégrer des questions basées sur la vidéo qui testent le raisonnement physique dans des contextes dynamiques. Le défi permanent d'atteindre des performances de niveau humain sur Physical IQA souligne la difficulté plus large d'inculquer aux systèmes d'IA des connaissances robustes de sens commun, un objectif qui reste un domaine de recherche actif dans le domaine.