Social IQA (Social Interaction Question Answering) est un ensemble de données de référence conçu pour évaluer les capacités de raisonnement social de bon sens des systèmes d'intelligence artificielle. Introduit en 2019 par des chercheurs de l'Université de Washington et de l'Allen Institute for Artificial Intelligence, cet ensemble comprend environ 38 000 questions à choix multiples dérivées de 1 500 situations sociales quotidiennes. Chaque question teste la capacité d'un modèle à déduire les intentions probables, les réactions et les normes sociales régissant les interactions humaines, comme comprendre pourquoi quelqu'un pourrait complimenter un collègue ou ce qu'une personne attend après avoir proposé son aide.
L'ensemble de données a été créé pour combler une lacune dans l'évaluation de l'IA : alors que de nombreux référentiels se concentraient sur les connaissances factuelles ou la fluidité linguistique, peu testaient les connaissances implicites et nuancées que les humains utilisent pour naviguer dans les contextes sociaux. Social IQA encadre chaque scénario avec une question sur la pré-condition, la motivation ou la réaction émotionnelle d'un personnage, offrant trois choix de réponse. Par exemple, étant donné la déclaration « Jordan a proposé à Alex de le ramener chez lui », une question pourrait demander « Pourquoi Jordan a-t-il fait cela ? » avec des options comme « pour être serviable », « pour se vanter » ou « pour éviter Alex ». La bonne réponse repose sur des attentes culturellement partagées concernant l'altruisme et la politesse.
Construction et annotation
L'ensemble de données a été construit en combinant la génération de scénarios par crowdsourcing et une annotation structurée. Des travailleurs sur Amazon Mechanical Turk ont rédigé de courtes descriptions d'interactions sociales quotidiennes, filtrées ensuite pour leur clarté et leur diversité. Un ensemble distinct d'annotateurs a généré des questions et des réponses pour chaque scénario, suivant un modèle couvrant trois dimensions : l'intention (pourquoi une action a eu lieu), la réaction (comment un personnage s'est senti) et la pré-condition (ce qui devait être vrai avant l'événement). Cette conception garantit que les modèles sont testés sur le raisonnement causal et émotionnel, et non seulement sur la reconnaissance de motifs.
Pour maintenir la qualité, les créateurs ont mis en œuvre des étapes de validation rigoureuses. Chaque question a été examinée par plusieurs annotateurs, et les éléments ambigus ou trop subjectifs ont été écartés. L'ensemble final a été divisé en ensembles d'entraînement, de validation et de test, l'ensemble de test étant gardé privé pour éviter le surapprentissage. Le processus d'annotation a duré plusieurs mois et a impliqué plus de 2 000 travailleurs uniques, reflétant l'ampleur des efforts nécessaires pour capturer les nuances sociales.
Importance du référentiel
Social IQA est rapidement devenu un outil d'évaluation standard dans le domaine du traitement du langage naturel. Lors de sa publication, des modèles de pointe comme BERT atteignaient une précision d'environ 55 %, à peine au-dessus du seuil aléatoire de 33 %. Cet écart marqué a souligné la difficulté du raisonnement social pour les machines, qui s'appuient souvent sur des corrélations statistiques plutôt que sur une compréhension réelle du comportement humain. Le référentiel a stimulé la recherche sur les bases de connaissances de bon sens et les architectures de raisonnement, conduisant à des améliorations dans des modèles comme RoBERTa et plus tard les grands modèles de langage.
D'ici 2023, des modèles plus grands comme GPT-4 et Claude ont commencé à approcher des performances de niveau humain sur la tâche, avec des scores de précision dépassant 90 %. Cependant, les chercheurs avertissent que des scores élevés sur Social IQA n'impliquent pas nécessairement une intelligence sociale robuste, car les modèles peuvent exploiter des indices linguistiques ou des biais dans l'ensemble de données. Le référentiel reste utile pour suivre les progrès, mais il est souvent associé à des tests adverses ou hors distribution pour évaluer la généralisation.
Limites et critiques
Plusieurs critiques ont été soulevées concernant Social IQA. Premièrement, l'ensemble de données est fortement orienté vers les normes culturelles occidentales et anglophones, ce qui limite son applicabilité aux contextes mondiaux. Un comportement considéré comme poli dans une culture pourrait être impoli dans une autre, mais l'ensemble suppose un cadre social unique et homogène. Deuxièmement, le format à choix multiples simplifie le raisonnement social en options discrètes, alors que les interactions réelles impliquent des jugements continus et dépendants du contexte. Troisièmement, certaines questions sont ambiguës même pour les humains, entraînant des annotations bruitées et des erreurs potentielles d'étiquetage.
Les chercheurs ont également noté que les modèles peuvent obtenir des scores élevés en mémorisant des motifs de surface plutôt qu'en s'engageant dans un raisonnement profond. Par exemple, certains choix de réponse apparaissent plus fréquemment dans les données d'entraînement, et les modèles peuvent exploiter ces régularités statistiques. Pour atténuer cela, des référentiels ultérieurs comme Social IQa 2.0 ont introduit des questions plus difficiles et des scénarios contrefactuels, mais l'ensemble original reste largement cité.
Applications et impact
Les perspectives issues de Social IQA ont influencé le développement de systèmes d'IA socialement conscients dans des domaines tels que les agents de dialogue, les assistants virtuels et la robotique. Des entreprises comme Google DeepMind et OpenAI ont utilisé l'ensemble de données pour affiner des modèles pour des tâches nécessitant empathie ou tact social, comme les chatbots de service client ou les outils de soutien en santé mentale. Le référentiel a également informé la conception de modèles de raisonnement de bon sens comme COMET, qui génère des inférences explicites sur les situations sociales.
Dans la recherche académique, Social IQA a été cité dans plus de 1 000 articles, couvrant des domaines allant de la science sociale computationnelle à l'éthique en IA. Il est devenu une ressource fondamentale pour étudier comment les machines peuvent apprendre les règles non écrites de l'interaction humaine, et il continue d'être un point de référence pour de nouveaux ensembles de données visant à capturer des phénomènes sociaux plus complexes, tels que l'ironie, la tromperie ou les différences interculturelles.
Orientations futures
À mesure que les systèmes d'IA deviennent plus intégrés dans la vie quotidienne, la capacité de raisonner sur le contexte social devient de plus en plus critique. Social IQA a ouvert la voie à des référentiels plus dynamiques intégrant la vidéo, l'audio et des environnements interactifs, allant au-delà du texte statique. Les chercheurs explorent également comment rendre ces ensembles de données plus inclusifs en impliquant des annotateurs de diverses origines culturelles et en développant des métriques qui tiennent compte de multiples réponses valides. L'objectif ultime est de créer une IA qui non seulement comprend les faits, mais respecte également les limites sociales et communique efficacement, un défi que Social IQA a contribué à mettre au premier plan du domaine.