SuperGLUE est un ensemble de référence (benchmark) introduit en 2019 par des chercheurs de Google, DeepMind et de l’Université de New York pour évaluer les capacités des systèmes de compréhension du langage naturel (NLU). Il a été conçu comme un successeur plus exigeant du benchmark GLUE (General Language Understanding Evaluation), devenu saturé par les modèles performants. SuperGLUE se compose de huit tâches diverses qui testent la capacité d’un système à effectuer la résolution de coréférence, le question-réponse, l’implication textuelle et le raisonnement sur plusieurs phrases, en mettant l’accent sur des tâches nécessitant une compréhension linguistique plus profonde et des connaissances de sens commun.
Le benchmark a été créé en réponse aux progrès rapides des modèles d’apprentissage automatique et d’apprentissage profond, en particulier ceux basés sur l’architecture transformeur, qui avaient atteint des performances proches de celles des humains sur GLUE. SuperGLUE relève le niveau en incluant des tâches plus difficiles pour les machines, comme la reconnaissance d’implication textuelle avec des prémisses multi-phrases et le question-réponse exigeant un raisonnement en plusieurs étapes. La suite fournit un score unique qui agrège les performances sur toutes les tâches, permettant une comparaison directe des différents modèles et approches.
Composition des tâches
SuperGLUE comprend huit tâches, chacune ciblant un aspect distinct de la compréhension du langage. Ces tâches sont : BoolQ (questions booléennes avec réponses oui/non), CB (commitment bank, une tâche d’implication textuelle), COPA (choix d’alternatives plausibles, une tâche de raisonnement causal), MultiRC (compréhension de lecture multi-phrases), ReCoRD (compréhension de lecture avec raisonnement de sens commun), RTE (reconnaissance d’implication textuelle), WiC (mot dans son contexte, une tâche de désambiguïsation lexicale) et WSC (winograd schema challenge, une tâche de résolution de pronoms). Chaque tâche est conçue pour être difficile pour les modèles qui s’appuient sur des schémas superficiels, exigeant à la place une compréhension de la syntaxe, de la sémantique et des connaissances du monde.
Contrairement à GLUE, qui incluait des tâches sur des phrases uniques comme l’analyse de sentiment, SuperGLUE met l’accent sur des tâches impliquant plusieurs phrases et un raisonnement complexe. Par exemple, la tâche WSC exige qu’un modèle résolve des pronoms en s’appuyant sur des indices contextuels subtils, tandis que COPA teste le raisonnement causal en demandant laquelle de deux alternatives est la plus plausible étant donné une prémisse. Ces tâches sont issues de jeux de données existants, mais SuperGLUE fournit un cadre d’évaluation unifié avec des divisions standardisées en ensembles d’entraînement, de validation et de test.
Évaluation
SuperGLUE utilise un score agrégé unique, calculé comme la moyenne des métriques de chaque tâche. Pour la plupart des tâches, la métrique est la précision (accuracy), mais pour MultiRC et ReCoRD, il utilise le score F1 pour tenir compte du crédit partiel dans les contextes à réponses multiples. Le benchmark inclut également une référence de performance humaine, établie en faisant effectuer les tâches par des annotateurs humains dans des conditions similaires à celles des modèles. Cette référence sert de point de comparaison pour mesurer les progrès.
Pour éviter le surapprentissage, l’ensemble de test est conservé à part, et les soumissions sont évaluées via un classement (leaderboard) hébergé sur le site web de SuperGLUE. Les modèles sont autorisés à utiliser des données d’entraînement supplémentaires, mais le benchmark encourage une comparaison équitable en rapportant les résultats avec et sans données externes. Le protocole d’évaluation inclut également un ensemble de diagnostic, qui fournit une analyse fine des capacités des modèles à travers des phénomènes linguistiques tels que la négation, la quantification et la coréférence.
Impact sur la recherche en IA
SuperGLUE a eu un impact significatif sur le domaine de l’intelligence artificielle en stimulant le développement de modèles de langage plus robustes. Peu après sa publication, des modèles comme BERT et ses successeurs ont été évalués sur SuperGLUE, révélant des lacunes de performance qui ont motivé des améliorations architecturales. Par exemple, l’introduction des grands modèles de langage tels que GPT-2 et plus tard GPT-3 a démontré que l’augmentation de la taille des modèles et des données d’entraînement pouvait conduire à des gains substantiels sur les tâches de SuperGLUE, bien que même les plus grands modèles aient initialement été en deçà des performances humaines sur plusieurs tâches.
Le benchmark a également influencé la conception de nouveaux objectifs d’entraînement et de nouvelles architectures de modèles. Des chercheurs d’institutions comme Google DeepMind et OpenAI ont utilisé SuperGLUE pour évaluer des innovations telles que l’apprentissage multitâche, l’entraînement adversarial et l’incorporation de connaissances externes. D’ici 2021, plusieurs modèles, dont T5 et DeBERTa, ont obtenu des scores dépassant la référence humaine, indiquant que le benchmark était devenu saturé. Cela a conduit au développement de benchmarks encore plus difficiles, comme le successeur de SuperGLUE, qui se concentre sur des tâches de raisonnement et de génération plus complexes.
Limites et critiques
Malgré son succès, SuperGLUE a fait l’objet de critiques. Certains chercheurs soutiennent que les tâches du benchmark, bien qu’exigeantes, ne capturent pas pleinement la compréhension du langage dans le monde réel, car elles sont principalement des problèmes de choix multiples ou de classification. Le recours à la précision comme métrique principale peut également masquer des différences de comportement des modèles, telles que l’étalonnage (calibration) ou la robustesse face à des entrées adversariales. De plus, le fait que le benchmark soit exclusivement en anglais limite son applicabilité aux contextes multilingues, une lacune que des benchmarks ultérieurs comme XGLUE ont cherché à combler.
Une autre préoccupation concerne la possibilité que les modèles exploitent des artefacts ou des biais présents dans les jeux de données, obtenant ainsi des scores gonflés qui ne reflètent pas une véritable compréhension. Par exemple, certaines tâches de SuperGLUE ont révélé des corrélations fortuites que les modèles pouvaient utiliser sans effectuer le raisonnement visé. Cela a suscité des appels à des protocoles d’évaluation plus rigoureux et au développement de jeux de données de diagnostic qui sondent des capacités spécifiques.
Héritage et successeurs
SuperGLUE reste un benchmark largement cité dans la communauté du traitement du langage naturel, servant de référence standard pour l’évaluation des systèmes de NLU. Ses principes de conception, tels que l’utilisation de tâches diverses et d’un ensemble de test conservé à part, ont influencé des benchmarks ultérieurs comme le successeur de GLUE, ainsi que la tendance plus large vers des suites d’évaluation multitâches. Le benchmark a également contribué à une meilleure compréhension de la montée en échelle des modèles, comme en témoigne la corrélation entre la taille des modèles et leurs performances sur les tâches de SuperGLUE.
En 2023, SuperGLUE est considéré comme un benchmark mature, de nombreux modèles de pointe dépassant les performances humaines. Son héritage réside dans la démonstration de l’importance de suites d’évaluation exigeantes pour faire progresser la recherche sur les réseaux de neurones et pour mettre en évidence la nécessité de benchmarks qui évoluent avec les capacités des modèles. Les futurs benchmarks devraient intégrer davantage de tâches génératives, des données multilingues et des contextes interactifs, en s’appuyant sur les fondations posées par SuperGLUE.