GLUE (General Language Understanding Evaluation) ist eine Benchmark-Suite, die 2018 von Forschern der New York University, der University of Washington und DeepMind eingeführt wurde. Sie wurde entwickelt, um Modelle des maschinellen Lernens anhand einer vielfältigen Reihe von Aufgaben zum Verständnis natürlicher Sprache (Natural Language Understanding, NLU) zu evaluieren und zu vergleichen, mit dem Ziel, die Entwicklung allgemeiner Modelle zu fördern, die mehrere Aufgaben ohne aufgabenspezifische Anpassungen bewältigen können. Der Benchmark wurde schnell zu einem Standardreferenzpunkt auf dem Gebiet der künstlichen Intelligenz und des maschinellen Lernens, insbesondere für die Forschung zu Deep Learning und neuronalen Netzen.
Der Benchmark besteht aus neun Aufgaben, die drei Hauptkategorien abdecken: Ein-Satz-Aufgaben, Ähnlichkeits- und Paraphrasenaufgaben sowie Inferenzaufgaben. Zu den Ein-Satz-Aufgaben gehören CoLA (Corpus of Linguistic Acceptability), das die grammatikalische Akzeptanz testet, und SST-2 (Stanford Sentiment Treebank), das die Sentimentanalyse testet. Zu den Ähnlichkeits- und Paraphrasenaufgaben gehören MRPC (Microsoft Research Paraphrase Corpus), QQP (Quora Question Pairs) und STS-B (Semantic Textual Similarity Benchmark). Zu den Inferenzaufgaben gehören MNLI (Multi-Genre Natural Language Inference), QNLI (Question Natural Language Inference), RTE (Recognizing Textual Entailment) und WNLI (Winograd Natural Language Inference). Jede Aufgabe hat ihre eigene Bewertungsmetrik, wie Genauigkeit, F1-Score oder Pearson-Korrelation, und der Gesamtwert von GLUE ist der Durchschnitt dieser Metriken über alle Aufgaben hinweg.
Geschichte und Motivation
GLUE wurde in einem Paper aus dem Jahr 2018 mit dem Titel „GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding“ von Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy und Samuel R. Bowman vorgestellt. Die Autoren argumentierten, dass bestehende Benchmarks oft zu eng gefasst seien und es Modellen ermöglichten, auf spezifische Datensätze zu überanpassen. GLUE zielte darauf ab, eine umfassendere Bewertung zu ermöglichen, indem Aufgaben einbezogen wurden, die unterschiedliche Arten von linguistischem Wissen erfordern, wie Syntax, Semantik und gesunden Menschenverstand. Der Benchmark umfasste auch eine öffentliche Bestenliste, die es Forschern ermöglichte, ihre Modelle transparent zu vergleichen.
Die Einführung von GLUE fiel mit einer Phase rascher Fortschritte bei großen Sprachmodellen zusammen. Kurz nach seiner Veröffentlichung begannen Modelle, die auf der Transformer (architecture)-Architektur basieren, wie BERT (Bidirectional Encoder Representations from Transformers) von Google, die Bestenliste zu dominieren. Der Erfolg von BERT bei GLUE trug dazu bei, das Paradigma des Vortrainings und der Feinabstimmung zu popularisieren, bei dem ein Modell zunächst auf einem großen Textkorpus trainiert und dann an spezifische Aufgaben angepasst wird. Dieser Ansatz wurde grundlegend für nachfolgende Modelle, die von Organisationen wie OpenAI, Anthropic und Google DeepMind entwickelt wurden.
Aufgaben und Bewertung
Die neun Aufgaben in GLUE wurden ausgewählt, um eine Bandbreite an Schwierigkeitsgraden und linguistischen Phänomenen abzudecken. CoLA beispielsweise erfordert von Modellen, zu beurteilen, ob ein Satz grammatikalisch akzeptabel ist, was syntaktisches Wissen testet. SST-2 beinhaltet die binäre Sentimentklassifikation von Filmkritiken. MRPC und QQP sind Aufgaben zur Paraphrasenerkennung, bei denen Modelle bestimmen müssen, ob zwei Sätze dieselbe Bedeutung haben. STS-B ist eine Regressionsaufgabe, die semantische Ähnlichkeit auf einer Skala von 0 bis 5 bewertet.
Bei den Inferenzaufgaben ist MNLI die größte, mit über 400.000 Satzpaaren aus mehreren Genres, bei der Modelle Folgerung, Widerspruch oder Neutralität klassifizieren müssen. QNLI ist eine Frage-Antwort-Aufgabe, die als Folgerungsaufgabe umformuliert wurde, bei der das Modell bestimmen muss, ob ein Satz die Antwort auf eine Frage enthält. RTE ist eine kleinere Folgerungsaufgabe, die aus Nachrichten und Wikipedia abgeleitet wurde. WNLI ist eine Aufgabe zur Pronomenauflösung, die auf der Winograd-Schema-Herausforderung basiert, aber später als fehlerhaft befunden wurde, da ein Datenleckproblem vorlag, und viele Modelle erreichten bei ihr nur zufällige Leistungen.
Die Bewertungsmetriken variieren: CoLA verwendet die Matthews-Korrelation, SST-2 und QNLI verwenden Genauigkeit, MRPC und QQP verwenden den F1-Score, STS-B verwendet Pearson- und Spearman-Korrelationen, und MNLI, RTE und WNLI verwenden Genauigkeit. Der endgültige GLUE-Wert ist der Durchschnitt dieser Metriken, wobei jede Aufgabe gleich gewichtet wird.
Auswirkungen und Grenzen
GLUE hatte eine bedeutende Auswirkung auf das Feld, indem es einen gemeinsamen Benchmark zum Vergleich von Modellen bereitstellte. Es trug zur Verbesserung der Forschung im Bereich Verarbeitung natürlicher Sprache bei, und seine Bestenliste wurde zu einer Wettbewerbsarena für sowohl akademische als auch industrielle Labore. Der Benchmark erleichterte auch die Entwicklung von Ansätzen des Multi-Task-Lernens und trug zum Aufstieg des Transferlernens in der NLP bei.
Allerdings wurde GLUE auch kritisiert. Einige Forscher merkten an, dass der Benchmark von Modellen ausgetrickst werden könnte, die Muster in den Trainingsdaten auswendig lernen, anstatt Sprache wirklich zu verstehen. Die WNLI-Aufgabe war besonders problematisch, da später entdeckt wurde, dass der Testsatz Beispiele enthielt, die nicht richtig mit den Trainingsdaten abgestimmt waren, was es für Modelle nahezu unmöglich machte, gut abzuschneiden. Als Reaktion darauf veröffentlichte das GLUE-Team 2019 eine überarbeitete Version namens SuperGLUE, die schwierigere Aufgaben enthielt und einige dieser Probleme adressierte.
Vermächtnis und Nachfolger
Trotz seiner Grenzen bleibt GLUE ein vielzitierter Benchmark und wird oft als Basislinie zur Bewertung neuer Modelle verwendet. Sein Nachfolger SuperGLUE führte Aufgaben ein, die komplexeres Denken erfordern, wie Mehr-Satz-Inferenz und Leseverständnis. Beide Benchmarks waren einflussreich bei der Gestaltung der Bewertung von generativen KI-Systemen, obwohl neuere Benchmarks wie MMLU und HELM entstanden sind, um breitere Fähigkeiten zu adressieren.
Das Design von GLUE inspirierte auch ähnliche Benchmarks in anderen Bereichen, wie XGLUE für cross-linguales Verständnis und CLUE für Chinesisch. Die Betonung des Benchmarks auf Multi-Task-Bewertung ist zu einer Standardpraxis in dem Feld geworden, und sein Modell der öffentlichen Bestenliste wurde von vielen nachfolgenden Bemühungen übernommen.
Siehe auch
Referenzen
- Wang, A., Singh, A., Michael, J., Hill, F., Levy, O., & Bowman, S. R. (2018). GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding. arXiv preprint arXiv:1804.07461.
- Wang, A., Pruksachatkun, Y., Nangia, N., Singh, A., Michael, J., Hill, F., ... & Bowman, S. R. (2019). SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems. arXiv preprint arXiv:1905.00537.