SuperGLUE ist eine Benchmark-Suite zur Bewertung der Leistung von Modellen für das Verständnis natürlicher Sprache (NLU). Sie wurde 2019 veröffentlicht und als Nachfolger des früheren GLUE-Benchmarks (General Language Understanding Evaluation) entwickelt, der gesättigt war, da Modelle bei seinen Aufgaben das menschliche Leistungsniveau erreichten oder übertrafen. SuperGLUE präsentiert einen schwierigeren Satz von acht Aufgaben, die Reasoning, Weltwissen und mehrsätziges Verständnis erfordern, mit dem Ziel, ein robusteres Maß für die allgemeinen Sprachfähigkeiten eines Modells zu bieten.
Der Benchmark wurde in einem Papier mit dem Titel „SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems“ eingeführt, verfasst von Alex Wang, Yada Pruksachatkun, Nikita Nangia, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy und Samuel R. Bowman. Die Arbeit war eine Zusammenarbeit zwischen der New York University, DeepMind und der University of Washington. Der Name ist ein Wortspiel mit der Klebstoffmarke Super Glue und spiegelt seinen Zweck als „klebrigerer“ Benchmark wider, der für Modelle schwerer zu lösen ist.
Aufgaben und Bewertung
SuperGLUE besteht aus acht Aufgaben, die jeweils einen unterschiedlichen Aspekt des Sprachverständnisses abdecken:
- BoolQ (Boolesche Fragen): Beantwortung von Ja/Nein-Fragen anhand eines kurzen Textabschnitts.
- CB (CommitmentBank): Bestimmung, ob eine Prämisse eine Hypothese impliziert, ihr widerspricht oder neutral zu ihr ist.
- COPA (Choice of Plausible Alternatives): Auswahl der plausibleren Ursache oder Wirkung aus zwei Optionen anhand einer Prämisse.
- MultiRC (Multi-Sentence Reading Comprehension): Beantwortung mehrerer Fragen zu einem Textabschnitt, wobei jede Frage mehrere mögliche Antworten hat.
- ReCoRD (Reading Comprehension with Commonsense Reasoning): Ausfüllen einer maskierten Entität in einem Nachrichtenartikel unter Verwendung von Weltwissen.
- RTE (Recognizing Textual Entailment): Eine binäre Implikationsaufgabe, die mehrere frühere Datensätze kombiniert.
- WiC (Word-in-Context): Bestimmung, ob ein Wort in zwei verschiedenen Sätzen mit derselben Bedeutung verwendet wird.
- WSC (Winograd Schema Challenge): Auflösung von Pronomenreferenzen in Sätzen, die für einfache statistische Modelle absichtlich mehrdeutig sind.
Jede Aufgabe hat eine spezifische Metrik: Genauigkeit für BoolQ, CB, COPA, RTE und WSC; F1-Score für MultiRC und ReCoRD; und Genauigkeit für WiC. Der Gesamtwert von SuperGLUE ist der Durchschnitt der einzelnen Aufgabenwerte, wobei jede Aufgabe gleich gewichtet wird.
Motivation und Design
Der GLUE-Benchmark, der 2018 veröffentlicht wurde, war zum Standard für die Bewertung allgemeiner Sprachmodelle geworden. Anfang 2019 erreichten jedoch Modelle wie BERT und seine Varianten Werte nahe oder über der geschätten menschlichen Baseline bei GLUE, was die Unterscheidung zwischen Modellen erschwerte. SuperGLUE wurde entwickelt, um diese Sättigung zu adressieren, indem Aufgaben einbezogen wurden, die anspruchsvoller sind und tieferes Reasoning erfordern, wie die Winograd Schema Challenge und COPA, die Weltwissen und kausales Reasoning beinhalten.
Die Aufgaben wurden aus bestehenden Datensätzen ausgewählt, die zu dieser Zeit als zu schwierig für zeitgenössische Modelle galten. Die Autoren führten auch einen neuen Datensatz ein, ReCoRD, der speziell für den Benchmark erstellt wurde. Das Bewertungsframework umfasst eine öffentliche Bestenliste, die es Forschern ermöglicht, ihre Modelle mit einem Standardsatz von Metriken und einer menschlichen Leistungsbaseline zu vergleichen.
Auswirkungen und Rezeption
SuperGLUE wurde schnell ein weit verbreiteter Benchmark in der Verarbeitung natürlicher Sprache-Community. Er wurde von großen Forschungsgruppen und Unternehmen, darunter OpenAI, Google DeepMind und Microsoft, als Standard-Testumgebung für neue Architekturen und Trainingsmethoden übernommen. Der Benchmark spielte eine bedeutende Rolle in der Entwicklung von Transformer-basierten Modellen, insbesondere in der Ära der großen Sprachmodelle.
Im Jahr 2019, kurz nach seiner Veröffentlichung, erreichten Modelle wie BERT-large und XLNet Werte im hohen 70er-Bereich, während die menschliche Baseline auf 89,8 geschätzt wurde. Bis 2021 übertrafen Modelle wie T5 und DeBERTa die menschliche Baseline, wobei DeBERTa im Januar 2021 einen Wert von 90,8 erreichte. Dieser rasche Fortschritt führte dazu, dass der Benchmark von vielen als „gelöst“ betrachtet wurde, was die Erstellung noch schwierigerer Benchmarks wie SuperGLUEs Nachfolger BIG-bench und später den HELM-Benchmark anregte.
Trotz seines Erfolgs wurde SuperGLUE auch kritisiert. Einige Forscher argumentierten, dass die Aufgaben zwar anspruchsvoll seien, aber dennoch nicht die Komplexität des realen Sprachverständnisses vollständig erfassen, und dass hohe Werte im Benchmark nicht unbedingt zu robuster Leistung in praktischen Anwendungen führen. Andere merkten an, dass der Fokus des Benchmarks auf englischsprachige Aufgaben seine Anwendbarkeit auf mehrsprachige Umgebungen einschränkt.
Vermächtnis und Nachfolger
SuperGLUEs Vermächtnis ist zweifach. Erstens zeigte es den Wert der Erstellung progressiv schwierigerer Benchmarks, um die Forschung in künstlicher Intelligenz voranzutreiben. Zweitens hob es das rasante Tempo des Fortschritts in maschinellem Lernen hervor, da Modelle in nur zwei Jahren von unter- zu übermenschlicher Leistung übergingen. Die Designprinzipien des Benchmarks - die Verwendung vielfältiger Aufgaben, klarer Metriken und einer öffentlichen Bestenliste - wurden von nachfolgenden Benchmarks wie GLUEs Nachfolger, SuperGLUEs eigenem Nachfolger und dem breiteren Bewertungsökosystem übernommen.
Der ursprüngliche GLUE-Benchmark wurde 2021 zurückgezogen, und SuperGLUEs Bestenliste wurde 2022 eingefroren, da sich Modelle weiterhin verbesserten. Die Aufgaben und Datensätze bleiben jedoch für Forschung und Entwicklung in Gebrauch, und der Benchmark wird in akademischen Papieren und Branchenberichten weiterhin als historischer Meilenstein in der Bewertung von Sprachmodellen referenziert.