GLUE-ZH ist eine Benchmark-Suite, die entwickelt wurde, um die allgemeinen Sprachverständnisfähigkeiten von Modellen für chinesische Texte zu bewerten. Sie folgt der Struktur des englischen GLUE (General Language Understanding Evaluation)-Benchmarks und passt dessen Aufgaben und Bewertungsmethodik an die chinesische Sprache an. Der Benchmark bietet einen einzigen aggregierten Wert, der die Leistung eines Modells über eine Reihe grundlegender NLP-Aufgaben hinweg widerspiegelt und einen direkten Vergleich verschiedener Ansätze in der chinesischen Verarbeitung natürlicher Sprache ermöglicht.
Der Benchmark wurde Ende der 2010er Jahre als Teil einer breiteren Initiative zur Schaffung mehrsprachiger Bewertungsstandards für das sich schnell entwickelnde Feld des Deep Learning und der Large Language Models eingeführt. Während der ursprüngliche GLUE-Benchmark 2018 von Forschern der New York University und der University of Washington veröffentlicht wurde, entstand GLUE-ZH als eine von der Gemeinschaft getragene Adaption, um den wachsenden Bedarf an standardisierter chinesischer NLP-Bewertung zu decken. Er wurde von einem Konsortium akademischer und industrieller Forschungsgruppen entwickelt, obwohl kein einzelnes offizielles Veröffentlichungsdatum oder Papier allgemein anerkannt ist und die genaue Zusammensetzung des Benchmarks je nach Implementierung variiert hat.
Aufgabenkomposition
GLUE-ZH umfasst typischerweise eine Reihe von Aufgaben, die die englische GLUE-Suite widerspiegeln, aber chinesische Datensätze verwenden. Häufige Aufgaben umfassen:
- Satzebenen-Klassifikation: Aufgaben wie Sentimentanalyse (z. B. unter Verwendung des chinesischen ChnSentiCorp-Datensatzes) und Frage-Antwort-Natural-Language-Inference (z. B. der CMNLI-Datensatz, eine chinesische Version des MultiNLI-Korpus).
- Textuelle Ähnlichkeit: Aufgaben wie Chinese Semantic Textual Similarity (STS-B), die misst, wie semantisch ähnlich zwei Sätze auf einer Skala von 0 bis 5 sind.
- Einzelsatz-Tagging: Aufgaben wie chinesische Wortsegmentierung und Part-of-Speech-Tagging, die für die chinesische NLP aufgrund des Fehlens von Leerzeichen zwischen Wörtern unerlässlich sind.
- Leseverständnis: Aufgaben wie CMRC2018 (Chinese Machine Reading Comprehension), die von Modellen verlangen, Fragen basierend auf gegebenen Passagen zu beantworten.
Die genaue Anzahl der Aufgaben in GLUE-ZH hat zwischen Versionen variiert, wobei einige Implementierungen nur fünf Aufgaben umfassen und andere auf neun oder mehr erweitert wurden. Die am häufigsten zitierte Konfiguration umfasst sieben Aufgaben, die Klassifikation, Ähnlichkeit und Inferenz abdecken.
Bewertungsmethodik
GLUE-ZH verwendet ein ähnliches Bewertungssystem wie der englische GLUE-Benchmark. Jede Aufgabe hat eine spezifische Metrik (z. B. Genauigkeit für Klassifikationsaufgaben, Pearson-Korrelation für Ähnlichkeitsaufgaben), und der endgültige GLUE-ZH-Wert ist der Durchschnitt aller aufgabenspezifischen Werte. Dieser aggregierte Wert ermöglicht einen Einzelzahlenvergleich der Modellleistung und vereinfacht den Bewertungsprozess.
Modelle werden typischerweise in einer Zero-Shot- oder Fine-Tuned-Umgebung bewertet. In der Zero-Shot-Umgebung werden Modelle ohne aufgabenspezifisches Training auf GLUE-ZH-Aufgaben getestet, was ihre allgemeinen Sprachverständnisfähigkeiten misst. In der Fine-Tuned-Umgebung werden Modelle vor der Bewertung auf den Trainingsdaten jeder Aufgabe trainiert, was ihre Anpassungsfähigkeit an spezifische nachgelagerte Aufgaben misst.
Historischer Kontext und Nutzung
GLUE-ZH gewann während des Aufstiegs von Transformer-basierten Modellen Ende der 2010er und Anfang der 2020er Jahre an Bedeutung. Es wurde als Benchmark in mehreren Forschungspapieren und technischen Berichten verwendet, insbesondere in solchen, die sich auf chinesische vortrainierte Modelle wie BERT-basierte Varianten (z. B. BERT-wwm, RoBERTa-wwm) und ERNIE konzentrierten. Diese Modelle erreichten durchweg hohe Werte auf GLUE-ZH, wobei die besten Modelle bis 2021 aggregierte Werte über 80 % erzielten.
Der Benchmark wurde für seinen begrenzten Umfang kritisiert, da er sich hauptsächlich auf Satzebenen-Aufgaben konzentriert und keine komplexeren Aufgaben wie Dialoggenerierung oder Dokumentebenen-Verständnis umfasst. Darüber hinaus hat das Fehlen einer einzigen offiziellen Version zu Inkonsistenzen in den berichteten Ergebnissen verschiedener Studien geführt, was direkte Vergleiche erschwert.
Beziehung zu anderen Benchmarks
GLUE-ZH ist Teil einer Familie mehrsprachiger Benchmarks, die SuperGLUE (den Nachfolger von GLUE auf Englisch) und XTREME (einen cross-lingualen Benchmark) umfasst. Während XTREME Chinesisch als eine von vielen Sprachen einschließt, bietet GLUE-ZH eine tiefere Bewertung speziell für Chinesisch. Es ist auch mit dem chinesischen SuperGLUE (CLUE)-Benchmark verwandt, der 2020 veröffentlicht wurde und eine umfassendere und standardisiertere Bewertungssuite für chinesische NLP bietet. CLUE hat GLUE-ZH in der Forschungsnutzung weitgehend abgelöst, da es eine größere Aufgabensammlung und eine offizielle Rangliste bietet.
Aktueller Status
Stand Mitte der 2020er Jahre wird GLUE-ZH in der Spitzenforschung weniger häufig verwendet, da es durch umfassendere Benchmarks wie CLUE und die chinesische Version von SuperGLUE ersetzt wurde. Es bleibt jedoch eine nützliche Referenz zum Verständnis der Entwicklung der chinesischen NLP-Bewertung und wird weiterhin in einigen Bildungsmaterialien und historischen Analysen zitiert. Der Einfluss des Benchmarks besteht in der Gestaltung neuerer Bewertungssuiten fort, die oft ähnliche Aufgabentypen und Bewertungsmethoden integrieren.