STS-B (Semantic Textual Similarity Benchmark) ist ein weit verbreiteter Datensatz in der Verarbeitung natürlicher Sprache (Natural Language Processing, NLP) zur Bewertung der Fähigkeit von Computermodellen, die semantische Äquivalenz von Satzpaaren zu beurteilen. Er wurde 2017 als Teil der SemEval-2017 Task 1 eingeführt und baute auf früheren gemeinsamen Aufgaben zur semantischen Textähnlichkeit (Semantic Textual Similarity, STS) aus den Jahren 2012 bis 2016 auf. Der Datensatz besteht aus 8.628 englischen Satzpaaren, die jeweils mit einem menschlichen Ähnlichkeitswert zwischen 0 (völlig unähnlich) und 5 (semantisch äquivalent) annotiert sind. Diese Werte werden in der Regel über mehrere Annotatoren gemittelt, um eine Goldstandard-Kennzeichnung zu erhalten.
Der Datensatz stammt aus verschiedenen Bereichen, darunter Bildunterschriften, Schlagzeilen und nutzergenerierte Forenbeiträge, was ihn zu einem vielfältigen Testfeld für semantisches Verständnis macht. STS-B wird häufig verwendet, um Modelle für Aufgaben wie Satzeinbettungen, semantische Suche und Paraphrasenerkennung zu trainieren und zu evaluieren. Er hat sich zu einem Standard-Benchmark in den Gemeinschaften für maschinelles Lernen und künstliche Intelligenz entwickelt und wird oft in Bestenlisten für die Bewertung von großen Sprachmodellen aufgeführt.
Aufgabenstellung und Bewertung
Bei der STS-B-Aufgabe erhält ein Modell ein Satzpaar und muss einen kontinuierlichen Ähnlichkeitswert zwischen 0 und 5 ausgeben. Das primäre Bewertungsmaß ist die Pearson-Korrelation zwischen den vorhergesagten Werten des Modells und den von Menschen vergebenen Goldstandard-Werten. Einige Auswertungen berichten auch die Spearman-Korrelation. Die Aufgabe erfordert, dass Modelle nuancierte semantische Unterscheidungen erfassen, wie etwa den Unterschied zwischen Folgerung (Entailment), Paraphrase und Widerspruch.
Zum Beispiel würde das Paar „Ein Mann spielt Gitarre“ und „Ein Mann zupft eine Gitarre“ einen hohen Wert (nahe 5) erhalten, während „Ein Mann spielt Gitarre“ und „Ein Hund bellt“ einen niedrigen Wert (nahe 0) bekäme. Die Schwierigkeit des Benchmarks liegt im Umgang mit syntaktischen Variationen, lexikalischer Überlappung und Weltwissen.
Historischer Kontext
Der STS-B-Benchmark entwickelte sich aus der STS-Pilotaufgabe bei SemEval-2012, die Daten aus dem Microsoft Research Paraphrase Corpus und anderen Quellen verwendete. Die Version von 2017, organisiert von Forschern wie Daniel Cer, Mona Diab und anderen, konsolidierte Daten aus den Vorjahren zu einem einzigen, wiederverwendbaren Datensatz mit festen Aufteilungen in Trainings-, Validierungs- und Testdaten. Die Labels des Testsatzes wurden zunächst geheim gehalten und erst später veröffentlicht, um Overfitting zu verhindern – eine in gemeinsamen Aufgaben übliche Praxis.
Seit seiner Veröffentlichung wurde STS-B in zahlreichen Studien verwendet. Insbesondere wurde er 2018 in den GLUE-Benchmark (General Language Understanding Evaluation) aufgenommen, der neun NLP-Aufgaben zur Bewertung von Allzweck-Sprachmodellen bündelt. STS-B bleibt eine Komponente von GLUE und dessen Nachfolger SuperGLUE, obwohl SuperGLUE ihn durch eine anspruchsvollere Aufgabe ersetzt hat.
Verwendung in der Modellentwicklung
STS-B wird häufig zum Trainieren von Satzeinbettungsmodellen verwendet, beispielsweise solchen, die auf Transformer-Architekturen basieren. Modelle wie Sentence-BERT (SBERT) und spätere Varianten nutzen STS-B als Trainingsziel über Siamesische oder Triple-Netzwerke und optimieren die Kosinus-Ähnlichkeit zwischen Einbettungen. Der Benchmark wird auch zur Bewertung von neuronalen Netzen eingesetzt, einschließlich Deep-Learning-Systemen und großen Sprachmodellen wie denen von OpenAI, Anthropic und Google DeepMind.
Im Zeitalter großer vortrainierter Modelle wird STS-B oft als Sondierungsaufgabe (Probing Task) verwendet, um zu beurteilen, ob ein Modell robuste semantische Repräsentationen gelernt hat. Er wird auch in cross-lingualen und mehrsprachigen Kontexten eingesetzt, in denen Modelle anhand übersetzter Versionen des Datensatzes evaluiert werden.
Einschränkungen und Kritik
Trotz seiner Beliebtheit hat STS-B bekannte Einschränkungen. Der Datensatz ist relativ klein, und seine Bewertungsskala (0-5) kann subjektiv sein, was zu Schwankungen zwischen den Annotatoren führt. Der Testsatz ist zudem anfällig für Datenlecks, wenn Modelle mit öffentlichen Versionen des Datensatzes trainiert werden. Darüber hinaus konzentriert sich der Benchmark auf Englisch, was seine Anwendbarkeit auf andere Sprachen einschränkt. Einige Forscher haben argumentiert, dass eine hohe Leistung bei STS-B nicht unbedingt auf eine bessere Leistung bei nachgelagerten Aufgaben wie Fragebeantwortung oder Zusammenfassung übertragbar ist.
Verwandte Benchmarks und Erweiterungen
STS-B hat mehrere Erweiterungen inspiriert, darunter STS-B Multilingual (STS-B-M), das den Datensatz in mehrere Sprachen übersetzt, sowie den arabischen STS-Benchmark. Er ist auch mit anderen Aufgaben zur semantischen Ähnlichkeit verwandt, wie den gemeinsamen STS-Aufgaben, dem Microsoft Research Paraphrase Corpus und dem Quora Question Pairs Datensatz. Im Kontext von generativer KI wird STS-B manchmal verwendet, um die Konsistenz generierter Texte zu bewerten, obwohl neuere Benchmarks wie MT-Bench und Chatbot Arena für konversationelle Modelle an Bedeutung gewonnen haben.