SQuAD v2.0 (Stanford Question Answering Dataset Version 2.0) ist ein Benchmark-Datensatz für maschinelles Textverständnis und Fragebeantwortung. Er erweitert den ursprünglichen SQuAD-1.1-Datensatz um eine erhebliche Anzahl unbeantwortbarer Fragen, wodurch Modelle nicht nur korrekte Antwortspannen extrahieren, sondern auch erkennen müssen, wann eine Frage anhand des gegebenen Kontexts nicht beantwortet werden kann. Dieses Design adressiert eine zentrale Einschränkung früherer Datensätze, bei denen Modelle hohe Punktzahlen erzielen konnten, indem sie Antwortspannen rieten, ohne den Text wirklich zu verstehen.
Der Datensatz wurde im Juni 2018 von einem Team am Stanford University eingeführt, geleitet von Pranav Rajpurkar, Robin Jia und Percy Liang. Er umfasst 100.000 beantwortbare Fragen und 50.000 unbeantwortbare Fragen, die alle aus denselben Wikipedia-Artikeln abgeleitet sind, die in SQuAD 1.1 verwendet wurden. Die unbeantwortbaren Fragen werden von menschlichen Annotatoren erstellt, die plausible Fragen umformulieren, die tatsächlich nicht durch den Artikeltext gestützt werden, was es schwierig macht, sie von beantwortbaren Fragen zu unterscheiden.
Motivation und Design
Die primäre Motivation für SQuAD v2.0 war es, das Problem der „Überconfidence“ in Textverständnissystemen zu adressieren. In SQuAD 1.1 hatte jede Frage eine garantierte Antwortspanne im Kontext, sodass Modelle darauf trainiert werden konnten, immer etwas zu extrahieren, selbst wenn es falsch war. Dies führte zu Systemen, die im Benchmark gut abschnitten, aber in realen Anwendungen versagten, in denen Fragen oft keine Antwort haben. Durch die Einführung unbeantwortbarer Fragen zwingt SQuAD v2.0 Modelle dazu, eine robustere Fähigkeit zu erlernen: die Bestimmung der Beantwortbarkeit, bevor eine Spanne extrahiert wird.
Der Konstruktionsprozess umfasste Crowdworker, die zuerst beantwortbare Fragen basierend auf einem Absatz schrieben und dann zusätzliche Fragen verfassten, die plausibel, aber unbeantwortbar sind, oft durch Änderung von Entitäten, Zahlen oder Beziehungen. Dies stellt sicher, dass unbeantwortbare Fragen semantisch ähnlich zu beantwortbaren sind, was die Aufgabe wirklich schwierig macht.
Bewertungsmetriken
SQuAD v2.0 verwendet zwei primäre Metriken: Exact Match (EM) und F1-Score. Im Gegensatz zu SQuAD 1.1 behandelt die Bewertung unbeantwortbare Fragen jedoch besonders. Für unbeantwortbare Fragen erhält ein Modell volle Punktzahl (EM=1, F1=1), wenn es „keine Antwort“ (eine leere Spanne) vorhersagt. Wenn es eine nicht-leere Spanne vorhersagt, erhält es null für beide Metriken. Für beantwortbare Fragen werden die standardmäßigen Spannen-EM- und F1-Werte berechnet. Die Gesamtpunktzahl ist der Durchschnitt über alle Fragen, wobei beantwortbaren und unbeantwortbaren Instanzen gleiches Gewicht gegeben wird.
Dieses Bewertungsschema belohnt konservative Modelle: Sie müssen Präzision bei der Beantwortung beantwortbarer Fragen gegen das Risiko abwägen, unbeantwortbare Fragen falsch zu beantworten. Ein Modell, das immer eine Antwort rät, wird nahe null auf der unbeantwortbaren Hälfte erzielen, während ein Modell, das immer abstinent ist, null auf der beantwortbaren Hälfte erzielt.
Auswirkungen auf die Forschung
SQuAD v2.0 wurde schnell zu einem Standard-Benchmark in der NLP-Gemeinschaft, neben seinem Vorgänger. Es förderte die Entwicklung anspruchsvollerer Modelle, die Beantwortbarkeitsvorhersage als explizite Komponente integrieren. Viele frühe Deep-Learning-Ansätze, wie solche, die auf Transformatoren basieren, wurden auf diesem Datensatz evaluiert, was zu schnellen Verbesserungen führte.
Der Datensatz beeinflusste auch das Design späterer Benchmarks wie Natural Questions und TriviaQA, die natürlich unbeantwortbare Fragen enthalten. Er hob die Bedeutung von Kalibrierung und Abstinenz in der Fragebeantwortung hervor, ein Thema, das in modernen großen Sprachmodellen weiterhin relevant ist.
Leaderboard und Stand der Technik
Bei der Veröffentlichung erreichten die besten Modelle EM-Werte um 60-65%, deutlich niedriger als die 80%+-Werte auf SQuAD 1.1, was die zusätzliche Schwierigkeit widerspiegelt. Im Laufe der Zeit verbesserten sich die Modelle erheblich. Bis 2019 erreichten Systeme, die BERT und seine Varianten verwendeten, EM-Werte über 80%. Ab 2023 erreichen die Top-Einträge auf dem offiziellen Leaderboard EM-Werte über 90%, oft unter Verwendung von Ensemble-Methoden und externem Wissen.
Trotz dieser hohen Punktzahlen stellen Forscher fest, dass SQuAD v2.0 immer noch Einschränkungen hat, wie seine Abhängigkeit von Wikipedia und die Tatsache, dass unbeantwortbare Fragen künstlich konstruiert sind. Dennoch bleibt es ein wertvolles Werkzeug zur Bewertung der Robustheit von Textverständnis.
Verwandte Arbeiten und Erweiterungen
SQuAD v2.0 hat mehrere Folge-Datensätze und Aufgaben inspiriert. Zum Beispiel führte squad-shift Verteilungsverschiebungen ein, um Generalisierung zu testen, während andere Arbeiten adversariale Störungen untersuchten. Das Konzept der Beantwortbarkeit wurde in viele Fragebeantwortungssysteme integriert, einschließlich solcher, die in Produktion von Unternehmen wie Google Cloud und Amazon Web Services verwendet werden.
Der Datensatz ist frei für Forschung verfügbar und wird auf der offiziellen SQuAD-Website gehostet, zusammen mit Bewertungsskripten und einem öffentlichen Leaderboard. Er bleibt ein Referenzpunkt für den Vergleich neuer Architekturen und Trainingstechniken im Bereich des maschinellen Textverständnisses.