SQuAD 2.0 (Stanford Question Answering Dataset 2.0) ist ein Benchmark für maschinelles Leseverständnis, der den ursprünglichen SQuAD-1.1-Datensatz um 50.000 unbeantwortbare Fragen erweitert. Diese unbeantwortbaren Fragen sind so konzipiert, dass sie plausibel erscheinen, aber keine gültige Antwort im entsprechenden Wikipedia-Artikel haben. Dadurch werden Modelle gezwungen zu bestimmen, wann keine Antwort existiert, anstatt immer eine Textspanne zu extrahieren. Der Datensatz enthält insgesamt über 150.000 Fragen aus 536 Artikeln aus 10 Wikipedia-Kategorien und wurde im Juni 2018 von Pranav Rajpurkar, Robin Jia und Percy Liang am Stanford AI Lab veröffentlicht.
Die Hauptmotivation für SQuAD 2.0 war die Behebung einer Einschränkung früherer Datensätze zum Leseverständnis, bei denen Modelle hohe Punktzahlen erzielen konnten, indem sie immer eine Textspanne auswählten, selbst wenn die Frage unbeantwortbar war. Durch die Aufnahme unbeantwortbarer Fragen müssen Systeme zunächst entscheiden, ob eine Antwort existiert, und dann die korrekte Textspanne extrahieren, falls dies der Fall ist. Dies macht die Aufgabe realistischer für praktische Anwendungen wie Large Language Models, die in Suchmaschinen und virtuellen Assistenten eingesetzt werden, wo Fragen oft keine eindeutigen Antworten haben.
Datensatzkonstruktion
Die unbeantwortbaren Fragen in SQuAD 2.0 wurden von Crowdworkern erstellt, denen ein Absatz aus einem Wikipedia-Artikel gezeigt wurde und die gebeten wurden, Fragen zu schreiben, die allein anhand dieses Absatzes nicht beantwortet werden konnten, die aber ein menschlicher Leser vernünftigerweise stellen könnte. Jede unbeantwortbare Frage wurde mit einer beantwortbaren Frage gepaart, die in Thema und Formulierung ähnlich war, um sicherzustellen, dass die unbeantwortbaren Fragen nicht trivial zu erkennen waren. Der endgültige Datensatz enthält 100.000 beantwortbare Fragen aus SQuAD 1.1 und 50.000 neue unbeantwortbare Fragen, insgesamt also 150.000 Frage-Antwort-Paare. Die Daten sind in Trainings- (130.000 Fragen), Entwicklungs- (11.873) und Testsets (8.862) aufgeteilt, wobei das Testset für die offizielle Auswertung verborgen ist.
Bewertungsmetriken
SQuAD 2.0 verwendet zwei primäre Metriken: Exact Match (EM) und F1-Score. EM misst den Prozentsatz der Vorhersagen, die exakt mit einer der Grundwahrheitsantworten übereinstimmen, während F1 das harmonische Mittel aus Präzision und Recall über die Token-Überlappung zwischen Vorhersage und Grundwahrheit berechnet. Bei unbeantwortbaren Fragen muss ein Modell "keine Antwort" ausgeben, um Punkte zu erhalten; jede Textspannen-Vorhersage wird als falsch gewertet. Die offizielle Rangliste ordnet Systeme nach dem Durchschnitt von EM und F1, wobei eine Basislinie, die immer "keine Antwort" vorhersagt, einen F1-Wert von 0,0 erreicht, was die Schwierigkeit der Aufgabe demonstriert.
Einfluss auf die NLP-Forschung
SQuAD 2.0 wurde zu einem Standard-Benchmark für die Bewertung von Leseverständnis- und Frage-Antwort-Systemen und förderte bedeutende Forschung in künstlicher Intelligenz und maschinellem Lernen. Es hob die Bedeutung von Enthaltung und Konfidenzschätzung in neuronalen Netzwerk-Modellen hervor und führte zur Entwicklung von Architekturen, die Antwortverifikations- oder Ablehnungsmechanismen integrieren. Viele der besten Systeme auf der Rangliste verwendeten Transformer-basierte Modelle wie BERT, RoBERTa und ALBERT, die auf großen Korpora vortrainiert und auf SQuAD 2.0 feinabgestimmt wurden. Der Datensatz beeinflusste auch spätere Benchmarks wie Natural Questions und TyDi QA, die unbeantwortbare Instanzen als Kernbestandteil enthalten.
Einschränkungen und Kritik
Trotz seiner weiten Verbreitung wurde SQuAD 2.0 für bestimmte Einschränkungen kritisiert. Die unbeantwortbaren Fragen werden künstlich von Crowdworkern erzeugt und spiegeln möglicherweise nicht die Verteilung realer unbeantwortbarer Anfragen wider, die oft Mehrdeutigkeit oder fehlenden Kontext beinhalten. Darüber hinaus basiert der Datensatz auf Wikipedia-Artikeln, die relativ gut strukturiert und faktisch sind, was es Modellen erleichtert, Widersprüche oder fehlende Informationen zu identifizieren. Einige Forscher haben angemerkt, dass eine hohe Leistung auf SQuAD 2.0 nicht unbedingt auf eine robuste Leistung beim Open-Domain-Frage-Antworten übertragbar ist, wo das Modell relevante Passagen aus einem großen Korpus abrufen muss. Ab 2025 ist die Rangliste gesättigt, wobei die besten Modelle F1-Werte über 95 erreichen, aber der Datensatz bleibt ein wertvolles Werkzeug zur Bewertung der Robustheit und Kalibrierung von Modellen.
Verwandte Arbeiten und Erweiterungen
SQuAD 2.0 hat mehrere Erweiterungen und Varianten inspiriert. Die SQuAD-2.0-Herausforderung wurde auf dem EMNLP-2018-Workshop vorgestellt, und der Datensatz wurde im Bildungsbereich verwendet, um natürliche Sprachverarbeitung zu lehren. Er wurde auch in Multi-Task-Lern-Benchmarks integriert und zur Bewertung der Argumentationsfähigkeiten von Deep-Learning-Modellen verwendet. Das Konzept unbeantwortbarer Fragen wurde in anderen Bereichen übernommen, wie visuelles Frage-Antworten und konversationelle KI, wo Modelle lernen müssen, nach Klärung zu fragen oder anzugeben, wenn sie die Antwort nicht wissen. Der Datensatz bleibt eine wichtige Ressource für Forscher, die Leseverständnis untersuchen, und seine Designprinzipien beeinflussen weiterhin die Erstellung anspruchsvollerer Benchmarks.