CommonsenseQA ist ein Benchmark-Datensatz zur Bewertung der Fähigkeiten von Systemen der künstlichen Intelligenz im Bereich des gesunden Menschenverstands (Commonsense Reasoning). Er wurde 2019 von Forschern der University of Washington und des Allen Institute for Artificial Intelligence veröffentlicht und umfasst 12.247 Multiple-Choice-Fragen, jeweils mit einer richtigen Antwort und vier falschen Antwortoptionen. Der Datensatz wurde entwickelt, um eine Lücke in bestehenden Benchmarks der Verarbeitung natürlicher Sprache zu schließen, die oft auf Faktenabruf oder syntaktischem Verständnis basierten, aber die Fähigkeit eines Modells, Alltagswissen über die Welt anzuwenden, nicht ausreichend testeten.
Die Fragen in CommonsenseQA werden aus dem ConceptNet-Wissensgraph generiert, einem großen semantischen Netzwerk, das Beziehungen zwischen alltäglichen Konzepten kodiert. Jede Frage basiert auf einem Tripel aus ConceptNet, wie zum Beispiel „ein Hund ist ein Tier“ oder „man benutzt einen Regenschirm, wenn es regnet“. Die Ersteller des Datensatzes nutzten Crowdworking, um diese Tripel in natürlichsprachliche Fragen umzuwandeln und plausible, aber falsche Antwortoptionen zu generieren. Dieser Prozess stellt sicher, dass die Fragen echtes Commonsense-Reasoning erfordern und nicht nur einfaches Musterabgleichen oder Auswendiglernen.
Konstruktion und Design
Die Erstellung von CommonsenseQA umfasste eine mehrstufige Pipeline. Zunächst wählten die Forscher eine Reihe von ConceptNet-Tripeln aus, die alltägliche Konzepte betrafen. Anschließend nutzten sie Amazon Mechanical Turk, um Arbeiter zu beauftragen, Fragen zu schreiben, die testen, ob ein System die korrekte Beziehung aus dem Tripel ableiten kann. Für jede Frage generierten die Arbeiter auch vier falsche Antworten, die semantisch mit der richtigen Antwort verwandt, aber im Kontext der Frage falsch waren. Dieses adversariale Design macht den Benchmark anspruchsvoll, da die falschen Antworten oft plausibel, aber falsch sind.
Der endgültige Datensatz wurde in Trainings-, Entwicklungs- und Testsets aufgeteilt. Das Trainingsset enthält 9.741 Fragen, das Entwicklungsset 1.221 Fragen und das Testset 1.241 Fragen. Das Testset ist nicht öffentlich zugänglich, und Forscher müssen ihre Modelle an einen Bewertungsserver übermitteln, um Ergebnisse darauf zu erhalten, was Überanpassung verhindert.
Bewertung und Auswirkungen
CommonsenseQA wurde schnell zu einem Standard-Benchmark für die Bewertung großer Sprachmodelle und anderer KI-Systeme. Frühe Ergebnisse zeigten, dass selbst damals hochmoderne Modelle wie BERT und GPT-2 nur geringfügig besser als zufälliges Raten abschnitten, was bei einer Multiple-Choice-Aufgabe mit fünf Optionen einer Genauigkeit von 20 % entspricht. Dies verdeutlichte die Schwierigkeit des Commonsense-Reasonings für KI-Systeme.
Nachfolgende Arbeiten verbesserten die Leistung erheblich. Modelle, die externes Wissen einbezogen, wie solche, die relevante ConceptNet-Tripel abriefen oder Graph-Neuronale-Netze verwendeten, erreichten höhere Genauigkeit. Die Einführung größerer vortrainierter Modelle, einschließlich GPT-3 und späterer Modelle, führte ebenfalls zu erheblichen Fortschritten. Bis 2021 näherten sich einige Modelle einer Genauigkeit von 80 % auf dem Entwicklungsset, während die menschliche Leistung auf etwa 91 % geschätzt wird.
Beziehung zu anderen Benchmarks
CommonsenseQA ist Teil einer breiteren Familie von Commonsense-Reasoning-Benchmarks, einschließlich der Winograd Schema Challenge, SWAG und HellaSwag. Im Gegensatz zu diesen Benchmarks, die sich auf Pronomenauflösung oder Satzvervollständigung konzentrieren, testet CommonsenseQA explizit das Beantworten von Multiple-Choice-Fragen mit einer Vielzahl alltäglicher Szenarien. Es wurde in Verbindung mit anderen Datensätzen verwendet, um allgemeine KI-Systeme zu bewerten, einschließlich solcher, die von Unternehmen wie OpenAI, Anthropic und Google DeepMind entwickelt wurden.
Der Datensatz wurde auch erweitert und angepasst. Zum Beispiel wurde 2021 eine Variante namens CommonsenseQA 2.0 veröffentlicht, die einen anderen Ansatz zur Fragengenerierung basierend auf generativen Modellen verwendet. Darüber hinaus haben Forscher adversariale Splits von CommonsenseQA erstellt, um die Robustheit von Modellen zu testen, bei denen Fragen modifiziert werden, um sie für Modelle schwieriger zu machen, die auf oberflächliche Hinweise angewiesen sind.
Einschränkungen und Kritik
Trotz seiner Beliebtheit wurde CommonsenseQA kritisiert. Einige Forscher haben darauf hingewiesen, dass der Datensatz Verzerrungen enthält, wie eine Tendenz, dass bestimmte Antwortoptionen häufiger vorkommen oder dass die richtige Antwort länger oder spezifischer ist. Modelle können diese statistischen Regelmäßigkeiten ausnutzen, ohne echtes Reasoning durchzuführen. Darüber hinaus sind alle Fragen auf Englisch und spiegeln eine westlich-zentrierte Sichtweise des gesunden Menschenverstands wider, was seine Anwendbarkeit auf andere Kulturen und Sprachen einschränkt.
Eine weitere Einschränkung ist, dass der Datensatz statisch ist, was bedeutet, dass er die sich entwickelnde Natur des Commonsense-Wissens nicht erfasst. Da sich die Welt verändert, kann sich auch das verschieben, was als gesunder Menschenverstand gilt, aber der Benchmark bleibt fest. Dies hat einige Forscher dazu veranlasst, dynamischere und vielfältigere Bewertungsmethoden zu fordern.
Aktuelle Nutzung
Stand Mitte der 2020er Jahre bleibt CommonsenseQA ein weit verbreiteter Benchmark in der Forschungsgemeinschaft für künstliche Intelligenz und maschinelles Lernen. Er wird oft in die Bewertungssuiten großer Sprachmodelle aufgenommen, neben anderen Benchmarks wie MMLU und BIG-bench. Der Datensatz ist für Forschungszwecke frei verfügbar und wird auf Plattformen wie Hugging Face gehostet, was den Zugang und die Nutzung für Forscher erleichtert.
CommonsenseQA wurde auch verwendet, um die Reasoning-Fähigkeiten von Modellen detaillierter zu untersuchen. Zum Beispiel haben Forscher analysiert, welche Arten von Commonsense-Wissen (z. B. räumlich, zeitlich, sozial) für Modelle am herausforderndsten sind, und haben den Datensatz genutzt, um die internen Repräsentationen von Transformer-basierten Modellen zu untersuchen. Diese laufende Forschung trägt weiterhin zur Entwicklung robusterer und leistungsfähigerer KI-Systeme bei.