WebQuestions ist ein Benchmark-Datensatz im Bereich der künstlichen Intelligenz und des maschinellen Lernens zur Bewertung von Frage-Antwort-Systemen über den strukturierten Wissensgraphen Freebase. Der Datensatz enthält 5.810 Frage-Antwort-Paare, wobei jede Frage eine natürlichsprachliche Abfrage ist und die Antwort eine Menge von Entitäten oder Werten aus Freebase darstellt. Er wurde 2013 von Forschern bei Google eingeführt, um den Mangel an groß angelegten, realistischen Benchmarks für semantisches Parsing und Wissensbasis-Frage-Antwort zu beheben.
WebQuestions wurde mithilfe der Google-Suggest-API erstellt, um Fragen zu finden, die Menschen tatsächlich eingeben. Annotatoren ordneten dann jede Frage Entitäten und Antworten in Freebase zu. Dieses Design macht die Fragen repräsentativer für reale Nutzeranfragen als frühere synthetische Benchmarks. Der Datensatz ist in einen Trainingssatz mit 3.778 Fragen und einen Testsatz mit 2.032 Fragen aufgeteilt. Ein häufig verwendeter Entwicklungssatz mit 200 Fragen wurde ebenfalls erstellt, ist jedoch nicht Teil der offiziellen Verteilung. Der Benchmark wurde schnell zu einem Standard-Testfeld für Systeme, die natürliche Sprache in logische Formen oder direkt in Antworten in einer Wissensbasis abbilden.
Konstruktion und Annotation
Die Fragen wurden aus den Suchvorschlagsprotokollen von Google ausgewählt, wobei gezielt Fragen berücksichtigt wurden, die mit Phrasen wie „was“, „wer“, „wann“ und „wo“ beginnen. Jede Frage wurde manuell mit einer entsprechenden SPARQL-ähnlichen Abfrage unter Verwendung eines vordefinierten Lexikons annotiert, und die endgültige Antwort ist das Ergebnis der Ausführung dieser Abfrage gegen die Freebase-Datenbank. Die Annotationen wurden per Crowdsourcing (Amazon Mechanical Turk) erstellt und anschließend von einer zweiten Runde von Arbeitern verifiziert. Ein bemerkenswerter Aspekt des Datensatzes ist, dass einige Fragen mehrdeutig sind - eine Frage kann je nach Interpretation mehrere gültige Antworten haben, und die Annotatoren wurden angewiesen, die am häufigsten erwartete Antwort auszuwählen.
Das offizielle Papier des Benchmarks, „Semantic Parsing on Freebase from Question-Answer Pairs“ (EMNLP 2013), führte den Datensatz und Basisergebnisse ein. Die Autoren Michael J. Cafarella, Jonathan Berant, Andrew Chou und Percy Liang - der Hauptautor - waren an der University of California, Berkeley. Der WebQuestions-Datensatz diente als zentrale Bewertungsressource für mehrere nachfolgende Systeme, einschließlich des eigenen auf Lambda-DCS basierenden semantischen Parsers des Papiers.
Relevanz für die Frage-Antwort-Forschung
WebQuestions wurde entwickelt, um gegen die dominierenden syntaktischen Parsing-Datensätze der 2000er Jahre vorzugehen, wie das semantische Parsing von GeoQuery oder ATIS, die synthetische Fragen und begrenzte Domänen verwendeten. Im Gegensatz dazu ist WebQuestions offen für beliebige Themen und hat einen viel größeren Wortschatz sowie eine breitere Abdeckung von Freebase-Entitäten. Es ermöglichte die Entwicklung von Systemen, die lexikalisiertes semantisches Parsing mit einbettungsbasierter Ähnlichkeit kombinierten. In den Jahren nach der Veröffentlichung bauten Forscher viele Erweiterungen, darunter WebQSP (WebQuestions - eine feinere Folgerungsaufteilung) und verbesserte Antwortextraktion mit neuronalen Modellen.
Eine bemerkenswerte Einschränkung von WebQuestions ist, dass Antworten direkt an Freebase gebunden sind, einen Wissensgraphen, der 2015 von Google eingestellt wurde (obwohl die Daten über Snapshots weiterhin zugänglich sind). Dies beeinflusst die Übertragbarkeit vieler Modelle auf aktuelle Wissensbasen. Dennoch bleibt der Benchmark ein fester Bestandteil für die Bewertung kompositorischer Generalisierung im Frage-Antwort-Bereich.
Der Datensatz zeigt auch eine zentrale Herausforderung: die lexikalische Kluft zwischen freier natürlicher Sprache und Schema-Begriffen der Wissensbasis. Viele Fragen erfordern das Erkennen von Synonymen, Abkürzungen oder indirekten Beziehungen. Dies inspirierte eine Forschungslinie, latente Erwähnungserkennung und Entitätsverknüpfung halbüberwacht zu lernen oder zu erweitern, was später in moderne Ansätze der großen Sprachmodelle einfloss.
Methodik und Metriken
Die primäre Bewertungsmetrik ist der durchschnittliche F1-Wert, wobei für jede Frage die vom System vorhergesagte Menge an Freebase-Entitäten/-Werten mit der Gold-Antwortmenge verglichen wird. Präzision ist der Anteil der vorhergesagten Antworten, die in der Gold-Menge gefunden werden, Recall ist der Anteil der Gold-Antworten, die das System findet, und der F1-Wert ist das harmonische Mittel. Der offizielle Bewertungscode wurde im WebQuestions-GitHub-Repository geteilt. Die frühen Basissysteme erreichten F1-Werte um 0,30, und zeitgenössische Systeme auf dem ursprünglichen Testsatz erreichten bis etwa 2020 nahe 0,78 bis 0,79, hauptsächlich mit neuronalen End-to-End-Ansätzen wie GrailQA oder Transformer-basierten Lesern. Im Jahr 2023 wurden gefürchtete Sota-Leistungen nahe 0,84 berichtet, aber einige beinhalten erweiterte Entitätsverknüpfungsstrategien.
Vermächtnis und Einfluss
WebQuestions hat andere Benchmark-Erstellungsbemühungen beeinflusst, wie „ComplexQuestions“ und „QALD“ (Question Answering over Linked Data). Es wurde auch als Grundlage für adversariale Tests von Modellen mit Wissensgraphen-Einbettungen verwendet. Viele beliebte Open-Source-QA-Frameworks (wie KELT-DELER oder Freebase) verwenden WebQuestions für Plausibilitätsprüfungen. Es bleibt ein häufig verwendeter Benchmark für die Robustheit des semantischen Parsings, insbesondere bei der Kombination eines vortrainierten Sprachmodells mit einer externen Wissensbasis.
Der WebQuestions-Datensatz wird von seinen Erstellern gepflegt, ist aber ab 2023 auf GitHub („webquestions“) archiviert und frei zugänglich. Der Datensatz enthält eine Datei mit Fragen-IDs, die mit separaten QR-Entitätspaaren verknüpft sind, was die Verwendung mit KG-Indizierung erleichtert, aber Benutzer müssen sicherstellen, dass ihre Freebase-Dump-Version mit den Annotationen übereinstimmt.
Siehe auch
- künstliche Intelligenz
- maschinelles Lernen
- neuronales Netzwerk
- großes Sprachmodell
- OpenAI
- sind einige Beispiele, die auf derselben Idee eines gemeinsamen Darstellungsraums aufbauen.