Natural Questions Open ist ein Benchmark-Datensatz für die Beantwortung offener Fragen (Open-Domain Question Answering, QA). Er wurde 2019 von Google als Teil des Natural Questions (NQ)-Datensatzes eingeführt, der aus echten anonymisierten Suchanfragen an die Google-Suchmaschine besteht. Die Variante „Open“ entfernt den Kontext einer einzelnen Wikipedia-Seite und erfordert die direkte Beantwortung von Fragen aus einem großen Korpus wie Wikipedia, wodurch sie zu einem Standard-Bewertungsset für retrieval-gestützte QA-Systeme wird.
Der Datensatz umfasst über 300.000 natürliche Fragen, die jeweils mit einer kurzen Antwort (einem Textabschnitt) und einer langen Antwort (einem Wikipedia-Absatz) versehen sind. Die Open-Version, offiziell als Natural Questions - Open bekannt, vereinfacht die ursprüngliche Aufgabe, indem sie die Seitenebenen-Überwachung verwirft und die Fähigkeit eines Systems bewertet, die Antwort aus einer offenen Dokumentensammlung zu finden. Dieses Setup ist zu einem kanonischen Testfeld für den Vergleich von Open-Domain-QA-Modellen geworden, einschließlich solcher, die auf Transformer-Architekturen und großen Sprachmodellen basieren.
Die Entwicklung von Natural Questions Open steht im Einklang mit dem breiteren Fortschritt in der künstlichen Intelligenz, insbesondere im maschinellen Lernen und Deep Learning. Der Benchmark wurde verwendet, um die Leistung von Systemen zu messen, die auf neuronalen Netzen wie BERT und späteren generativen KI-Modellen aufbauen. Forscher kombinieren oft retrieval-gestützte Generierung mit Modellen, die Multi-Head-Attention und positionale Kodierung nutzen, um über abgerufene Texte zu schlussfolgern.
Aufgabe und Bewertung
Im Open-Domain-Setting muss ein System für jede Frage eine Antwort zurückgeben, typischerweise einen kurzen Textabschnitt. Die Bewertung verwendet die Metriken Exact Match (EM) und F1-Score, die die vorhergesagte Antwort mit der annotierten Antwort vergleichen, mit Normalisierung für Interpunktion und Artikel. Der Gesamtdatensatz umfasst Dev- und Test-Splits, die eine robuste Modellentwicklung und einen Vergleich ermöglichen.
Systeme verwenden typischerweise einen zweistufigen Ansatz: Zuerst wählt ein Retriever relevante Passagen aus Wikipedia aus; zweitens extrahiert ein Reader (oft ein Encoder-Decoder- oder Sequence-to-Sequence-Modell) die Antwort. Die Beam-Search-Dekodierung und das Top-k-Sampling sind gängige Strategien zur Generierung von Antworten.
Auswirkungen des Benchmarks
Natural Questions Open wurde zu einem der weit verbreiteten Benchmarks für Open-Domain-QA, neben SQuAD und TriviaQA. Es trug zum Aufstieg retrieval-gestützter Architekturen bei, wie REALM (2020) und RAG (2020), die Transformer-basierte Retrieval- und Generierungsansätze kombinierten. Im Jahr 2021 kombinierte das Andorra-System eine Retriever-Reader-Architektur mit einem feinabgestimmten generativen KI-Modell. Der Datensatz wurde auch von Google DeepMind und anderen KI-Labors genutzt, um die Fähigkeiten zur Fragenbeantwortung voranzutreiben.
Die Aufgabe der Open-Domain-QA ist eng mit dem Konstrukt des ursprünglichen Natural Questions verbunden, das eine reichhaltigere Annotation mit langen Antworten enthält. Die Offenheit macht sie zu einer Herausforderung für Large-Language-Model-Systeme, die möglicherweise eine Antwort ohne explizites Retrieval liefern müssen.
Neuere Entwicklungen
Ab den frühen 2020er-Jahren erzielten Systeme, die auf großen vortrainierten Modellen basieren, starke Ergebnisse auf dem Testset, mit EM-Werten über 50%. Beispielsweise erreichte ein Modell von Google Research aus dem Jahr 2021 einen EM-Wert von 54,6% auf dem Testset, während ein Ansatz, der Retrieval mit generativer KI kombinierte, später mit 56,4% höher lag. Im Jahr 2022 wiesen Hinweise von KI-Labors auf die Anwendung von Verstärkungslernen mit RLAIF hin, um die Textgenerierung auszurichten. Allerdings können genaue Leaderboard-Angaben im Laufe der Zeit variieren.
Anwendungen in der Praxis
Die Erkenntnisse aus Natural Questions Open haben kommerzielle Systeme beeinflusst, zum Beispiel: Die Retrieval-Verschlechterung durch Fragendilution und die Notwendigkeit von dichtem Retrieval werden von Google Cloud und Amazon Web Services für die Suche genutzt. Ein ähnliches Set wird oft zur Bewertung von Sprachassistenten und computergestützten Systemen verwendet. Dennoch bleibt der Datensatz eine fortbestehende Unterlinie der QA-Forschung.
Siehe auch
- Maschinelles Lernen
- Deep Learning
- Large Language Model
- Transformer (Netzwerkarchitektur)