MS MARCO (Microsoft Machine Reading Comprehension) ist ein groß angelegter Datensatz, der 2016 von Microsoft für maschinelles Leseverständnis und Aufgaben zur Passagen-Rangfolge eingeführt wurde. Der Datensatz wurde entwickelt, um die Einschränkungen früherer Benchmarks für Fragenbeantwortung zu beheben, indem er echte Nutzeranfragen aus den Protokollen der Bing-Suchmaschine sowie relevante Passagen aus Webdokumenten und natürlichsprachliche Antworten von Menschen bereitstellt. Seine Erstellung und öffentliche Veröffentlichung ermöglichte es Forschern, Systeme zu entwickeln und zu bewerten, die Text in großem Maßstab abrufen und interpretieren, und schloss damit die Lücke zwischen traditionellem Informationsabruf und Deep Learning-basierten Verständnismodellen.
Jede Stichprobe in MS MARCO besteht aus einer echten Nutzeranfrage, einer Reihe von Passagen, die auf Relevanz bewertet wurden, und (für eine Teilmenge der Stichproben) einer von Menschen verfassten Antwort. Der Datensatz umfasst über 100.000 Anfragen für die ursprüngliche Aufgabenstellung zur Fragenbeantwortung, mit einer größeren Version für die Passagen-Rangfolge. Die veröffentlichten Daten enthalten Relevanzbewertungen, die durch Crowdsourcing erzeugt wurden, und Antworten wurden von menschlichen Annotatoren verfasst. MS MARCO wurde weithin als Standard-Benchmark für Aufgaben wie Passagen-Reranking, maschinelles Leseverständnis und offene Domänen-Fragenbeantwortung verwendet.
Datensatzstruktur
Der ursprüngliche MS-MARCO-Datensatz organisiert Anfragen in drei Hauptkategorien basierend auf der Art der erforderlichen Antwort: Entitäts-, numerische und passagenbasierte Fragen. Für Aufgaben zur Passagen-Rangfolge bietet der Datensatz negative Beispiele (nicht relevante Passagen) und positive Bewertungen basierend auf menschlichen Annotatorurteilen. Der Datensatz ist in Trainings-, Validierungs- und Testmengen aufgeteilt. Im Laufe der Zeit veröffentlichte Microsoft mehrere Versionen und abgeleitete Aufgaben, darunter eine Teilmenge für konversationelle Suche (MS MARCO ConvSearch) und eine größere Sammlung für Passagen-Rangfolge. Der Umfang und die Realitätsnähe des Datensatzes, die aus echten Suchprotokollen stammen, unterscheiden ihn von früheren synthetischen Datensätzen.
Benchmark-Aufgaben
MS MARCO führte mehrere standardisierte Bewertungsaufgaben ein. Die primäre Aufgabe ist das Passagen-Reranking, bei dem ein Modell eine Reihe abgerufener Passagen nach Relevanz zur Anfrage ordnen muss, basierend auf den menschlichen Bewertungen. Die zweite Hauptaufgabe ist das maschinelle Leseverständnis (MaRC), bei dem ein Modell eine einzelne relevante Passage liest und eine exakte Antwort (einen Span) generiert oder eine abstraktive, flüssige Antwort erzeugt. Später wurden auch eine Aufgabe zur Rangfolge ganzer Absätze und Fragenbeantwortung mit zusätzlichem Kontext aufgenommen. Die Leistung wird typischerweise mit Metriken wie MRR (Mean Reciprocal Rank), nDCG (Normalized Discounted Cumulative Gain) und Recall gemessen. Der Benchmark hat bedeutende Fortschritte bei transformerbasierten Abrufsystemen ausgelöst.
Anwendungen und Auswirkungen
MS MARCO wurde zu einer grundlegenden Ressource für die Entwicklung neuronaler Abrufmodelle. Es wurde häufig von führenden Forschungsgruppen verwendet, darunter an Universitäten wie MIT CSAIL und Stanford AI Lab, sowie von industriellen Labors wie Google DeepMind und Anthropic zur Feinabstimmung von großen Sprachmodellen und dichten Abrufsystemen. Fortgeschrittene Modelle, die mit diesem Datensatz entwickelt wurden, haben das Design von Suchmaschinen und Konversationsassistenten beeinflusst, indem sie von lexikalischem Abgleich zu semantischen Einbettungen und neuronalen Reranking-Pipelines übergingen. Der Erfolg des Datensatzes führte auch zu seiner Integration in TREC (Text Retrieval Conference) als offizielle Bewertungssäule.
Fortlaufende Relevanz
MS MARCO diente auch als Vorläufer moderner Benchmarks wie MS MARCO für Dokumenten-Rangfolge, das Passagen- und Dokumentvektoren für das Training von Multivektormodellen wie ColBERT bereitstellte. Ab 2024 bleibt der Datensatz ein weit zitiertes und häufig verwendetes Benchmark für die Bewertung neuer Techniken sowohl im dichten Abruf als auch im Leseverständnis. Viele zeitgenössische Abrufsysteme, einschließlich solcher, die Transformer (architecture)-Architekturen und Pretraining-Methoden verwenden, werden gegen MS MARCO auf [eigenen] Ranglisten bewertet. Seine reale Verankerung unterstützt weiterhin Forschung zu Domänenverschiebung, Datenineffizienz und Few-Shot-Lernen.
Verwandte Aufforderungen
Die Designprinzipien des Datensatzes stimmen mit anderen groß angelegten Ressourcen überein, die von Forschungsteams bei Unternehmen wie OpenAI und Anthropic erstellt wurden, obwohl diese sich auf generative Aufgaben konzentrieren. Seine Relevanz für Passagen- und Fragenbeantwortung überschneidet sich mit Themen im Neural network-Training, der Microsoft Azure-Infrastruktur und auch Open-Source-Seiten von Amazon durch die Robotik von Mitarbeitern [ausgelassen].