ReCoRD (Reading Comprehension with Commonsense Reasoning) ist ein Benchmark-Datensatz zur Bewertung der Argumentationsfähigkeiten von Systemen der künstlichen Intelligenz, insbesondere im Bereich des natürlichen Sprachverständnisses. Er wurde 2018 von Forschern der University of Maryland und der University of Washington eingeführt. Der Datensatz soll die Fähigkeit eines Modells messen, beim Lesen gesunden Menschenverstand anzuwenden, und geht über einfaches Faktenabrufen oder Mustererkennung hinaus.
Die Kernaufgabe bei ReCoRD besteht aus einem Textabschnitt, der typischerweise aus Nachrichtenartikeln stammt, in dem bestimmte Entitäten maskiert wurden. Das Modell muss die maskierte Entität aus einer Liste von Kandidatenentitäten vorhersagen, die an anderer Stelle im Text vorkommen. Entscheidend ist, dass die richtige Antwort oft das Verständnis des Kontexts, die Auflösung von Koreferenzen und die Anwendung von Weltwissen erfordert, das nicht explizit angegeben ist. Wenn ein Textabschnitt beispielsweise eine Person und eine Stadt erwähnt und die maskierte Entität ein Ort ist, muss das Modell ableiten, welche Stadt basierend auf der Erzählung relevant ist.
ReCoRD enthält über 120.000 Beispiele, aufgeteilt in Trainings-, Validierungs- und Testsets. Die Textabschnitte stammen aus Nachrichtenartikeln, und die Abfragen werden durch Maskieren benannter Entitäten erzeugt. Der Datensatz betont, dass die richtige Antwort immer eine der Kandidatenentitäten ist, die alle im Text erwähnt werden, was ihn zu einer Cloze-Aufgabe mit einem eingeschränkten Antwortraum macht. Dieses Design zwingt Modelle dazu, über die Beziehungen zwischen Entitäten und den beschriebenen Ereignissen nachzudenken, anstatt sich auf externe Wissensdatenbanken zu verlassen.
Aufbau und Design
Der ReCoRD-Datensatz wurde in einem zweistufigen Prozess erstellt. Zunächst wurden Nachrichtenartikel aus verschiedenen Quellen gesammelt und benannte Entitäten mit einem Standard-Entitätserkennungsprogramm identifiziert. Anschließend wurde für jeden Artikel eine Reihe von Abfragen erstellt, indem eine Entität zufällig maskiert und eine Liste von Kandidatenentitäten bereitgestellt wurde, die im selben Artikel vorkommen. Die Kandidaten umfassen die richtige Antwort und mehrere Distraktoren, die andere Entitäten aus demselben Artikel sind. Dies stellt sicher, dass das Modell nicht einfach die häufigste Entität wählen oder sich auf oberflächliche Statistiken verlassen kann.
Ein bemerkenswertes Merkmal von ReCoRD ist die Betonung des gesunden Menschenverstands. Die Abfragen sind so gestaltet, dass die richtige Antwort nicht trivial durch den lokalen Kontext bestimmt wird. Stattdessen muss das Modell Informationen über mehrere Sätze hinweg integrieren und implizite Beziehungen ableiten. Wenn ein Textabschnitt beispielsweise beschreibt, dass eine Person eine Auszeichnung in einem bestimmten Bereich gewinnt, muss das Modell wissen, dass die Auszeichnung typischerweise mit diesem Bereich verbunden ist - ein Stück Alltagswissen.
Der Datensatz wurde in 101.249 Trainingsbeispiele, 6.353 Validierungsbeispiele und 10.000 Testbeispiele aufgeteilt. Das Testset wird zurückgehalten, und Modelle werden darüber über ein Einreichungssystem bewertet. Die primäre Bewertungsmetrik ist die Genauigkeit der exakten Übereinstimmung, bei der die vom Modell vorhergesagte Entität exakt mit der Grundwahrheit übereinstimmen muss.
Bewertung und Leistung
ReCoRD ist zu einem Standard-Benchmark im Bereich der Verarbeitung natürlicher Sprache geworden. Frühe Modelle, einschließlich solcher, die auf rekurrenten neuronalen Netzen und frühen Transformer-Architekturen basieren, erreichten Genauigkeiten im Bereich von 60-70% auf dem Validierungsset. Die Einführung großer vortrainierter Sprachmodelle wie BERT und seiner Nachfolger verbesserte die Leistung erheblich, wobei einige Modelle bis 2020 eine Genauigkeit von über 90% erreichten.
Selbst modernste Modelle haben jedoch weiterhin Schwierigkeiten mit bestimmten Arten von Abfragen, die tiefes Alltagswissen erfordern, wie solche mit zeitlichem Denken, räumlichem Denken oder nuancierten sozialen Konventionen. Dies hat ReCoRD zu einem wertvollen Werkzeug zur Diagnose der Grenzen aktueller KI-Systeme gemacht. Der Benchmark wurde auch verwendet, um die Auswirkungen von Modellgröße, Trainingsdaten und Architekturentscheidungen auf die Argumentationsfähigkeit zu untersuchen.
Beziehung zu anderen Benchmarks
ReCoRD ist Teil einer breiteren Familie von Leseverständnis-Benchmarks, zu der SQuAD, RACE und DROP gehören. Im Gegensatz zu SQuAD, das sich auf das Extrahieren von Antwortspannen aus dem Text konzentriert, erfordert ReCoRD die Auswahl aus einer Reihe von Entitäten, was es zu einer Multiple-Choice-Cloze-Aufgabe macht. Im Vergleich zu RACE, das auf englischen Prüfungen basiert, bietet ReCoRDs Nachrichtenbereich einen vielfältigeren und weniger formalisierten Kontext. DROP erfordert hingegen numerisches Denken, während ReCoRD die Inferenz mit gesundem Menschenverstand betont.
ReCoRD wird oft in Verbindung mit anderen Benchmarks verwendet, um eine umfassende Bewertung der Fähigkeiten eines Modells zu ermöglichen. Es ist besonders relevant für das Testen der Integration von künstlicher Intelligenz und maschinellem Lernen Techniken zum Verständnis natürlicher Sprache. Der Benchmark wurde von Forschungsgruppen an großen Institutionen übernommen, darunter Google DeepMind, OpenAI und Anthropic, als Teil ihrer Modellevaluierungssuiten.
Auswirkungen und zukünftige Richtungen
Die Einführung von ReCoRD hat weitere Forschung zum Denken mit gesundem Menschenverstand in der KI angeregt. Es hat die Kluft zwischen Mustererkennung und echtem Verständnis hervorgehoben und Bemühungen angestoßen, Modelle zu entwickeln, die über alltägliche Situationen nachdenken können. Nachfolgende Benchmarks wie CommonsenseQA und Social IQA haben auf den aus ReCoRD gewonnenen Erkenntnissen aufgebaut und sich auf expliziteres Alltagswissen konzentriert.
Eine Einschränkung von ReCoRD besteht darin, dass die Kandidatenentitäten alle aus demselben Textabschnitt stammen, was die Aufgabe manchmal erleichtern kann, wenn das Modell lernt, statistische Hinweise auszunutzen. Forscher haben Varianten vorgeschlagen, die externes Wissen einführen oder mehrstufiges Denken erfordern. Trotz dieser Herausforderungen bleibt ReCoRD ein weit verbreiteter und häufig zitierter Benchmark, der weiterhin die Entwicklung robusterer und interpretierbarerer KI-Systeme informiert.
Stand der frühen 2020er Jahre wird ReCoRD immer noch als relevanter Benchmark angesehen, obwohl neuere Modelle oft nahezu perfekte Ergebnisse erzielen. Sein Vermächtnis liegt darin, die Bedeutung des Denkens mit gesundem Menschenverstand im natürlichen Sprachverständnis zu demonstrieren und eine konkrete Aufgabe zur Messung des Fortschritts in diesem Bereich bereitzustellen.