TREC-6 ist ein weit verbreiteter Benchmark zur Frageklassifikation in der Verarbeitung natürlicher Sprache. Er definiert sechs grobe semantische Kategorien, in die eine Frage eingeordnet wird: ABKÜRZUNG, ENTITÄT, BESCHREIBUNG, MENSCH, ORT und NUMERISCH. Der Datensatz wurde 1999 als Teil der Frage-Antwort-Spur der sechsten Text REtrieval Conference (TREC-6) eingeführt und ist seitdem ein Standard-Testfeld für die Bewertung von Klassifikatoren, die Fragen diesen Kategorien zuordnen.
Die Aufgabe wird typischerweise als überwachtes Lernproblem formuliert: Bei einer gegebenen Fragestring muss ein System eines der sechs Labels ausgeben. Der ursprüngliche TREC-6-Datensatz enthält 5.452 Trainingsfragen und 500 Testfragen, wobei die groben Labels aus einer feineren Hierarchie von 50 Klassen abgeleitet sind. Der Benchmark wird oft zusammen mit den TREC-10- und TREC-11-Varianten verwendet, aber TREC-6 bezieht sich speziell auf die grobe Einstellung mit sechs Klassen. Forscher haben ihn genutzt, um merkmalsbasierte Methoden, wie Support-Vektor-Maschinen mit lexikalischen und syntaktischen Merkmalen, mit modernen neuronale Netzwerk-Ansätzen zu vergleichen.
Datensatz und Aufgabendefinition
Der TREC-6-Datensatz stammt aus der Fragensammlung der TREC-QA-Spur, die Fragen aus Quellen wie den TREC-8- und TREC-9-Korpora umfasst. Jede Frage ist mit einem von sechs groben Typen annotiert. Zum Beispiel fällt „Was ist die Hauptstadt von Frankreich?“ unter ORT, während „Wer schrieb Hamlet?“ MENSCH ist. Die NUMERISCH-Kategorie umfasst Fragen zu Mengen, Daten und Prozentsätzen. Die ENTITÄT-Kategorie beinhaltet Fragen zu spezifischen Objekten, wie „Was ist das höchste Gebäude?“ Die ABKÜRZUNG-Kategorie behandelt Fragen wie „Wofür steht NATO?“ und BESCHREIBUNG deckt Fragen zu Definitionen und Erklärungen ab.
Die Standardbewertungsmetrik ist die Klassifikationsgenauigkeit auf dem Testsatz. Da die Klassen unbalanciert sind (ENTITÄT und NUMERISCH sind häufiger), ist die Genauigkeit dennoch die primär berichtete Zahl, aber einige Studien berichten auch F1-Werte pro Klasse. Der Benchmark ist nach modernen Maßstäben klein, bleibt aber nützlich für schnelles Prototyping und für die Untersuchung des Einflusses der Frageformulierung auf die Klassifikation.
Historischer Kontext
TREC-6 war Teil der TREC-Konferenzreihe, die vom U.S. National Institute of Standards and Technology (NIST) durchgeführt wird. Die Frage-Antwort-Spur begann 1999 mit TREC-8, aber das Label TREC-6 bezieht sich speziell auf das sechste TREC-Ereignis, das eine Pilot-QA-Aufgabe umfasste. Das grobe Klassifikationsschema wurde in späteren Jahren formalisiert, und der TREC-6-Datensatz wurde zu einer häufigen Referenz in akademischen Arbeiten. Frühe Systeme stützten sich auf handgefertigte Regeln und statistische Klassifikatoren, die oft Merkmale wie Wort-n-Gramme, Wortart-Tags und Erkennung benannter Entitäten verwendeten.
Ansätze und Leistung
Klassische Ansätze für TREC-6 umfassen die Verwendung einer Support-Vektor-Maschine mit Bag-of-Words-Merkmalen, die etwa 80-85 % Genauigkeit erreichte. Anspruchsvollere Methoden integrierten syntaktische Parse-Bäume und semantische Rollenmarkierung. Mit dem Aufstieg des Deep Learning wendeten Forscher faltende neuronale Netze und rekurrente Netze an, die oft 90-95 % Genauigkeit erreichten. Die Einführung von Transformer-basierten Modellen, wie BERT, trieb die Genauigkeit auf über 97 % auf dem Testsatz, obwohl die geringe Größe des Datensatzes bedeutet, dass die Varianz zwischen Läufen signifikant sein kann.
Eine bemerkenswerte Technik ist die Verwendung von Daten-Augmentierung, um den Trainingssatz zu erweitern, da 5.452 Fragen relativ begrenzt sind. Einige Studien haben auch Curriculum-Lernen verwendet, um Trainingsbeispiele nach Schwierigkeit zu ordnen. Der Benchmark wird oft als Plausibilitätsprüfung für neue Architekturen verwendet, da er leichtgewichtig und schnell zu trainieren ist.
Beziehung zu modernen Systemen
Obwohl TREC-6 eine einfache Klassifikationsaufgabe ist, bleibt er als Komponente größerer Frage-Antwort-Pipelines relevant. Moderne große Sprachmodelle können TREC-6 mit nahezu perfekter Genauigkeit lösen, aber der Benchmark wird weiterhin verwendet, um die Interpretierbarkeit von Klassifikatoren zu bewerten und die Robustheit gegenüber Paraphrasierung zu testen. Die groben Kategorien werden auch in Dialogsystemen und Informationsabruf verwendet, um Abfragen an geeignete Handler weiterzuleiten.
Der Benchmark wurde kritisiert, weil er zu einfach sei und nicht die Komplexität realer Fragen widerspiegele, aber er wird in Arbeiten weiterhin als Baseline zitiert. Der TREC-6-Datensatz ist öffentlich verfügbar und kann von der NIST-Website oder über gängige Bibliotheken für maschinelles Lernen heruntergeladen werden.