Der Penn Treebank (PTB) ist ein Korpus englischer Texte, das mit Wortarten-Tags und syntaktischen Phrasenstrukturbäumen annotiert ist. Es wurde in den frühen 1990er Jahren an der University of Pennsylvania entwickelt und wurde zu einem Standard-Benchmark für das Training und die Evaluierung von Systemen der natürlichen Sprachverarbeitung (NLP). Der Name "Treebank" bezieht sich auf die hierarchischen Parse-Strukturen oder Bäume, die die grammatischen Beziehungen zwischen Wörtern in einem Satz kodieren.
Die ersten Veröffentlichungen konzentrierten sich auf den Wall Street Journal (WSJ)-Abschnitt des ACL-Anthology-Korpus, der etwa 1 Million Wörter Nachrichtentext umfasst. Spätere Versionen wurden um andere Genres erweitert, darunter transkribierte Telefongespräche, Rundfunknachrichten und Webtexte. Das PTB-Annotationsschema verwendet einen Satz von 36 Wortarten-Tags (z. B. NN für singulare Nomen, VBD für Verben in der Vergangenheitsform) und eine Reihe von Phrasenkategorien (z. B. NP, VP, PP) mit Bezeichnungen für grammatische Funktionen wie Subjekt und Objekt.
Konstruktion und Annotation
Das PTB wurde von einem Team unter der Leitung von Mitchell Marcus an der University of Pennsylvania erbaut, mit Beiträgen von Forschern wie Beatrice Santorini und Mary Ann Marcinkiewicz. Der Annotationsprozess umfasste zwei Hauptstufen: Wortarten-Tagging und syntaktische Klammersetzung. Menschliche Annotatoren weisten zunächst jedem Token Tags zu, gefolgt von einem separaten Durchgang zur Erstellung von Phrasengrenzen. Das Richtlinienbuch, allgemein als "Bracketing Guidelines" bekannt, legte detaillierte Regeln für den Umgang mit Zeichensetzung, Koordination und anderen linguistischen Phänomenen fest.
Das Korpus wurde ab 1993 schrittweise veröffentlicht. Die erste öffentliche Distribution, der Penn Treebank-1 (PTB-1), umfasste 4,5 Millionen Wörter geparsten Textes über verschiedene Genres. Eine häufiger zitierte Version, der Penn Treebank-3 (PTB-3), veröffentlicht 1999, verfeinerte die Annotationen und fügte die WSJ-Abschnitte hinzu, die zum De-facto-Standard für viele NLP-Aufgaben wurden. Das genaue Datum der ersten Veröffentlichung war März 1993, laut dem LDC-Katalog.
Auswirkungen auf die NLP-Forschung
Das PTB wurde zu einem Eckpfeiler für die Forschung zu Wortarten-Tagging und syntaktischem Parsing. In den 1990er und 2000er Jahren nutzten wettbewerbsorientierte Evaluierungen wie die CoNLL-Shared-Tasks PTB-abgeleitete Datensätze, was Fortschritte im statistischen Parsing mit Modellen wie probabilistischen kontextfreien Grammatiken (PCFGs) und lexikalisierten Parsern vorantrieb. Zum Beispiel wurden Eugene Charniaks Parser und der Stanford-Parser häufig mit Genauigkeitswerten auf PTB-Testsätzen berichtet.
Über das Parsing hinaus wurden die WSJ-Abschnitte des PTB für viele andere Aufgaben wiederverwendet, einschließlich Named Entity Recognition und semantischer Rollenmarkierung. Das Korpus informierte auch die Entwicklung von NLTK und spaCy, indem es Goldstandard-Annotationen für Training und Evaluierung bereitstellte. Moderne Machine-Learning-Ansätze im Deep Learning, wie rekurrente neuronale Netze und Transformer, berichten weiterhin Perplexitäts- oder Genauigkeitswerte auf PTB-Daten, obwohl seine Nutzung im Zeitalter großer vortrainierter großer Sprachmodelle zurückgegangen ist.
Standard-Benchmark und Varianten
Ein gängiges experimentelles Setup ist der PTB-Wortebenen-Sprachmodellierungs-Benchmark, bei dem die Trainings-, Validierungs- und Test-Splits den WSJ-Abschnitten 0-20, 21-22 bzw. 23-24 entsprechen. Dieser Split, etabliert von Tomáš Mikolov und Kollegen im Jahr 2010, ermöglichte reproduzierbare Vergleiche zwischen Modellen. Der Benchmark beinhaltet die Vorhersage des nächsten Wortes basierend auf dem vorherigen Kontext, wobei die Leistung durch Perplexität gemessen wird. Viele frühe neuronale Netzwerk-Sprachmodelle, wie LSTMs und GRUs, erzielten signifikante Perplexitätsreduktionen auf diesem Benchmark.
Das PTB brachte auch mehrere Annotationsvarianten hervor, einschließlich der ? und der Universal-Dependencies-Konvertierungen, die das ursprüngliche Tagset auf ein cross-linguales Annotationsschema abbilden. Der Google Syntactic N-grams-Datensatz, veröffentlicht von Google im Jahr 2015, leitete N-Gramme mit umgebendem Parse-Kontext aus PTB-artigen Annotationen ab und erweiterte so seine Reichweite weiter.
Einschränkungen und Kritik
Das PTB hat bemerkenswerte Einschränkungen. Seine vorherrschende Nachrichtendomäne und die relativ geringe Größe (etwa 1 Million Wörter WSJ) begrenzen die Generalisierbarkeit auf andere Texttypen. Annotationsinkonsistenzen, insbesondere bei Zeichensetzung und bestimmten Verbkonstruktionen, wurden dokumentiert. Darüber hinaus spiegelt das Korpus Englisch aus einem spezifischen Zeitraum (späte 1980er bis frühe 1990er Jahre) wider, das möglicherweise nicht den zeitgenössischen Sprachgebrauch erfasst.
Kritiker haben darauf hingewiesen, dass die Leistung auf PTB nicht immer mit der Robustheit im realen Parsing korreliert, da die Einfachheit des Benchmarks Probleme wie Out-of-Distribution-Generalisierung maskieren kann. Infolgedessen sind Forscher zu größeren und vielfältigeren Korpora übergegangen, einschließlich Wikipedia-basierter Datensätze und mehrsprachiger Ressourcen.
Vermächtnis und fortgesetzte Nutzung
Trotz seines Alters bleibt das PTB einflussreich als pädagogische Ressource und als Plausibilitätsprüfung für neue Modelle. Seine Annotationsrichtlinien informierten spätere Treebanks für andere Sprachen, wie den Chinese Treebank und den Arabic Treebank, die beide ebenfalls an der University of Pennsylvania produziert wurden. Das PTB wird vom Linguistic Data Consortium (LDC) gehostet und erfordert eine Lizenz für die Weiterverteilung.
Im Kontext moderner künstlicher Intelligenz hat die Rolle des PTB abgenommen, aber nicht verschwunden. Zum Beispiel verwenden Deep-Learning-Lehrbücher und -Kurse PTB weiterhin als einfachen Datensatz für das Prototyping von Sequenzmodellen. Seine strukturierte Natur macht es auch nützlich für die Untersuchung linguistischer Struktur in neuronalen Modellen. Das Korpus bleibt ein Referenzpunkt für das Verständnis des historischen Verlaufs der NLP, von regelbasierten Systemen bis zu datengetriebenen statistischen Methoden und darüber hinaus.
Annotationsrichtlinien und Dokumentation
Das PTB ist in mehreren technischen Berichten und Benutzerhandbüchern dokumentiert, insbesondere in "The Penn Treebank: Annotating Predicate Argument Structure" (1994) von Marcus et al., das das Annotationsschema detailliert beschrieb. Die offizielle Distribution vom LDC enthält Anweisungen zur Konvertierung zwischen Dateiformaten. Das Tagset und die Richtlinien wurden weitgehend übernommen und werden weiterhin in Computerlinguistik-Kursen gelehrt.