ペン・ツリーバンク（PTB）は、英語テキストに品詞タグと統語的な句構造木を付与したコーパスである。1990年代初頭にペンシルベニア大学で開発され、自然言語処理（NLP）システムの訓練と評価における標準的なベンチマークとなった。「ツリーバンク」という名称は、文中の単語間の文法的関係を符号化する階層的な解析構造、すなわち木構造を指している。
初期のリリースは、ACLアンソロジーコーパスのウォール・ストリート・ジャーナル（WSJ）セクションに焦点を当てており、約100万語のニューステキストで構成されていた。後のバージョンでは、書き起こされた電話会話、放送ニュース、ウェブテキストなどの他のジャンルにも拡張された。PTBのアノテーション方式は、36種類の品詞タグ（例：NNは単数名詞、VBDは過去時制の動詞）と、主語や目的語などの文法的機能のラベルを伴う句カテゴリ（例：NP、VP、PP）のセットを使用する。
構築とアノテーション
PTBは、ペンシルベニア大学のミッチェル・マーカスが率いるチームによって構築され、ベアトリス・サントリーニやメアリー・アン・マルキンキェヴィッチなどの研究者が貢献した。アノテーションプロセスは、主に2つの段階で構成されていた：品詞タグ付けと統語的括弧付けである。人間のアノテーターは最初に各トークンにタグを割り当て、その後、別のパスで句の境界を作成した。一般に「括弧付けガイドライン」として知られるガイドラインブックは、句読点、等位接続、その他の言語現象の扱いに関する詳細な規則を指定していた。
コーパスは1993年から段階的にリリースされた。最初の公開配布版であるペン・ツリーバンク1（PTB-1）は、さまざまなジャンルにわたる450万語の解析済みテキストを含んでいた。より広く引用されるバージョンであるペン・ツリーバンク3（PTB-3）は1999年にリリースされ、アノテーションを洗練させ、多くのNLPタスクで事実上の標準となったWSJセクションを追加した。最初のリリースの正確な日付は、LDCカタログによると1993年3月である。
NLP研究への影響
PTBは、品詞タグ付けと統語解析の研究の基盤となった。1990年代から2000年代にかけて、CoNLL共有タスクなどの競争的評価ではPTB由来のデータセットが使用され、確率的文脈自由文法（PCFG）や語彙化されたパーサーなどのモデルを用いた統計的解析の進歩を促進した。例えば、ユージーン・チャーニアクのパーサーやスタンフォード・パーサーは、PTBテストセットでの精度が頻繁に報告された。
解析以外にも、PTBのWSJセクションは、固有表現認識や意味役割ラベリングなど、他の多くのタスクに再利用された。このコーパスはまた、NLTKやspaCyの開発に、訓練と評価のためのゴールドスタンダードなアノテーションを提供することで貢献した。現代の機械学習アプローチ、特に深層学習におけるリカレントニューラルネットワークやトランスフォーマーは、依然としてPTBデータ上でパープレキシティや精度を報告しているが、大規模な事前学習済み大規模言語モデルの時代にはその使用は減少している。
標準ベンチマークと変種
一般的な実験設定は、PTBの単語レベルの言語モデリングベンチマークであり、訓練、検証、テストの分割はそれぞれWSJセクション0-20、21-22、23-24に対応している。この分割は、2010年にトマーシュ・ミコロフらによって確立され、モデル間の再現可能な比較を可能にした。このベンチマークは、前の文脈から次の単語を予測することを含み、性能はパープレキシティで測定される。LSTMやGRUなどの多くの初期のニューラルネットワーク言語モデルは、このベンチマークで大幅なパープレキシティの削減を達成した。
PTBはまた、いくつかのアノテーション変種を生み出し、?やUniversal Dependencies変換（元のタグセットを言語横断的なアノテーション方式にマッピングする）を含む。2015年にGoogleがリリースしたGoogle構文n-gramデータセットは、PTBスタイルのアノテーションから周囲の解析コンテキストを持つn-gramを導出し、その範囲をさらに拡張した。
限界と批判
PTBには顕著な限界がある。その支配的なニュースドメインと比較的小さいサイズ（WSJ約100万語）は、他のテキストタイプへの一般化を制限する。句読点や特定の動詞構文に関するアノテーションの不整合が文書化されている。さらに、このコーパスは特定の期間（1980年代後半から1990年代前半）の英語を反映しており、現代の用法を捉えていない可能性がある。
批判者たちは、PTBでの性能が現実世界の解析の堅牢性と常に相関するわけではないと指摘している。ベンチマークの単純さが、分布外一般化などの問題を隠す可能性があるためである。その結果、研究者たちは、ウィキペディアベースのデータセットや多言語リソースを含む、より大規模で多様なコーパスに移行している。
遺産と継続的使用
その古さにもかかわらず、PTBは教育的リソースとして、また新しいモデルの健全性チェックとして影響力を持ち続けている。そのアノテーションガイドラインは、中国語ツリーバンクやアラビア語ツリーバンクなど、他の言語の後のツリーバンクに影響を与えた。これらもペンシルベニア大学で制作された。PTBは言語データコンソーシアム（LDC）によってホストされており、再配布にはライセンスが必要である。
現代の人工知能の文脈では、PTBの役割は減少したが消えてはいない。例えば、深層学習の教科書やコースでは、シーケンスモデルのプロトタイピング用の単純なデータセットとしてPTBを今でも使用している。その構造化された性質は、ニューラルモデルにおける言語構造の研究にも有用である。このコーパスは、ルールベースのシステムからデータ駆動型の統計的手法、そしてそれ以降へのNLPの歴史的軌跡を理解するための参照点であり続けている。
アノテーションガイドラインとドキュメント
PTBは、いくつかの技術レポートとユーザーマニュアルで文書化されており、最も注目すべきは、アノテーション方式を詳述したマーカスらによる「The Penn Treebank: Annotating Predicate Argument Structure」（1994年）である。LDCからの公式配布には、ファイル形式間の変換手順が含まれている。タグセットとガイドラインは広く採用されており、計算言語学のコースで今も教えられている。