TREC-6は、自然言語処理における質問分類のための広く使用されるベンチマークである。これは、質問が分類される6つの大まかな意味カテゴリを定義する。すなわち、ABBREVIATION、ENTITY、DESCRIPTION、HUMAN、LOCATION、NUMERICである。このデータセットは、1999年に開催された第6回Text REtrieval Conference（TREC-6）の質問応答トラックの一部として導入され、それ以来、質問をこれらのカテゴリにマッピングする分類器を評価するための標準的なテストベッドとなっている。
このタスクは通常、教師あり学習問題として定式化される。すなわち、質問文字列が与えられたとき、システムは6つのラベルのうちの1つを出力しなければならない。元のTREC-6データセットには、5,452件のトレーニング用質問と500件のテスト用質問が含まれ、大まかなラベルは50クラスのより細かい階層から導出されている。このベンチマークは、TREC-10やTREC-11の変種とともに使用されることが多いが、TREC-6は特に6クラスの大まかな設定を指す。研究者は、これを用いて、語彙的・構文的特徴を持つサポートベクターマシンなどの特徴ベースの手法と、現代のニューラルネットワークアプローチを比較してきた。
データセットとタスク定義
TREC-6データセットは、TREC QAトラックの質問コレクションから派生したもので、TREC-8やTREC-9のコーパスなどのソースからの質問が含まれる。各質問には、6つの大まかなタイプのいずれかが注釈されている。例えば、「フランスの首都は何か？」はLOCATIONに分類され、「ハムレットを書いたのは誰か？」はHUMANである。NUMERICカテゴリは、数量、日付、パーセンテージに関する質問をカバーする。ENTITYカテゴリは、「最も高い建物は何か？」のような特定のオブジェクトに関する質問を含む。ABBREVIATIONカテゴリは、「NATOは何の略語か？」のような質問を扱い、DESCRIPTIONは定義や説明に関する質問をカバーする。
標準的な評価指標は、テストセットでの分類精度である。クラスが不均衡であるため（ENTITYとNUMERICがより頻繁）、精度が依然として主要な報告数値であるが、一部の研究ではクラスごとのF1スコアも報告される。このベンチマークは現代の基準では小規模であるが、迅速なプロトタイピングや、質問の言い回しが分類に与える影響の研究には依然として有用である。
歴史的背景
TREC-6は、米国国立標準技術研究所（NIST）が主催するTREC会議シリーズの一部であった。質問応答トラックは1999年にTREC-8で始まったが、TREC-6というラベルは、パイロットQAタスクを含む第6回TRECイベントを具体的に指す。大まかな分類スキームは後の年に形式化され、TREC-6データセットは学術論文で一般的な参照となった。初期のシステムは、手作りのルールや統計的分類器に依存し、単語n-gram、品詞タグ、固有表現認識などの特徴を使用することが多かった。
アプローチと性能
TREC-6への古典的なアプローチには、bag-of-words特徴を持つサポートベクターマシンの使用があり、約80〜85%の精度を達成した。より洗練された方法は、構文解析木や意味役割ラベリングを組み込んだ。深層学習の台頭により、研究者は畳み込みニューラルネットワークや再帰型ネットワークを適用し、しばしば90〜95%の精度に達した。BERTなどのトランスフォーマーベースのモデルの導入により、テストセットでの精度は97%以上に押し上げられたが、データセットの小規模さは、実行間の分散が有意であることを意味する。
注目すべき手法として、トレーニングセットが5,452件と比較的限られているため、データ拡張を使用してトレーニングセットを拡張する方法がある。一部の研究では、カリキュラム学習を使用して、難易度に基づいてトレーニング例を順序付けることもある。このベンチマークは、軽量でトレーニングが高速であるため、新しいアーキテクチャの健全性チェックとしてよく使用される。
現代のシステムとの関係
TREC-6は単純な分類タスクであるが、より大きな質問応答パイプラインのコンポーネントとして依然として関連性がある。現代の大規模言語モデルはTREC-6をほぼ完全な精度で解くことができるが、このベンチマークは依然として分類器の解釈可能性の評価や、言い換えに対する堅牢性のテストに使用される。大まかなカテゴリは、対話システムや情報検索において、クエリを適切なハンドラにルーティングするためにも使用される。
このベンチマークは、簡単すぎることや、実世界の質問の複雑さを反映していないことで批判されてきたが、ベースラインとして論文で依然として引用されている。TREC-6データセットは公開されており、NISTのウェブサイトや一般的な機械学習ライブラリからダウンロードできる。