スタンフォード感情ツリーバンク（SST）は、感情分析のための広く使用されるベンチマークデータセットであり、2013年にスタンフォードAIラボの研究者によって導入された。このデータセットは、映画レビューから抽出された11,855の単文で構成され、各文には文レベルとすべての構成句の両方で感情ラベルが付与されており、構成意味論の研究を可能にしている。このデータセットは、非常に否定的から非常に肯定的までの範囲を持つ細かい5クラスのラベル付け方式で注目されており、機械学習および深層学習におけるモデルの標準的な評価ツールとなっている。
SSTは、製品や映画レビューのコーパスで一般的な二値の肯定的/否定的ラベルなど、初期の感情データセットの限界に対処するために作成された。ツリー構造のアノテーションを提供することで、研究者は単純な単語レベルの集約を超えて、モデルが句や文の意味をどの程度捉えているかをテストできる。元のバージョンはしばしばSST-1と呼ばれ、5クラスのスケールを使用するが、後のバリアントであるSST-2は、より単純な二値分類タスクのためにラベルを肯定的と否定的の二値クラスにまとめている。
構築とアノテーション
このデータセットは、11,855文から派生した215,154の一意の句のコレクションから構築され、各句はAmazon Mechanical Turkを通じて手動でアノテーションされた。アノテーターは0から4の連続スケールでラベルを割り当て、その後、非常に否定的、否定的、中立的、肯定的、非常に肯定的の5つの離散カテゴリにマッピングされた。ツリー構造はスタンフォードパーサーを使用して生成され、各文を文法的な構成要素に分解し、構文解析ツリーの各ノードが感情ラベルを受け取ることを可能にしている。この設計により、文を階層的に処理する再帰的およびニューラルネットワークモデルの評価が可能になる。
モデル開発における役割
SSTは、特に再帰的ニューラルネットワークに基づく感情分析モデルの開発において中心的な役割を果たしてきた。リチャード・ソーチャーらによる初期の研究では、再帰的ニューラルテンソルネットワークが導入され、このベンチマークで従来のbag-of-wordsアプローチを大幅に上回る改善を達成した。このデータセットはまた、トランスフォーマーベースのモデル、特に大規模言語モデルの一般的なテストベッドとなり、SST-2の精度を標準的な指標として報告することが多い。BERTやその後継モデルなど、多くの事前学習済み言語モデルがSST-2で評価されており、2020年代初頭の時点で最先端の結果は95%を超える精度を達成している。
限界と批判
その人気にもかかわらず、SSTには既知の限界がある。文は映画レビューからのみ抽出されており、ドメインの多様性が制限され、他のテキストタイプには一般化できない可能性がある。細かいラベルは、特に中立的または混合感情の句において、主観的なアノテーターの判断によるノイズが含まれることがある。さらに、このデータセットは現代のコーパスと比較して比較的小規模であり、大規模モデルをゼロから訓練する際に過学習を引き起こす可能性がある。一部の研究者はまた、構文解析ツリーのアノテーションが意味構成と完全に一致しない可能性があると指摘している。なぜなら、文法構造が常に意味の構成に対応するとは限らないからである。
影響と遺産
SSTは、GLUEベンチマークなど、その後のデータセット作成の取り組みに影響を与えており、GLUEにはSST-2が構成タスクの1つとして含まれている。これは、自然言語処理におけるモデルアーキテクチャと訓練技術を比較するための標準的な参照点であり続けている。このデータセットの構成構造への重点は、句レベルで予測を説明できるより解釈可能なモデルへの研究も刺激してきた。2024年の時点で、SSTは毎年数百の論文で引用され続けており、人工知能の分野におけるその永続的な関連性を反映している。
現代の研究における使用
現代の研究では、SSTはモデルの堅牢性と一般化を評価するために他のベンチマークと併用されることが多い。例えば、感情分析における敵対的例に関する研究は、小さな摂動に対するモデルの感度をテストするためにSSTの文を頻繁に使用する。このデータセットはまた、トランスフォーマーモデルが真に構成表現を学習するかどうかを調査するためのリソースとしても機能し、注意パターンや中間層の活性化を分析する。より大規模で広範なカバレッジを持つ新しいデータセットが登場しているが、SSTの独自のツリー構造アノテーションは、機械が言語を理解する方法に関する基礎研究におけるその継続的な有用性を保証している。