SST-2（Stanford Sentiment Treebank binary）は、二値感情分類のためのベンチマークデータセットであり、各事例は映画レビューからの単一の文で、肯定的または否定的のいずれかにラベル付けされている。これは、2013年にスタンフォード大学の研究者らによって、きめ細かな感情分析を可能にするために導入された、より大規模なStanford Sentiment Treebank（SST）のサブセットである。SST-2は、元の5クラスのラベル（非常に否定的、否定的、中立的、肯定的、非常に肯定的）を、中立文を除外し残りのラベルをグループ化することで2クラスに簡略化し、文レベルの理解における機械学習および深層学習モデルを評価するための標準的なタスクとなっている。
このデータセットには、トレーニング分割に6,920文、開発分割に872文、テスト分割に1,821文が含まれている。各文は、元々Rotten Tomatoesから収集された映画レビューから抽出されている。二値形式は、その後の研究、特にニューラルネットワークアーキテクチャの文脈で普及し、自然言語処理（NLP）において最も引用されるベンチマークの1つとなっている。SST-2は、2018年にリリースされたGLUE（General Language Understanding Evaluation）ベンチマークにおいて、9つのタスクにわたる汎用言語理解を測定するために、他のタスクと並んで頻繁に使用されている。
タスク定義と評価
SST-2では、与えられた文が肯定的または否定的な感情を表現しているかを予測することが目標である。評価指標は精度であり、正しく分類された文の割合として定義される。ラベルがバランスしている（肯定的と否定的な例がほぼ同数）ため、精度はモデル性能の直接的な尺度として機能する。このタスクは、自然言語推論のようなペアワイズタスクとは異なり、単文分類問題と見なされる。モデルは通常、大規模なコーパスで事前学習され、その後SST-2トレーニングセットで微調整され、GLUEリーダーボードやその他の評価ハーネスを介してテストセットでの性能が報告される。
歴史的背景と作成
元のStanford Sentiment Treebankは、スタンフォードAIラボのRichard Socherと同僚らによって作成され、2013年に「Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank」という論文で発表された。このツリーバンクには各文の構文解析木が含まれ、各ノードに感情ラベルが付与されており、構成モデルが句レベルの意味を学習できるようになっている。二値版であるSST-2は、後にOpenAIなどの研究者らによって、より簡単な評価のために抽出された。データセットの構築には、Amazon Mechanical Turkを通じたクラウドソーシングによるラベル付けが関与し、各文は信頼性を確保するために複数のアノテーターによってラベル付けされた。元のツリーバンクには239,232の一意な句があるが、SST-2は完全な文のみに焦点を当てており、文レベルの感情のためのクリーンなベンチマークを提供している。
モデル開発における役割
SST-2は、NLPの進歩を追跡する上で極めて重要な役割を果たしてきた。再帰型ニューラルネットワークやLSTMなどの初期のモデルは、80〜85%の範囲の精度を達成した。2018年のBERTを皮切りにしたTransformerベースのモデルの導入により、精度は90%以上に押し上げられ、その後の大規模言語モデルなどのモデルは人間に近い性能に達している。例えば、BERT-baseはSST-2で約92.7%の精度を達成し、RoBERTaやT5などの後のモデルは95%を超えている。このベンチマークは堅牢性のテストにも使用され、モデルは多様な文構造や語彙に一般化する必要がある。2024年時点で、最先端のモデルは96%以上の精度を報告しているが、このタスクは実用的な目的ではほぼ解決されたと見なされており、残る誤りは皮肉、ニュアンス、または文脈依存の感情によることが多い。
他のベンチマークとの関係
SST-2はGLUEベンチマークの一部であり、CoLA（言語受容性）、MNLI（自然言語推論）、QQP（質問パラフレーズ）などのタスクが含まれる。GLUEは、Googleチームによって2018年に導入され、汎用言語理解の標準化された評価を提供する。SST-2は、より挑戦的な後継であるSuperGLUEにも含まれているが、SuperGLUEは異なる感情タスク（BoolQ）を使用している。GLUE以外にも、SST-2は生成AIや人工知能の安全性に関する研究で頻繁に使用され、モデルの挙動を調査するための簡単なテストベッドを提供している。Hugging Faceのdatasetsライブラリなど、多くの機械学習フレームワークにはSST-2が組み込みデータセットとして含まれており、再現性を促進している。
限界と批判
その人気にもかかわらず、SST-2には既知の限界がある。二値ラベル付けは中立文を除外しており、現実世界のアプリケーションでは曖昧になる可能性がある。データセットは映画レビューに由来しており、ドメインの多様性が制限されている。SST-2で訓練されたモデルは、製品レビューやソーシャルメディアなどの他のドメインにはうまく一般化しない可能性がある。さらに、元のツリーバンクのきめ細かなラベルは二値版では失われており、強度の分析が妨げられている。一部の研究者は、SST-2の精度が、特定の形容詞の存在などの表面的な手がかりを利用するモデルによって膨らむ可能性があると指摘している。それでもなお、SST-2は新しいアーキテクチャの標準的なベースラインであり続け、その単純さは、NLPの分野に入る学生や実務者にとって理想的な出発点となっている。