SST-2（斯坦福情感树库二分类）是一个用于二分类情感分类的基准数据集，其中每个样本都是来自电影评论的单句，标注为正面或负面。它是更大的斯坦福情感树库（SST）的子集，由斯坦福大学的研究人员于2013年提出，旨在实现细粒度情感分析。SST-2将原始的五类标签（非常负面、负面、中性、正面、非常正面）简化为两类，通过丢弃中性句子并合并其余标签，使其成为评估机器学习和深度学习模型在句子级理解上的标准任务。
该数据集包含6,920个训练集句子、872个开发集句子和1,821个测试集句子。每个句子均取自最初从Rotten Tomatoes收集的电影评论。二分类形式由后续研究推广，特别是在神经网络架构的背景下，并已成为自然语言处理（NLP）中被引用最多的基准之一。SST-2通常与GLUE（通用语言理解评估）基准中的其他任务一起使用，该基准于2018年发布，旨在衡量九个任务上的通用语言理解能力。
任务定义与评估
在SST-2中，目标是预测给定句子表达正面还是负面情感。评估指标是准确率，定义为正确分类句子的比例。由于标签是平衡的（正面和负面样本大致相等），准确率可作为模型性能的直接衡量标准。该任务被视为单句分类问题，与自然语言推理等成对任务不同。模型通常在大规模语料库上进行预训练，然后在SST-2训练集上进行微调，并通过GLUE排行榜或其他评估框架在测试集上报告性能。
历史背景与创建
原始斯坦福情感树库由Richard Socher及其同事在斯坦福人工智能实验室创建，相关论文《Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank》于2013年发表。该树库包含每个句子的解析树，每个节点都带有情感标签，使组合模型能够学习短语级语义。二分类版本SST-2后来由OpenAI等机构的研究人员提取，用于更简单的评估。数据集的构建涉及通过Amazon Mechanical Turk进行众包标注，每个句子由多个标注者标注以确保可靠性。原始树库包含239,232个独特短语，但SST-2仅关注完整句子，为句子级情感提供了一个干净的基准。
在模型发展中的作用
SST-2在追踪NLP进展中发挥了关键作用。早期模型，如递归神经网络和LSTM，准确率在80-85%范围内。以2018年BERT为代表的Transformer模型的引入将准确率推高至90%以上，后续模型如大型语言模型已达到接近人类的性能。例如，BERT-base在SST-2上达到约92.7%的准确率，而RoBERTa和T5等后续模型已超过95%。该基准还用于测试鲁棒性，因为模型必须泛化到多样的句子结构和词汇。截至2024年，最先进的模型报告准确率超过96%，尽管该任务在实践上被认为已基本解决，剩余错误通常源于讽刺、细微差别或上下文相关的情感。
与其他基准的关系
SST-2是GLUE基准的一部分，该基准包括CoLA（语言可接受性）、MNLI（自然语言推理）和QQP（问题释义）等任务。GLUE由谷歌团队于2018年提出，旨在为通用语言理解提供标准化评估。SST-2也包含在SuperGLUE中，这是一个更具挑战性的后继基准，尽管SuperGLUE使用不同的情感任务（BoolQ）。除GLUE外，SST-2还常用于生成式AI和人工智能安全研究，因为它为探测模型行为提供了一个简单测试平台。许多机器学习框架，如Hugging Face的datasets库，将SST-2作为内置数据集，便于复现。
局限性与批评
尽管广受欢迎，SST-2存在已知的局限性。二分类标注丢弃了中性句子，而中性句子在现实应用中可能具有歧义。该数据集源自电影评论，限制了领域多样性；在SST-2上训练的模型可能无法很好地泛化到产品评论或社交媒体等其他领域。此外，原始树库的细粒度标签在二分类版本中丢失，阻碍了情感强度的分析。一些研究人员指出，SST-2的准确率可能因模型利用表面线索（如某些形容词的存在）而被夸大。尽管如此，SST-2仍然是新架构的标准基线，其简洁性使其成为进入NLP领域的学生和从业者的理想起点。