斯坦福情感树库（SST-5）是一个广泛用于情感分析的数据集，在句子和短语层面提供细粒度的情感标签。该数据集由Stanford AI Lab的研究人员于2013年提出，将原始的二元情感分类任务扩展为五类尺度：非常负面、负面、中性、正面和非常正面。其显著特点是为解析树中的每个组成短语提供情感标注，使模型能够学习组合语义，而非将句子视为词袋。
该数据集源自Pang和Lee（2005）最初收集的电影评论，每个评论句子均使用斯坦福解析器进行解析。语料库包含11,855个单句，分为8,544个训练实例、1,101个开发实例和2,210个测试实例。每个句子都标注了从0到4的细粒度情感分数，树结构允许对215,154个独特短语进行标注。这种粒度使SST-5成为Natural language processing系统的一个具有挑战性的基准，因为它要求理解否定、对比和组合效应。
构建与标注
SST-5的构建涉及两阶段过程。首先，使用斯坦福解析器对句子进行解析以生成二元解析树。然后，人工标注者通过众包平台（Amazon Mechanical Turk）为树中的每个节点分配情感标签。每个短语按五点量表进行评分，最终标签由多次标注的平均值确定。标注者间一致性（以多类准确率衡量）约为0.63，表明由于任务的细粒度性质，一致性为中等水平。该数据集的设计允许对句子级和短语级情感进行评估，使其成为测试组合模型的标准。
在深度学习研究中的作用
SST-5在Deep learning情感分析模型的发展中发挥了重要作用。早期工作使用基于解析树操作的递归神经网络（RNN），例如Socher等人（2013）提出的递归神经张量网络（RNTN），该网络在当时取得了最先进的结果。随后，树结构LSTM和基于Transformer (architecture)的架构等Neural network模型已在SST-5上进行了评估。该数据集常被用作Large language model微调论文中的基准，其中BERT和GPT变体等模型将SST-5准确率作为其评估套件的一部分进行报告。细粒度标签提供了比二元情感更细致的测试，推动模型捕捉细微差别。
与其他情感基准的比较
SST-5常与其二元对应版本SST-2进行对比，后者将五类合并为正面（标签3-4）和负面（标签0-1），并丢弃中性示例。SST-5保留中性类，使其在情感中性常见的应用中更具现实性。其他情感数据集（如IMDB评论或Yelp）通常仅提供文档级二元标签，而SST-5提供短语级粒度。这使得SST-5特别适合评估组合泛化能力，因为模型必须学习短语情感如何组合形成句子情感。近年来，SST-5也被用于探究模型的Mechanistic interpretability，因为树结构允许分析哪些短语对预测贡献最大。
局限性与批评
尽管SST-5广受欢迎，但其存在已知局限性。该数据集源自电影评论，限制了领域多样性；在SST-5上训练的模型可能无法很好地泛化到其他体裁或文本类型。标注过程虽然细致，但受主观性影响，尤其是对于中性短语。此外，解析树是自动生成的，可能引入影响下游任务的错误。一些研究人员指出，SST-5的细粒度标签并不总是与人类直觉一致，因为“负面”和“非常负面”之间的差异可能很微妙。这些问题促使了替代基准的创建，但SST-5仍是该领域的标准参考点。
当前使用与未来方向
截至2020年代中期，SST-5继续是Machine learning研究中的常用数据集，出现在Generative AI模型的排行榜和评估套件中。它常与GLUE和SuperGLUE任务结合使用，尽管不属于这些集合的一部分。研究人员已探索使用SST-5进行Data Augmentation技术（如回译或同义词替换）以提高鲁棒性。未来工作可能涉及将SST-5扩展到其他语言或整合多模态数据，但其作为组合情感基准的核心角色可能会持续存在。该数据集可公开用于学术用途，其解析树常被用作新Sequence-to-Sequence (Seq2Seq)和注意力机制的测试平台。
参见
- sentiment-analysis
- 自然语言处理
- recursive-neural-network
- 斯坦福人工智能实验室
- 大型语言模型