斯坦福情感树库（SST）是一个广泛用于情感分析的基准数据集，由斯坦福人工智能实验室的研究人员于2013年提出。该数据集包含从电影评论中提取的11,855个单句，每个句子在句子级别和每个构成短语级别都标注了情感标签，从而支持对组合语义的研究。该数据集以其细粒度的五类标注方案而著称，范围从非常负面到非常正面，并已成为机器学习和深度学习模型的标准评估工具。
SST的创建旨在解决早期情感数据集的局限性，例如产品评论或电影评论语料库中常见的二元正面/负面标签。通过提供树结构标注，它使研究人员能够测试模型在超越简单词级聚合的情况下，捕捉短语和句子含义的能力。原始版本通常称为SST-1，采用五类量表，而后续变体SST-2则将标签简化为二元正面和负面类别，用于更简单的二元分类任务。
构建与标注
该数据集由从11,855个句子中提取的215,154个独特短语构建而成，每个短语通过亚马逊土耳其机器人进行人工标注。标注者在一个从0到4的连续量表上分配标签，然后将其映射到五个离散类别：非常负面、负面、中性、正面和非常正面。树结构使用斯坦福解析器生成，该解析器将每个句子分解为其语法成分，使解析树中的每个节点都能获得情感标签。这种设计使得对递归和神经网络模型进行层次化句子处理的评估成为可能。
在模型开发中的作用
SST在情感分析模型的发展中发挥了核心作用，特别是基于递归神经网络的模型。Richard Socher及其同事的早期工作引入了递归神经张量网络，在该基准上取得了比以往词袋方法显著改进的效果。该数据集也成为transformer模型（包括大型语言模型）的常见测试平台，这些模型通常将SST-2准确率作为标准指标进行报告。许多预训练语言模型，如BERT及其后继者，已在SST-2上进行了评估，截至2020年代初，最先进的结果超过95%的准确率。
局限性与批评
尽管SST广受欢迎，但它存在已知的局限性。句子完全来自电影评论，这限制了领域多样性，可能无法推广到其他文本类型。细粒度标签可能因标注者的主观判断而带有噪声，尤其是对于中性或混合情感的短语。此外，与现代语料库相比，该数据集相对较小，这可能导致从头训练大型模型时出现过拟合。一些研究人员还指出，解析树标注可能无法与语义组合完美对齐，因为语法结构并不总是对应于意义组合。
影响与遗产
SST影响了后续数据集的创建努力，例如GLUE基准，其中包含SST-2作为其组成任务之一。它仍然是自然语言处理中比较模型架构和训练技术的标准参考点。该数据集对组合结构的强调也激发了对更具可解释性模型的研究，这些模型可以在短语级别解释其预测。截至2024年，SST每年仍被数百篇论文引用，反映了其在人工智能领域的持久相关性。
在现代研究中的应用
在当代研究中，SST通常与其他基准一起使用，以评估模型的鲁棒性和泛化能力。例如，关于情感分析中对抗性样本的研究经常使用SST句子来测试模型对微小扰动的敏感性。该数据集还作为探测transformer模型是否真正学习组合表示的资源，分析研究关注注意力模式和中间层激活。尽管出现了规模更大、覆盖范围更广的新数据集，但SST独特的树结构标注确保了其在机器理解语言基础研究中的持续效用。