CB（CommitmentBank）是一个用于文本蕴含任务的基准数据集，由短句对组成。它被引入用于评估自然语言处理系统识别说话者在话语中所做承诺和预设的能力。该数据集侧重于前提与假设之间的关系，任务是判断前提与假设之间是蕴含、矛盾还是中性关系。
该数据集由多伦多大学及其他机构的研究人员创建，并已成为人工智能和机器学习领域的标准评估工具。CB以其简洁的句子长度和对语用推理的强调而著称，使其成为对模型的一个挑战性测试，要求模型超越表面句法模式。
数据集结构
CB包含250个句对，每个句对有一个前提和一个假设。这些句对取自自然出现的文本，包括新闻文章和小说，并标注为三种标签之一：蕴含、矛盾或中性。句子长度较短（通常少于20个词）使CB区别于更大的蕴含数据集，从而能够对特定语言现象进行聚焦分析。
标注过程涉及多位评判者，并测量了标注者间一致性以确保可靠性。最终标签反映多数投票结果，部分实例被标记为低一致性以突出模糊案例。
任务与评估
CB中的主要任务是文本蕴含识别，即模型必须对前提与假设之间的关系进行分类。该任务是自然语言理解的核心组成部分，常用于基准测试大型语言模型和基于Transformer的架构。
评估通常以准确率作为主要指标，部分研究还报告宏F1分数以考虑类别不平衡问题。CB常被纳入多任务基准测试，如SuperGLUE套件，在其中与其他任务配对以评估通用语言理解能力。
在自然语言处理研究中的意义
CB在强调自然语言处理中语用推理的重要性方面具有影响力。与聚焦于词汇或句法蕴含的数据集不同，CB要求模型推断说话者意图和背景知识，这些往往是隐含的。这推动了更复杂的神经网络模型的研究，这些模型融入了世界知识和话语上下文。
研究表明，虽然现代深度学习模型在CB上取得了高准确率，但在需要细致理解预设和会话含义的案例上仍存在困难。这导致了专门训练技术的发展以及外部知识源的整合。
相关基准
CB是蕴含基准数据集家族的一部分，该家族包括更大的数据集，如RTE（识别文本蕴含）和MNLI（多体裁自然语言推理）。然而，其对短句和语用现象的侧重使其与这些数据集互补。它还与SuperGLUE中的其他任务（如COPA和WiC）结合使用，以提供对推理能力的全面评估。
该数据集已被广泛采用于研究团队，包括OpenAI、Anthropic和Google DeepMind，作为模型开发的标准测试平台。其持续相关性体现在其被纳入近期对最先进系统的评估中。
局限性与未来方向
CB的一个局限性是其规模较小，可能导致评估结果的高方差。研究人员通过跨多个随机种子报告结果并使用统计显著性检验来解决这一问题。此外，该数据集对英语的侧重限制了其在多语言环境中的适用性，尽管已有努力创建翻译版本。
未来工作可能将CB扩展到更多样化的体裁和语言，以及更复杂的话语现象。随着生成式AI模型能力的增强，CB很可能仍将是探测其对人类交流理解的有价值工具。