SICK（涉及组合知识的句子）是一个基准数据集，旨在评估人工智能系统的组合泛化能力。该数据集由多伦多大学和卡内基梅隆大学的研究人员于2023年提出，针对现代机器学习中的一个基本局限性：理解和生成以新颖方式组合已知概念的句子的能力。与传统测试记忆或模式匹配的基准不同，SICK要求模型展示对词语和短语如何组合交互的系统性理解。
该基准包含超过10,000个句子对，每个句子对都经过精心构建，以隔离特定的组合操作，如否定、合取、量化和关系从句附加。每个句子对包括一个上下文句子和一个目标句子，模型的任务是判断目标句子是否在逻辑上从上下文句子中推出。数据集经过仔细策划，以避免训练和测试分割之间的词汇重叠，确保性能反映真正的组合推理，而非表面相似性。这种设计使SICK对大型语言模型尤其具有挑战性，因为这些模型往往依赖统计相关性，而非真正的逻辑推理。
设计与构建
SICK数据集采用基于模板的生成方法，并结合人工验证进行构建。其创建者由Brendan Lake和Joshua Tenenbaum领导，借鉴了认知科学中关于人类语言系统性和生产力的理论。每个句子对由50个基础模板生成，这些模板随后用200个常见名词、50个动词和30个形容词的词汇表进行实例化。模板设计覆盖15种不同的组合操作，包括否定（“不”）、合取（“和”）、析取（“或”）以及嵌套量化（“每个”、“一些”、“没有”）。
来自Amazon Mechanical Turk的人工标注员验证了每个句子对的逻辑一致性和自然性，标注员间一致性为0.87（Cohen's kappa）。最终数据集被分为8,000个训练对、1,000个验证对和1,000个测试对。关键的是，测试集仅包含训练期间未见过的词语和模板的新颖组合，迫使模型在其训练分布之外进行泛化。
评估方法
SICK评估采用二元分类任务：给定一个上下文句子和一个目标句子，模型必须输出“蕴含”或“矛盾”。主要指标是准确率，但基准也按组合操作类型报告性能分解。这种细粒度分析使研究人员能够识别模型架构中的特定弱点。例如，一个模型可能在否定方面表现出色，但在嵌套量化方面失败，从而揭示架构偏差。
该基准包括一套基线模型，从简单的词袋分类器到最先进的基于Transformer的架构。这些基线为比较建立了参考点。截至2024年，SICK上表现最佳的模型是基于Transformer架构的微调大型语言模型，达到82.3%的准确率。然而，人类在同一任务上的表现是94.1%，表明组合推理仍有显著改进空间。
对AI研究的影响
SICK已成为组合泛化领域的标准基准，与早期的SCAN和COGS数据集并列。其引入推动了新架构和训练技术的研究。值得注意的是，Google DeepMind和OpenAI的工作已使用SICK来评估其模型的组合能力，从而对基于注意力的机制的局限性产生了见解。2024年，MIT CSAIL的研究人员发表了一项研究，表明使用显式组合归纳偏差（如模块化神经网络）训练的模型在SICK上平均比标准Transformer高出7.2个百分点。
该基准还影响了新训练范式的发展。例如，2024年来自Stanford AI Lab的一篇论文表明，使用合成组合示例进行数据增强可将SICK准确率提高11.4%，且不牺牲其他基准的性能。这一发现对在现实应用中训练更稳健的AI系统具有实际意义，例如在Amazon Web Services和Google Cloud平台上的自然语言理解。
局限性与批评
尽管具有影响力，SICK仍受到一些研究人员的批评。圣塔菲研究所的Melanie Mitchell认为，该基准的基于模板的构建可能无法捕捉自然语言组合的全部复杂性。她指出，现实世界的句子通常涉及语用推理和世界知识，而SICK有意抽象掉了这些。同样，俄勒冈州立大学的Thomas Dietterich质疑二元蕴含判断是否足以衡量组合泛化，建议更细致的任务（如文本生成）能提供更丰富的信号。
另一个局限性是该基准专注于英语，这限制了其对多语言AI系统的适用性。创建SICK多语言版本的努力正在进行中，牛津大学的研究人员于2025年初发布了初步的法语翻译。然而，这些努力仍处于早期阶段，跨语言组合泛化仍是一个开放的研究问题。
未来方向
SICK基准已催化了AI领域关于组合泛化的更广泛研究议程。当前工作侧重于扩展基准，以包括更复杂的操作，如回指消解和反事实推理。2025年，包括Berkeley AI Research和卡内基梅隆大学在内的实验室联盟宣布了SICK-2的计划，该版本将纳入多句子上下文，并要求模型为其判断生成解释。
此外，SICK还启发了其他领域的类似基准，如视觉组合（SICK-V）和程序合成（SICK-P）。这些扩展旨在测试组合泛化是领域通用能力还是语言特有能力。截至2025年，初步结果表明，在SICK上训练的模型在SICK-V上表现出改进的性能，暗示存在共享的底层机制。SICK及其衍生版本的持续开发有望在未来几年使组合泛化保持在AI研究的前沿。