Quoref 是自然语言处理领域的一个基准数据集，专门用于评估机器在问答情境中执行指代消解（coreference resolution）的能力。该数据集由多伦多大学与艾伦人工智能研究所（Allen Institute for Artificial Intelligence）的一个团队于 2019 年提出，旨在填补现有阅读理解基准的空白，，这些基准往往允许模型在不完全理解文本中实体关系的情况下回答问题。
Quoref 这一名称是“question”（问题）与“coreference”（指代）的合成词，体现了其双重关注点。该数据集包含超过 24,000 个问答对，源自 4,700 篇维基百科文章。每个问题都经过设计，使得正确回答必须要求模型解析指代关系，即识别文本中哪个名词短语或代词与另一个实体指代同一对象。例如，一个问题可能问：“她嫁给了谁？”其中“她”指代前文提到的某个特定人物，模型必须将该代词与正确的先行词关联起来才能得出答案。
构建与设计
Quoref 数据集的构建采用了半自动化流程。创建者首先从维基百科中选取包含高密度指代提及的段落，然后使用指代消解系统识别指向同一实体的提及簇。基于这些簇，他们通过将某个提及替换为代词或描述性短语来生成问题，并询问该实体与段落中另一实体之间的关系。生成的问题随后经过人工标注者的筛选和验证，以确保问题可回答且确实需要指代消解才能得出答案。
一个关键的设计决策是使问题具有非平凡性。所选段落足够长，使得简单的词汇匹配方法无法奏效。问题通常要求模型跨多个句子追踪实体，且答案片段并不总是与指代提及相同，这迫使模型必须对整个段落进行推理。
评估与影响
Quoref 已成为评估阅读理解模型的标准基准，尤其是基于 Transformer 和大语言模型的系统。在数据集发布时，当时的先进模型（如 BERT）在 F1 分数上仅达到约 70%，而人类表现估计为 94%。这一显著差距凸显了任务的难度，并推动了更复杂的指代消解技术和注意力机制的研究。
该数据集已被用于训练和评估来自主要 AI 研究机构的模型，包括 OpenAI 和 Google DeepMind。它也被纳入更广泛的基准测试（如 SuperGLUE）中，用于综合评估通用语言理解能力。Quoref 带来的见解影响了显式建模实体关系的神经网络架构的发展，例如实体跨度（entity-span）和基于图的模型。
局限性与批评
尽管 Quoref 是一个有价值的资源，但它也存在局限性。数据集仅来源于维基百科，其文本风格为正式的百科全书式语言，这意味着其中的指代模式相对清晰且结构良好，与对话或社交媒体文本中更杂乱、更模糊的语言有所不同。此外，问题基于模板生成，可能带来一定程度的可预测性。一些研究人员指出，模型可以利用表面层面的模式（如答案片段的位置）来获得较高分数，而并未真正执行指代消解。
另一个批评是，该数据集并未涵盖所有类型的指代现象，例如桥接指代（bridging references，如“那辆车”指代前文提到的“车辆”）或后指代（cataphora，即代词出现在其先行词之前）。这限制了其作为通用指代能力测试的全面性。
遗产与未来方向
Quoref 的引入推动了研究界向更具挑战性和针对性的基准方向发展。它启发了为其他语言和更复杂指代形式（如时间或因果关系的指代）创建类似数据集。随着生成式 AI 模型的不断进步，Quoref 仍然是一个相关的测试基准，现代模型（如 GPT-4）已接近人类水平，但该任务对更小、更高效的模型仍构成挑战。
该数据集公开可用，并广泛应用于学术研究和工业评估。它提醒人们，真正的语言理解不仅仅需要模式匹配，还需要跨话语追踪和关联实体的能力，而这一能力是许多实际应用（从信息抽取到对话系统）的基础。