LAMBADA（为考虑话语方面而扩展的语言建模）是一个基准数据集，旨在评估语言模型根据其周围叙事上下文预测目标词的能力。与依赖局部句子级线索的简单词预测任务不同，LAMBADA要求模型整合跨多个句子的信息，通常利用世界知识和话语连贯性。该数据集于2016年由特伦托大学和爱丁堡大学的研究人员引入，此后已成为自然语言处理领域的标准评估工具。
该基准包含从小说中提取的10,422个段落，每个段落以目标词结尾，该词在更广泛的上下文中高度可预测，但仅凭紧邻的前一句无法预测。人类标注者在该任务上的准确率约为86%，而早期神经网络模型的表现明显较差，凸显了长距离依赖的挑战。LAMBADA被广泛用于衡量深度学习和大型语言模型的进展，特别是评估模型能否在扩展文本上保持连贯的表示。
数据集构建
LAMBADA数据集基于BookCorpus构建，该语料库包含超过11,000本未出版书籍。创建者选择了那些句子的最后一个词无法仅从局部上下文预测的段落，并由人类评判员确定。具体来说，他们要求目标词在仅提供前一句时不可猜测，但在提供完整段落时高度可猜测。这一筛选过程确保了任务真正测试话语级理解，而非简单的词汇共现。
数据集中的每个段落通常包含4到6个句子，目标词为名词、动词或形容词，且对叙事具有语义核心作用。数据集分为训练集、开发集和测试集，其中测试集包含5,153个段落。构建方法具有影响力，启发了类似基准，如NarrativeQA和用于阅读理解任务的SQuAD。
评估协议
在标准LAMBADA评估中，模型被给定一个段落，必须预测最后一个词的词汇概率分布。模型的准确率通过目标词是否在top-1预测中衡量。某些变体也报告top-5准确率。对于基于Transformer的模型，段落通常作为标记序列输入，模型在最后位置的输出用于预测。
早期评估显示，循环神经网络（RNN）和LSTM模型表现不佳，准确率低于50%。注意力机制及后来的Transformer的引入带来了显著改进。例如，OpenAI的GPT-2模型在2019年测试集上达到63.24%的准确率，而GPT-3在2020年达到71.3%。截至2023年，诸如Google DeepMind的Chinchilla和Anthropic的Claude等最先进模型报告准确率超过80%，接近人类表现。
与语言建模的关系
LAMBADA本质上是一个语言建模任务，因为它要求根据上下文预测下一个词。然而，它通过聚焦于特定、具有挑战性的预测子集，区别于基于困惑度的标准评估。该基准在诊断长距离依赖建模失败方面特别有用。例如，严重依赖局部n-gram统计的模型往往在LAMBADA上表现不佳，而能够构建话语层次表示的模型则表现更好。
该基准还用于研究Transformer中位置编码和多头注意力的影响。研究表明，使用课程学习或数据增强训练的模型有时在LAMBADA上有所改进，但增益并不总是一致。该任务仍是许多模型评估套件的关键组成部分，包括斯坦福AI实验室的HELM基准。
局限性与批评
尽管广受欢迎，LAMBADA存在若干局限性。数据集源自小说，可能无法代表多样化的体裁或领域，从而可能使结果偏向文学语言。此外，目标词通常为罕见或生僻词，使任务更多涉及词汇知识而非一般推理。一些研究者认为，在LAMBADA上的高准确率并不一定意味着稳健的话语理解，因为模型可能利用训练数据中的统计规律。
另一个批评是段落相对较短，平均约100个标记，这限制了对非常长距离依赖的评估。为此，提出了LAMBADA-long等变体，将段落扩展到数百个标记。尽管如此，LAMBADA仍是机器学习社区中被广泛引用的基准，其结果常与GLUE和SuperGLUE等其他任务一起报告。
影响与遗产
LAMBADA于2016年引入，恰逢深度学习在NLP领域的兴起，并迅速成为新架构的标准测试平台。它是首批明确针对话语级现象的基准之一，影响了后续关于叙事理解和故事生成的研究。该数据集已被数百篇研究论文使用，并纳入主要评估框架，包括Hugging Face的数据集库。
LAMBADA还推动了更具挑战性基准的开发，如HellaSwag和Winogrande，这些基准测试常识推理和代词消解。随着大型语言模型的持续改进，LAMBADA的难度有所降低，但它仍是跟踪进展和在受控环境中探测模型行为的有价值工具。其遗产在于强调上下文在语言理解中的重要性，这一原则支撑着现代生成式AI系统。