WikiText是一个从经过验证的维基百科文章中提取的英语文本数据集集合，旨在用于训练和基准测试语言模型。它的引入是为了提供比早期数据集（如Penn Treebank）更大、更真实的语料库，并着重保留原始文章结构，包括标题、列表和链接。该数据集通常用于机器学习和深度学习研究，涉及下一词预测和模型评估等任务。
主要版本为WikiText-2和WikiText-103，分别包含200万和1.03亿个词元。这些数据集经过策划，排除了表格和列表，并保留原始文本及未知词的特殊标记，使其适合测试模型处理大词汇量和长期依赖的能力。WikiText已成为该领域的标准基准，在众多关于神经网络和大型语言模型的论文中被引用。
数据集构建
WikiText由Salesforce Research于2016年创建，旨在提供比以往选项更具挑战性的语料库。提取过程涉及选取维基百科社区评为“优良”或“典范”的文章，以确保高质量和一致性。随后对文本进行清理以去除标记，但保留了原始大小写、标点和数字，这与早期数据集通常将所有内容转为小写的做法不同。
一个关键特征是WikiText-103使用267,735词的词汇表，其中包括训练集中出现至少三次的所有单词。稀有词被替换为“<unk>”标记。这种大词汇量迫使模型学习许多单词的表示，测试其泛化能力。数据集分为训练集、验证集和测试集，其中测试集包含来自不同时期的文章，以避免数据泄漏。
在语言建模中的应用
WikiText主要用于评估语言模型，这些模型预测单词序列的概率。研究人员使用它来衡量困惑度，这是一个指示模型预测下一个词能力的指标。较低的困惑度分数更好，WikiText-103已成为比较基于Transformer的模型（如OpenAI和Google DeepMind开发的模型）的标准。
例如，GPT-2和BERT等模型已在WikiText-103上进行了评估，报告的困惑度分数随时间不断提高。该数据集的文章较长，平均约3,000词，测试了模型处理长距离上下文的能力，这对于文档摘要和问答等任务至关重要。这使得WikiText成为推进人工智能研究的宝贵资源。
与其他数据集的比较
在WikiText之前，标准基准是Penn Treebank（PTB），它仅包含约100万个来自《华尔街日报》文章的词元。PTB较小且词汇量受限，使模型更容易实现低困惑度。WikiText通过使用更大的词汇量和更长的文档提供了更现实的挑战，更好地反映了真实世界的文本。
另一个数据集One Billion Word Benchmark更大，但由打乱的句子组成，失去了文档结构。WikiText保留了原始文章顺序，使模型能够从连贯的叙述中学习。这种结构差异对于训练需要理解跨句子和段落上下文的模型（这是生成式AI系统的关键能力）具有重要意义。
局限性与批评
尽管WikiText广受欢迎，但它存在局限性。该数据集源自维基百科，具有正式、百科全书的风格，因此可能无法代表非正式或对话式语言。此外，清理过程会移除表格和列表，这些对于某些任务可能具有信息价值。一些研究人员指出，“<unk>”标记处理可能使评估产生偏差，因为模型可能依赖它而不是学习稀有词。
另一个批评是，WikiText-103虽然规模较大，但仍小于用于训练大型语言模型（如来自Anthropic或Microsoft的模型）的现代网络规模数据集。截至2025年，许多模型在数万亿词元上进行训练，使WikiText更多是学术研究的基准，而非生产系统的训练来源。尽管如此，它仍然是该领域可重复比较的标准。
未来方向
WikiText的发展影响了其他数据集的创建，如The Pile和RedPajama，这些数据集结合了多个来源。这些较新的数据集旨在通过包含多样化的文本类型和更大规模来解决WikiText的局限性。然而，WikiText的简单性和易用性确保了其在教育和研究中的持续相关性，特别是对于研究深度学习基础的学生。
研究人员还在探索将WikiText适应多语言和多模态任务的方法，尽管原始版本仅限英语。随着AI模型的发展，对高质量、结构化数据集的需求仍然存在，WikiText作为如何构建此类资源的典范示例。其遗产在许多引用它作为基线的论文中显而易见，确保了它在机器学习发展史上的地位。