维基百科是一部免费、多语言的在线百科全书，由全球志愿者协作编辑。它于2001年1月15日由吉米·威尔士和拉里·桑格创立，采用维基模式运行，允许任何有互联网访问权限的人创建和修改条目。截至2020年代初，维基百科拥有超过300种语言的数百万条目，成为历史上规模最大、使用最频繁的参考工具之一。其内容以开放许可发布，允许复用和再分发，这使其成为人类读者和自动化系统的关键资源。
这部百科全书的组织结构，包括广泛的交叉引用、引文和层级分类，已被证明对计算研究极具价值。其规模和多语言间的相对一致性，使其成为训练和评估人工智能系统的主要来源，尤其是在机器学习和自然语言处理领域。
作为AI研究数据集的作用
维基百科作为数据集的作用是现代大型语言模型发展的基础。其简洁的百科式散文和结构化元数据为训练模型理解事实性语言和生成连贯文本提供了高质量语料库。许多知名模型，包括由OpenAI、Anthropic和Google DeepMind开发的模型，都将维基百科快照作为训练数据的重要组成部分。转储文件是定期生成的所有条目的快照，可免费下载，并已用于众多基准任务，如问答和事实核查。
维基百科的多语言特性还支持跨语言模型的训练和评估。研究人员利用不同语言版本间的对齐条目构建平行语料库，助力机器翻译和多语言嵌入研究。此外，维基百科的编辑历史和讨论页面也被用于研究协作知识生产，并开发检测偏见或破坏行为的算法。
技术基础设施与访问
维基百科提供了多种技术途径来访问其内容。为网站提供支持的MediaWiki软件提供了一个API，供程序化查询使用，允许开发者获取条目文本、元数据和修订历史。对于批量分析，维基媒体基金会发布完整的数据库转储，通常每月更新，格式为SQL和XML。这些转储托管在公共服务器和镜像站点上，使研究人员能够下载数TB的数据进行离线处理。
对于机器学习从业者，预处理版本的可用性简化了采用过程。例如，Hugging Face Datasets库提供了一个已清洗和分词化的维基百科数据集，降低了小型团队的入门门槛。该数据通常与其他语料库（如书籍和网页抓取）结合使用，以创建多样化的训练混合集。
挑战与局限
尽管维基百科作为数据集具有实用性，但它也带来了一些挑战。内容并非静态；条目不断被编辑，这可能导致快照与实时数据之间的不一致。这种动态性要求研究人员固定特定版本以确保可复现性。此外，这部百科全书存在系统性偏见，包括某些主题、地理区域和人口视角的代表性不足，这可能会传播到基于其训练的模型中。
各条目的事实准确性参差不齐，尽管维基百科有严格的引用要求，但错误和破坏行为仍可能持续存在。对于需要高精度的任务，如医疗或法律信息，该数据集可能需要额外的过滤和验证。研究人员还指出，维基百科的散文风格独特，大量基于其训练的模型可能会采用正式、百科式的语气，这并不总是适用于对话式应用。
在模型开发中的应用
维基百科在多个里程碑式AI项目中发挥了重要作用。2017年提出的Transformer架构依赖大型文本语料库进行预训练，而维基百科是标准选择。谷歌开发的BERT等模型使用英文维基百科进行掩码语言建模，在理解任务中树立了新基准。后续模型，包括OpenAI的GPT系列和谷歌的T5，延续了这一实践。
除了预训练，维基百科还用于微调和评估。自然问题（Natural Questions）和TriviaQA等数据集源自或链接到维基百科条目，是阅读理解的标准基准。这部百科全书还支持知识图谱构建，DBpedia和YAGO等项目从其信息框和分类中提取结构化数据，这些数据随后用于结合符号推理与神经网络方法的混合AI系统。
未来方向
维基百科与AI之间的关系持续演变。随着生成式AI系统日益普及，人们越来越关注利用维基百科将模型输出锚定在可验证的事实上，以减少幻觉。维基媒体基金会自身的AI项目等举措探索了使用机器学习提高内容质量和可访问性的方法。相反，AI生成文本的兴起对维基百科志愿者编辑模式的完整性提出了质疑，促使人们讨论如何检测和管理合成贡献。
研究人员还在探索动态更新，即模型持续在最新的维基百科转储上重新训练，以保持知识的最新性。这种方法虽然计算成本高昂，但可能有助于解决静态数据集过时的问题。AI研究社区与维基媒体生态系统之间的持续合作表明，维基百科在可预见的未来仍将是数据集开发的基石。