C4 Multilingual是一个大规模文本数据集，旨在用于预训练多语言人工智能模型，特别是大型语言模型。它是原始C4（Colossal Clean Crawled Corpus）数据集的扩展，该数据集由谷歌的研究人员于2019年提出。多语言版本对多种语言的网页文本应用了与C4相同的清洗和过滤流程，生成了一个涵盖除英语外数十种语言的语料库。该数据集已成为训练需要跨语言理解和生成文本的模型的基础资源，支持开发更具包容性和全球适用性的人工智能系统。
原始C4数据集是从Common Crawl（一个公开可用的网页存档）创建的。清洗过程包括去重、移除样板内容，以及基于启发式规则（如句子长度和攻击性语言的存在）过滤低质量文本。C4 Multilingual将这些相同技术应用于非英语网页，生成了一个在保留网络规模和多样性的同时，为机器学习目的提高质量的数据集。该数据集通常与Transformer架构结合使用，该架构已成为现代自然语言处理的标准。
组成与规模
C4 Multilingual包含多种语言的文本，具体组成因版本而异。最广泛引用的版本通常称为mC4，于2020年发布，涵盖超过100种语言。该数据集源自2019年4月的Common Crawl快照，每种语言分别处理以保留语言特征。mC4的总大小超过40太字节，使其成为最大的公开多语言文本语料库之一。语言分布高度不均衡，英语、西班牙语和德语等高资源语言的数据量显著多于斯瓦希里语或毛利语等低资源语言。这种不均衡反映了网页内容的可用性，并对模型在不同语言上的表现产生影响。
预训练与模型使用
C4 Multilingual主要用于以自监督方式预训练大型语言模型。模型被训练以预测序列中的下一个标记，从多样化文本中学习统计模式和世界知识。这种方法已被主要人工智能研究机构采用。例如，谷歌使用mC4训练了T5和mT5等模型，这些模型在多语言任务上表现出色。类似地，OpenAI和Anthropic也探索了多语言训练，尽管它们通常使用专有数据集。C4 Multilingual的可用性降低了学术和工业研究人员构建多语言模型的门槛，促进了跨语言迁移和低资源语言处理研究的激增。
该数据集也用于微调和评估。许多基准测试，如XTREME，依赖于使用C4 Multilingual预训练的模型来评估其跨语言泛化能力。数据集的质量直接影响下游性能，使清洗流程成为关键组成部分。研究人员指出，尽管C4 Multilingual有用，但它仍包含网络文本固有的噪声和偏见，这些可能传播到模型中。
清洗与过滤流程
C4 Multilingual的清洗流程遵循与原始C4相同的步骤。首先，从Common Crawl提取网页，并移除HTML标签。接下来，在文档级别进行文本去重以减少冗余。然后，应用一系列启发式过滤器，包括移除单词过少的页面、标点过多的页面以及包含占位文本的页面。此外，使用禁用词列表过滤包含色情内容或其他不当内容的页面。对于多语言数据，使用分类器执行语言识别，仅保留被自信识别为目标语言的页面。这确保每个语言子集相对干净，尽管可能会出现一些误分类，尤其是对于密切相关的语言。
局限性与考虑因素
尽管有其用途，C4 Multilingual仍存在几个局限性。该数据集是静态的，基于单一网络快照，因此不反映近期事件或语言使用的演变。语言分布不均衡意味着基于其训练的模型可能在低资源语言上表现不佳，研究人员正通过数据增强和跨语言迁移等技术积极解决这一问题。此外，清洗过滤器虽然对英语有效，但可能并非对所有语言都最优。例如，具有不同标点约定或句子较短的语言可能被不成比例地过滤掉。这些问题凸显了谨慎数据集策展和开发更均衡多语言资源的必要性。
影响与未来方向
C4 Multilingual对人工智能领域产生了重大影响，使创建能够服务全球用户的模型成为可能。它已被数千篇研究论文引用，并且是许多开源模型训练流程中的标准组件。未来工作可能涉及创建包含更新网络数据的新版本、改进语言识别以及解决偏见。随着对多语言人工智能需求的增长，像C4 Multilingual这样的数据集将保持重要地位，尽管它们可能会被来自亚马逊网络服务或微软Azure云平台等来源的更新、更精心策展的语料库所补充。