C4-EN是一个大型、精选的英语文本集合，这些文本提取自公共网络。它是C4（巨型干净爬取语料库）数据集的一个子集，该数据集由谷歌的研究人员创建，旨在为训练机器学习模型，特别是大型语言模型，提供高质量、多样化的文本来源。C4-EN子集专门聚焦于英语内容，过滤掉非英语页面，并应用额外的清理步骤以提高数据质量。
该数据集于2019年作为T5（文本到文本迁移转换器）模型工作的一部分被引入，T5是自然语言处理任务统一框架的一个早期著名范例。此后，C4-EN已成为人工智能和机器学习领域中广泛使用的基准和训练资源，影响了后续数据集和模型的发展。
构建与清理
原始C4数据集基于Common Crawl的快照构建，Common Crawl是一个公开可用的网页存档。构建过程涉及多个阶段的过滤和清理，以去除低质量或不相关的内容。对于C4-EN，主要步骤是语言识别，使用分类器仅保留以英语为主的页面。随后进行去重、去除样板文本（如导航菜单和页脚），并过滤掉包含攻击性或不当内容的页面。
还应用了额外的启发式规则来丢弃非常短的文档、包含过多标点或乱码的页面，以及非文本元素比例过高的页面。最终得到的语料库约为750吉字节的文本，包含数十亿个单词。清理过程旨在平衡规模和质量，确保数据集足够大以支持大型模型的训练，同时足够干净以避免常见问题，如记忆噪声或重复内容。
在语言模型训练中的作用
C4-EN在训练许多大型语言模型和基于变换器的架构中发挥了重要作用。其主要用途是作为预训练语料库，模型在此学习通用语言模式、语法和世界知识，然后再针对特定任务进行微调。该数据集来源于数百万个网络域，其多样性有助于模型在不同写作风格和主题间进行泛化。
值得注意的是，C4-EN被用于训练原始的T5模型，该模型展示了通过将任务表述为文本到文本问题，单一模型可以应用于广泛的任务。此后，许多其他模型和研究项目采用了C4-EN或其变体。例如，它已被用于数据质量、模型扩展以及去重对性能影响的研究中。该数据集还作为比较不同预处理技术和训练策略的通用基准。
变体与扩展
为满足特定研究需求，已开发了C4-EN的多种变体。一个显著的例子是C4-EN-No-Spam，它应用额外过滤以去除垃圾邮件和低质量内容。另一个是C4-EN-Dedup，它使用更激进的去重以减少冗余，这有助于防止模型记忆重复短语。这些变体使研究人员能够隔离不同清理决策对模型行为的影响。
此外，C4的多语言版本（如mC4）将英语作为众多语言之一，但C4-EN仍是那些专注于英语的研究者的独特资源。该数据集还被用于创建用于指令微调和其他下游任务的合成数据集，进一步扩展了其超出简单预训练的实用性。
影响与批评
C4-EN对自然语言处理领域产生了重大影响，提供了一个可复现且易于访问的资源，加速了研究进程。其可用性使较小的研究团体和学术机构能够参与大规模模型训练，而这此前仅限于资金充足的工业实验室。
然而，该数据集也面临批评。尽管有清理步骤，但人们对其包含个人信息、受版权保护的材料以及偏见或有害内容表示担忧。研究人员记录了C4-EN中存在敏感数据的实例，引发了关于隐私和网络抓取语料库伦理使用的讨论。作为回应，一些人提出了更严格的过滤或使用替代数据集，但C4-EN仍是评估新方法的标准参考点。
未来方向
C4-EN的演变反映了AI系统训练数据发展的更广泛趋势。随着模型变得更大、能力更强，对高质量、多样化且伦理来源的数据需求持续增加。未来的工作可能涉及更复杂的过滤技术、更好的语言识别以及排除问题内容的机制。从C4-EN中获得的经验教训很可能为下一代数据集提供信息，这些数据集需要在规模与责任之间取得平衡。
尽管年代久远，C4-EN作为基线和持续研究的主题仍然具有相关性。其影响可见于许多当代模型和数据集，并继续在学术论文中被引用，在实际应用中使用。截至2020年代中期，它仍被视为该领域的基础资源，尽管正在开发更新的语料库以解决其局限性。