C4, kurz für Colossal Clean Crawled Corpus, ist ein groß angelegter Textdatensatz, der für das Vortraining von großen Sprachmodellen verwendet wird. Er wurde 2019 von Forschern bei Google im Rahmen des ursprünglichen Transformer (architecture)-basierten T5-Projekts (Text-to-Text Transfer Transformer) eingeführt. Der Datensatz besteht aus mehreren hundert Gigabyte englischsprachigem Text, der aus dem Common-Crawl-Webarchiv extrahiert wurde, einem öffentlich zugänglichen Repository mit Milliarden von Webseiten, die über viele Jahre gesammelt wurden. C4 wurde entwickelt, um eine sauberere und besser handhabbare Alternative zu rohen Web-Crawl-Daten zu bieten, die typischerweise erhebliches Rauschen wie Boilerplate-Navigations texte, doppelte Inhalte und minderwertigen oder maschinell generierten Text enthalten.
Die Erstellung von C4 umfasste eine mehrstufige Filterpipeline, die auf die rohen Common-Crawl-Daten angewendet wurde. Der erste Schritt bestand darin, den Datensatz zu deduplizieren, indem nahezu identische Sätze und Dokumente entfernt wurden, was Redundanz reduzierte und die Trainingseffizienz verbesserte. Als Nächstes entfernte die Pipeline Seiten mit Platzhaltertexten wie „Lorem ipsum" oder häufigen Boilerplate-Phrasen und verwarf Seiten, die nicht hauptsächlich auf Englisch waren, wie durch einen Sprachklassifikator bestimmt wurde. Zusätzlich filterte die Pipeline Seiten mit anstößigen oder unangemessenen Inhalten heraus, einschließlich solcher mit bestimmten Schlüsselwörtern oder Begriffen. Der endgültige Datensatz umfasste etwa 750 Gigabyte Text oder etwa 156 Milliarden Token, was ihn zu einem der größten öffentlich verfügbaren Vortrainingskorpora seiner Zeit machte.
Zusammensetzung und Merkmale
Der C4-Datensatz ist bemerkenswert für seine Größe und Vielfalt. Er enthält Texte aus einer breiten Palette von Web-Domains, darunter Nachrichtenartikel, Blogs, Foren und akademische Seiten. Da er jedoch aus Web-Crawls stammt, spiegelt der Datensatz die Verzerrungen und Einschränkungen von Webinhalten wider, wie die Überrepräsentation bestimmter Themen und die Unterrepräsentation anderer. Der Filterprozess führte auch eine Verzerrung hin zu formellem, gut geschriebenem Englisch ein, da viele informelle oder nicht standardgemäße Texte entfernt wurden. Forscher haben C4 seitdem auf Probleme wie Datenkontamination (wenn Testsets mit Trainingsdaten überlappen) und das Vorhandensein personenbezogener Informationen analysiert, was zur Entwicklung verfeinerter Versionen wie C4-200M und C4-en-1.0 führte.
Verwendung im Vortraining
C4 wurde ursprünglich verwendet, um das T5-Modell vorzutrainieren, das alle Aufgaben der natürlichen Sprachverarbeitung als Text-zu-Text-Probleme formulierte. Die Größe und Sauberkeit des Datensatzes machten ihn geeignet für das Training von Modellen mit Milliarden von Parametern. Nach T5 wurde C4 zu einem Standard-Benchmark für die Bewertung von Datenkuratierungstechniken und wurde von vielen nachfolgenden Modellen übernommen, einschließlich Varianten von BERT und GPT. Zum Beispiel verwendete das OpenAI-Modell GPT-3 einen ähnlichen gefilterten Common-Crawl-Ansatz, wenn auch nicht den exakten C4-Datensatz. Der Datensatz diente auch als Grundlage für mehrsprachige Erweiterungen wie mC4, das über 100 Sprachen abdeckt.
Auswirkungen und Vermächtnis
Die Einführung von C4 hatte erhebliche Auswirkungen auf das Feld des maschinellen Lernens und der künstlichen Intelligenz. Sie zeigte die Bedeutung der Datenqualität beim Vortraining großer Modelle und demonstrierte, dass sorgfältiges Filtern zu erheblichen Verbesserungen bei der Leistung nachgelagerter Aufgaben führen kann. C4 hob auch die praktischen Herausforderungen der Arbeit mit Web-Scale-Daten hervor, einschließlich Speicherung, Verarbeitung und ethischer Überlegungen. Die Veröffentlichung als offener Datensatz ermöglichte Forschern weltweit, mit groß angelegtem Vortraining zu experimentieren, ohne eigene Web-Crawls sammeln zu müssen, und demokratisierte den Zugang zu hochwertigen Trainingsdaten.
Einschränkungen und Kritik
Trotz seiner weit verbreiteten Verwendung wurde C4 kritisiert. Der Filterprozess, obwohl effektiv bei der Entfernung von Rauschen, entfernte auch Inhalte, die für bestimmte Aufgaben wertvoll sein könnten, wie Code-Snippets oder nicht standardgemäße englische Dialekte. Die Abhängigkeit des Datensatzes von englischsprachigem Text begrenzte seine Anwendbarkeit für mehrsprachige Modelle, obwohl dies später durch mC4 adressiert wurde. Darüber hinaus war das ursprüngliche C4 nicht vollständig auf Dokumentebene dedupliziert, was zu potenziellen Verzerrungen durch wiederholte Inhalte führte. Forscher haben auch festgestellt, dass der Datensatz veraltete Informationen enthält, da er aus Web-Crawls bis 2019 stammt, und dass er urheberrechtlich geschütztes Material enthalten könnte, was rechtliche und ethische Fragen zu seiner Verwendung in kommerziellen Modellen aufwirft.
Siehe auch
- Common Crawl
- T5
- Datenkuratierung
- Vortraining