Trainingsdaten sind die Gesamtheit der Beispiele, die verwendet werden, um ein Modell für maschinelles Lernen zu unterrichten, und aus denen das Modell während des Trainingsprozesses statistische Muster lernt. Für moderne große Sprachmodelle bestehen Trainingsdaten typischerweise aus enormen Mengen an Text, die aus dem öffentlichen Web gesammelt wurden, lizenzierten Datensätzen, Büchern, Code-Repositories und zunehmend aus synthetischen Daten, die von anderen Modellen erzeugt werden, wobei Umfang, Vielfalt und Qualität dieser Daten neben Modellgröße und Rechenleistung einer der Haupttreiber der Modellfähigkeiten sind, wie durch Skalierungsgesetze beschrieben.
Die Zusammensetzung und Beschaffung von Trainingsdaten wurde ab etwa 2023 zu einem bedeutenden Punkt rechtlicher, ethischer und geschäftlicher Auseinandersetzungen, als Autoren, Künstler, Verleger und andere Rechteinhaber Klagen gegen KI-Entwickler wegen der Nutzung urheberrechtlich geschützten Materials einreichten und als leicht verfügbarer qualitativ hochwertiger Text im Verhältnis zum wachsenden Datenbedarf immer größerer Modelle knapper wurde.
Quellen und Zusammensetzung
Trainingskorpora für große Sprachmodelle werden typischerweise aus einer Mischung von Quellen zusammengestellt: breite Web-Crawls wie Common Crawl, kuratierte und gefilterte Teilmengen des Webs wie die Datensätze hinter GPT-3 und seinen Nachfolgern, digitalisierte Bücher, Wikipedia und andere Referenzseiten, Programmcode aus Repositories wie GitHub, akademische Arbeiten und lizenzierte Inhalte, die durch kommerzielle Vereinbarungen mit Verlagen, Stock-Media-Unternehmen und anderen Rechteinhabern erworben wurden - eine Praxis, die ab 2023 bei großen Laboren deutlich zunahm, als Alternative zum unlizenzierten Scraping. Daten werden im Allgemeinen dedupliziert, auf Qualität und Schädlichkeit gefiltert und zunehmend gewichtet oder hochgesampelt hin zu wertvolleren Kategorien wie Code, Lehrbüchern und reasoning-intensivem Text, was Forschungsergebnisse widerspiegelt, die nahelegen, dass Datenqualität und -mischung ebenso wichtig sind wie das reine Volumen.
Die Datenmauer
Bis 2024 und 2025 diskutierten mehrere Forscher und Laborleiter öffentlich eine sich nähernde Datenmauer: Das endliche Angebot an qualitativ hochwertigem, leicht verfügbarem menschlich generiertem Text im öffentlichen Internet, geschätzt auf zig Billionen Tokens, wurde durch die Trainingsläufe der größten Modelle erreicht oder überschritten. Vorgeschlagene Antworten umfassten die zunehmende Nutzung synthetischer Daten, Lizenzvereinbarungen für Daten, die zuvor nicht zum Scraping verfügbar waren, wie Archive, private Foren und Video-Transkripte, multimodales Training, das Signale aus Bildern, Audio und Video statt nur aus Text zieht, sowie architektonische oder algorithmische Ansätze, einschließlich Testzeit-Compute-Skalierung, die darauf abzielen, mehr Fähigkeiten ohne proportionalen Anstieg der Vortrainingsdaten zu extrahieren.
Rechtliche und ethische Kontroverse
Trainingsdatenpraktiken stehen im Zentrum einer Welle von KI-Urheberrechtsklagen, die ab 2023 eingereicht wurden, darunter Fälle der New York Times, Gruppen von Autoren, bildenden Künstlern und Musiklabels gegen Unternehmen wie OpenAI, Meta, Stability AI und Midjourney, die im Allgemeinen behaupten, dass urheberrechtlich geschützte Werke ohne Erlaubnis oder Vergütung zum Training von Modellen verwendet wurden, während die Beklagten im Allgemeinen argumentiert haben, dass Training eine faire Nutzung oder ein gleichwertiges Rechtskonzept unter dem KI- und Urheberrecht darstellt. Separat haben Forscher und Journalisten dokumentiert, dass einige Trainingsdatensätze persönliche Daten enthielten, die ohne Zustimmung gesammelt wurden, und in mindestens einem dokumentierten Fall, der den LAION-Datensatz für Bildmodelle betraf, illegales Material, das eine Notfall-Bereinigung erforderte, was zu einer breiteren Prüfung von Datensatzkuratierung und Offenlegungspraktiken führte - ein Bereich, für den Regulierungsbehörden einschließlich des EU AI Act zunehmend Dokumentation verlangen.