Synthetische Daten sind Daten, die künstlich erzeugt wurden, typischerweise durch ein Modell oder eine Simulation, anstatt aus realen Ereignissen oder von Menschen produzierten Inhalten gesammelt zu werden, und die verwendet werden, um Systeme des maschinellen Lernens zu trainieren, zu verfeinern oder zu evaluieren. Im Kontext moderner großer Sprachmodelle beziehen sich synthetische Daten üblicherweise auf Text, Code oder Dialoge, die von einem bestehenden KI-Modell generiert und dann, oft nach einer Filterung, als Trainingsdaten für ein anderes Modell verwendet werden, eine Praxis, die manchmal als eine Form von Destillation beschrieben wird, wenn die Ausgaben eines stärkeren Modells ein schwächeres lehren.
Synthetische Daten gewannen Mitte der 2020er-Jahre an Bedeutung, als führende Labore sich dem näherten, was Forscher als Datenwand bezeichneten, einer Verlangsamung des Wachstums von leicht verfügbaren, hochwertigen, von Menschen generierten Texten im Internet, wodurch modellgenerierte Daten zu einer zunehmend wichtigen Ergänzung von menschlich produziertem Text für das fortgesetzte Scaling wurden.
Verwendungszwecke
Synthetische Daten dienen mehreren Zwecken in der KI-Entwicklung. Sie können seltene Datenkategorien ergänzen, etwa durch die Generierung zusätzlicher Beispiele für seltene Sprachen, spezialisierte Bereiche wie Mathematik oder Code oder mehrteilige Konversationen, deren Sammlung von Menschen in großem Maßstab teuer ist. Sie werden umfassend in Verstärkendem Lernen aus menschlichem Feedback-Pipelines und deren Nachfolgern eingesetzt, wobei ein Modell oder ein Ensemble von Modellen Kandidatenantworten generiert, die dann eingestuft oder gefiltert werden, um Trainingssignale zu erzeugen. Synthetische Daten spielen auch eine zentrale Rolle beim Training von Reasoning-Modellen, wo verifizierbare Bereiche wie Mathematik und Programmierung es ermöglichen, dass die eigenen generierten Lösungen eines Modells automatisch überprüft und die korrekten als Trainingsbeispiele wiederverwendet werden, ein Ansatz, der zentral für die Verstärkendes Lernen-Methoden hinter Systemen wie DeepSeek-R1 ist. Über Text hinaus werden synthetische Daten häufig in Computersehen und Robotik verwendet, wo simulierte Umgebungen beschriftete Bilder oder Interaktionsdaten erzeugen, deren physische Sammlung kostspielig wäre.
Die Debatte um den Modellkollaps
Eine Forschungsrichtung, die etwa ab 2023 begann, warf Bedenken bezüglich des Modellkollapses auf, einer hypothetischen Verschlechterung der Modellqualität, die auftreten könnte, wenn Modelle wiederholt und wahllos mit Daten trainiert werden, die von früheren Modellen generiert wurden, mit der Theorie, dass jede Generation Fehler verstärken und die Abdeckung seltener, aber wichtiger Muster aus der ursprünglichen, von Menschen generierten Verteilung verlieren würde. Nachfolgende Forschung und Industriepraxis deuteten darauf hin, dass der Modellkollaps hauptsächlich dann ein reales Risiko darstellt, wenn synthetische Daten sorglos und ohne Qualitätsfilterung oder Mischung mit echten Daten verwendet werden, und dass sorgfältig kuratierte oder verifizierte synthetische Daten, insbesondere in verifizierbaren Bereichen, nicht dieselbe Verschlechterung aufweisen und die Modellqualität erheblich verbessern können. Bis 2025 verwendeten die meisten Grenzlabore erhebliche Mengen kuratierter synthetischer Daten als Standardbestandteil des Trainings, anstatt sie zu vermeiden.
Qualität und Verifikation
Da synthetische Daten die Verzerrungen, Fehler und stilistischen Eigenheiten des Modells, das sie generiert hat, erben und verstärken können, wenden Praktiker im Allgemeinen Filterungsschritte an, etwa die Verwendung eines separaten, oft leistungsfähigeren Modells oder eines regelbasierten Prüfers, um die Qualität zu bewerten oder zu verifizieren, bevor generierte Beispiele in einen Trainingssatz aufgenommen werden. Bereiche, in denen Korrektheit automatisch verifiziert werden kann, wie Code, der ausgeführt werden kann, und Mathematik, die überprüft werden kann, gelten als besonders gut für die Generierung synthetischer Daten geeignet, da minderwertige Beispiele algorithmisch herausgefiltert werden können, während offener kreativer oder faktischer Text schwerer automatisch zu verifizieren ist und ein größeres Risiko birgt, ein darauf trainiertes Modell stillschweigend zu verschlechtern.