Cross-Validierung, manchmal auch Rotationsevaluation oder Out-of-Sample-Test genannt, ist eine Familie von Modellvalidierungstechniken zur Bewertung, wie gut die Ergebnisse einer statistischen Analyse auf einen unabhängigen Datensatz verallgemeinern. Es handelt sich um eine Resampling-Methode, die verschiedene Teile der Daten verwendet, um ein Modell in verschiedenen Iterationen zu trainieren und zu testen. Cross-Validierung wird häufig in Vorhersagekontexten eingesetzt, um abzuschätzen, wie genau ein prädiktives Modell in der Praxis funktionieren wird, und sie kann auch die Qualität eines angepassten Modells sowie die Stabilität seiner Parameter bewerten.
In einem typischen Vorhersageproblem wird ein Modell auf einem bekannten Datensatz (dem Trainingssatz) trainiert und anschließend auf einem Datensatz mit unbekannten Daten (dem Validierungs- oder Testsatz) getestet. Das Ziel ist es, die Fähigkeit des Modells zu messen, neue Daten vorherzusagen, die nicht bei der Schätzung verwendet wurden, wodurch Probleme wie Überanpassung oder Selektionsbias erkannt werden und Einblicke gewonnen werden, wie das Modell auf einen unabhängigen Datensatz verallgemeinert. Eine Runde der Cross-Validierung umfasst die Aufteilung der Stichprobe in komplementäre Teilmengen: Das Modell wird auf einer Teilmenge (Trainingssatz) angepasst und auf der anderen (Validierungssatz) validiert. Um die Variabilität zu reduzieren, führen die meisten Methoden mehrere Runden mit unterschiedlichen Aufteilungen durch, und die Validierungsergebnisse werden über die Runden gemittelt, um eine genauere Schätzung der Vorhersageleistung zu erhalten.
Motivation
Betrachten Sie ein Modell mit einem oder mehreren unbekannten Parametern und einem Datensatz, an den das Modell angepasst werden kann. Der Anpassungsprozess optimiert die Parameter, um das Modell so gut wie möglich an die Trainingsdaten anzupassen. Wenn eine unabhängige Stichprobe von Validierungsdaten aus derselben Grundgesamtheit entnommen wird, passt das Modell im Allgemeinen nicht so gut an die Validierungsdaten wie an die Trainingsdaten. Diese Diskrepanz ist besonders groß, wenn der Trainingssatz klein ist oder wenn die Anzahl der Parameter groß ist. Die Cross-Validierung bietet eine Möglichkeit, die Größe dieses Effekts abzuschätzen, was für das Verständnis der Modellleistung entscheidend ist.
Beispiel: Lineare Regression
In der linearen Regression nehmen wir an, dass es reale Antwortwerte \(y_1, \ldots, y_n\) und \(n\) p-dimensionale Kovariatenvektoren \(\mathbf{x}_1, \ldots, \mathbf{x}_n\) gibt, wobei jeder \(\mathbf{x}_i\) die Komponenten \(x_{i1}, \ldots, x_{ip}\) hat. Unter Verwendung der kleinsten Quadrate, um eine Hyperebene \(\hat{y} = a + \boldsymbol{\beta}^T \mathbf{x}\) an die Daten anzupassen, ist der mittlere quadratische Fehler (MSE) auf dem Trainingssatz definiert als:
\[
\text{MSE} = \frac{1}{n} \sum_{i=1}^n (y_i - \hat{y}_i)^2 = \frac{1}{n} \sum_{i=1}^n (y_i - a - \boldsymbol{\beta}^T \mathbf{x}_i)^2.
\]
Wenn das Modell korrekt spezifiziert ist, neigt der Trainings-MSE dazu, den tatsächlichen Vorhersagefehler zu unterschätzen, da das Modell optimiert wurde, um an die Trainingsdaten anzupassen. Die Cross-Validierung hilft, diesen Optimismus zu korrigieren, indem sie das Modell auf zurückgehaltenen Daten evaluiert.
Gängige Methoden
Es gibt mehrere Cross-Validierungstechniken, die sich darin unterscheiden, wie sie die Daten aufteilen.
k-Fache Cross-Validierung
Bei der k-fachen Cross-Validierung wird die ursprüngliche Stichprobe zufällig in \(k\) gleich große Teilstichproben aufgeteilt. Von diesen werden \(k-1\) Teilstichproben als Trainingsdaten verwendet, und die verbleibende einzelne Teilstichprobe wird als Validierungsdaten verwendet. Der Prozess wird \(k\) Mal wiederholt, wobei jede Teilstichprobe genau einmal als Validierungsdaten verwendet wird. Die \(k\) Ergebnisse werden dann gemittelt, um eine einzige Schätzung zu erzeugen. Typische Werte für \(k\) sind 5 oder 10, die Bias und Varianz ausbalancieren. Ein Sonderfall ist die Leave-One-Out-Cross-Validierung (LOOCV), bei der \(k\) gleich der Anzahl der Datenpunkte ist, was bedeutet, dass jede Beobachtung einmal als Validierungssatz verwendet wird.
Leave-One-Out-Cross-Validierung (LOOCV)
LOOCV ist eine extreme Form der k-fachen Cross-Validierung, bei der jeder Trainingssatz aus allen Beobachtungen außer einer besteht und der Validierungssatz diese einzelne Beobachtung ist. Diese Methode ist für große Datensätze rechenintensiv, bietet jedoch eine nahezu unverzerrte Schätzung des Vorhersagefehlers, obwohl sie eine hohe Varianz aufweisen kann.
Wiederholte zufällige Teilstichprobenziehung
Diese Methode, auch als Monte-Carlo-Cross-Validierung bekannt, teilt die Daten zufällig mehrmals in Trainings- und Validierungssätze auf, mit Zurücklegen. Der Vorhersagefehler wird über die Aufteilungen gemittelt. Dieser Ansatz garantiert nicht, dass jede Beobachtung genau einmal für die Validierung verwendet wird, kann aber nützlich sein, wenn die Datenmenge groß ist.
Stratifizierte Cross-Validierung
Bei Klassifikationsproblemen mit unbalancierten Klassen stellt die stratifizierte Cross-Validierung sicher, dass jeder Fold die gleichen Klassenanteile wie der ursprüngliche Datensatz beibehält. Dies verhindert, dass einem Fold eine bestimmte Klasse fehlt, was zu irreführenden Leistungsschätzungen führen könnte.
Anwendungen
Die Cross-Validierung wird häufig im Machine learning und in der Artificial intelligence für die Modellauswahl und Hyperparameter-Abstimmung verwendet. Beispielsweise nutzen Praktiker bei der Ausbildung von neuronalen Netzen oder großen Sprachmodellen die Cross-Validierung, um die Anzahl der Schichten, Lernraten oder Regularisierungsparameter zu wählen. Sie wird auch im Deep learning verwendet, um Architekturen zu vergleichen, und in Transformer (architecture)-basierten Modellen, um die Generalisierung vor der Bereitstellung zu bewerten.
Über die Vorhersage hinaus hilft die Cross-Validierung, die Stabilität von Modellparametern zu bewerten. Wenn die Parameter eines Modells über verschiedene Trainings-Folds drastisch variieren, deutet dies auf Instabilität und potenzielle Überanpassung hin. Dies ist besonders wichtig in Bereichen wie Generative AI, in denen Modelle auf vielfältige reale Eingaben verallgemeinern müssen.
Einschränkungen und Überlegungen
Die Cross-Validierung hat mehrere Einschränkungen. Sie kann rechenintensiv sein, insbesondere bei großen Datensätzen und komplexen Modellen, da sie wiederholtes Training erfordert. Für Zeitreihendaten ist die Standard-Cross-Validierung ungeeignet, da eine zufällige Aufteilung die zeitliche Reihenfolge verletzt; stattdessen werden Techniken wie Forward Chaining verwendet. Darüber hinaus schätzt die Cross-Validierung den erwarteten Vorhersagefehler für eine gegebene Trainingssatzgröße, berücksichtigt jedoch nicht vollständig die Variabilität aufgrund der zufälligen Aufteilung, was bei kleinen Datensätzen zu einer hohen Varianz der Schätzung führen kann.
Eine weitere Überlegung ist, dass die Cross-Validierung annimmt, dass die Daten unabhängig und identisch verteilt (i.i.d.) sind. In der Praxis können die Validierungsergebnisse zu optimistisch sein, wenn es Clusterbildung oder Korrelation innerhalb der Daten gibt. Methoden wie die gruppierte Cross-Validierung können dies adressieren, indem sie sicherstellen, dass alle Beobachtungen aus einer Gruppe entweder im Trainings- oder im Validierungssatz zusammengehalten werden.
Beziehung zur Überanpassung
Überanpassung tritt auf, wenn ein Modell das Rauschen in den Trainingsdaten lernt, anstatt das zugrunde liegende Muster, was zu schlechter Leistung bei neuen Daten führt. Die Cross-Validierung ist ein primäres Werkzeug zur Erkennung von Überanpassung: Wenn der Validierungsfehler signifikant höher ist als der Trainingsfehler, ist das Modell wahrscheinlich überangepasst. Durch die Mittelung über mehrere Aufteilungen bietet die Cross-Validierung eine zuverlässigere Schätzung des Generalisierungsfehlers als eine einzelne Trainings-Test-Aufteilung und hilft Praktikern, die Auswahl übermäßig komplexer Modelle zu vermeiden.
Historischer Kontext
Das Konzept der Cross-Validierung hat Wurzeln in der Statistik, die bis in die 1930er Jahre zurückreichen, mit frühen Arbeiten von Seymour Geisser und anderen. Es wurde mit dem Aufstieg der computergestützten Statistik und des Machine learning im späten 20. Jahrhundert prominenter. Forscher wie Thomas G. Dietterich und Michael I. Jordan haben zu seinem theoretischen Verständnis und seinen praktischen Anwendungen beigetragen. Heute ist die Cross-Validierung ein Standardwerkzeug im Werkzeugkasten von Datenwissenschaftlern und in den meisten statistischen und maschinellen Lernbibliotheken implementiert.
Siehe auch
- Maschinelles Lernen
- Künstliche Intelligenz
- Deep Learning
- Neuronales Netz
- Großes Sprachmodell
- Transformer
- Generative KI
- Überanpassung (falls verfügbar)
Referenzen
- Geisser, S. (1975). The predictive sample reuse method with applications. Journal of the American Statistical Association.
- Stone, M. (1974). Cross-validatory choice and assessment of statistical predictions. Journal of the Royal Statistical Society.
- Kohavi, R. (1995). A study of cross-validation and bootstrap for accuracy estimation and model selection. International Joint Conference on Artificial Intelligence.