Empirische Risikominimierung (ERM) ist ein Kernprinzip im Machine learning, das die Auswahl eines Vorhersagemodells durch Minimierung des durchschnittlichen Verlusts auf einer endlichen Menge von Trainingsbeispielen leitet. Es formalisiert die intuitive Idee, ein Modell an beobachtete Daten anzupassen, und liegt vielen Algorithmen zugrunde, die im Deep learning und anderen statistischen Lernansätzen verwendet werden. Das Konzept wurde in den 1960er Jahren von Statistikern und Informatikern formuliert, insbesondere in den Arbeiten von Vapnik und Chervonenkis, die auch den theoretischen Rahmen für das Verständnis der Wirksamkeit von ERM entwickelten.
Bei ERM besteht das Ziel darin, eine Funktion aus einem vordefinierten Hypothesenraum zu finden, die das empirische Risiko minimiert, das als Durchschnitt einer Verlustfunktion über die Trainingsdaten definiert ist. Dies steht im Gegensatz zum Ideal der Minimierung des erwarteten Risikos, das Kenntnis der wahren zugrunde liegenden Datenverteilung erfordert. Da diese Verteilung unbekannt ist, verwendet ERM die Trainingsstichprobe als Stellvertreter. Der Unterschied zwischen empirischem und erwartetem Risiko ist ein zentrales Anliegen der statistischen Lerntheorie und führt zu Schranken, die von der Komplexität des Hypothesenraums und der Anzahl der Trainingsbeispiele abhängen.
Formale Definition
Gegeben sei eine Trainingsmenge von \(n\) unabhängigen und identisch verteilten Stichproben \((x_i, y_i)\), eine Verlustfunktion \(L(\hat{y}, y)\), die die Kosten der Vorhersage von \(\hat{y}\) misst, wenn der wahre Wert \(y\) ist, und ein Hypothesenraum \(\mathcal{H}\) von Kandidatenfunktionen. Das empirische Risiko ist:
\[ R_{\text{emp}}(h) = \frac{1}{n} \sum_{i=1}^n L(h(x_i), y_i) \]
Der empirische Risikominimierer ist die Hypothese \(\hat{h}\), die \(R_{\text{emp}}(h)\) über alle \(h \in \mathcal{H}\) minimiert. Dies ist ein endlichdimensionales Optimierungsproblem, das in der modernen Praxis oft mit iterativen Methoden wie dem Adam (Optimizer) oder anderen Stochastic Gradient Descent Variants gelöst wird.
Historischer Kontext
Die Formalisierung von ERM wird Vladimir Vapnik und Alexey Chervonenkis in den 1960er Jahren zugeschrieben, die das Konzept der VC-Dimension einführten, um die Kapazität von Hypothesenräumen zu charakterisieren. Ihre Arbeit legte das Fundament für die statistische Lerntheorie, die Bedingungen liefert, unter denen ERM konsistent ist, das heißt, dass mit wachsender Stichprobengröße der empirische Risikominimierer sich dem bestmöglichen Modell im Hypothesenraum annähert. Dieses theoretische Fundament wurde später durch Lehrbücher und Kurse in der Machine-Learning-Gemeinschaft populär gemacht und bleibt ein Eckpfeiler des Fachgebiets.
Beziehung zu anderen Lernprinzipien
ERM ist eng mit anderen Lernparadigmen verwandt. Beispielsweise kann die Maximum Likelihood Estimation als Spezialfall von ERM betrachtet werden, wenn die Verlustfunktion die negative Log-Likelihood ist. Regularisierungstechniken wie Weight Decay modifizieren das ERM-Ziel, indem sie einen Strafterm hinzufügen, um die Modellkomplexität zu kontrollieren, was zu einem Kompromiss zwischen Anpassung an die Trainingsdaten und Generalisierung führt. Im Gegensatz dazu behandelt die Bayesian Inference Modellparameter als Zufallsvariablen und aktualisiert Überzeugungen basierend auf Daten, was als umfassenderer Ansatz als die Punktschätzung durch ERM angesehen werden kann.
Im modernen Deep learning ist ERM das Standard-Trainingsziel für die meisten Neural network-Modelle, einschließlich Transformer (architecture)-basierter Architekturen, die in Large language models verwendet werden. Die schiere Größe von Modellen und Daten hat jedoch zu praktischen Herausforderungen geführt, wie Überanpassung und der Notwendigkeit sorgfältiger Regularisierung. Techniken wie Dropout, Batch Normalization und Data Augmentation werden oft eingesetzt, um die Generalisierung über das hinaus zu verbessern, was einfaches ERM erreichen würde.
Praktische Überlegungen
In der Praxis wird ERM mit gradientenbasierten Optimierungsverfahren implementiert. Die Wahl der Verlustfunktion hängt von der Aufgabe ab: Loss Functions wie der mittlere quadratische Fehler für Regression und die Kreuzentropie für Klassifikation sind üblich. Der Optimierungsprozess umfasst die iterative Aktualisierung der Modellparameter, um das empirische Risiko zu reduzieren, oft unter Verwendung von Varianten des stochastischen Gradientenabstiegs. Zu den wichtigsten Hyperparametern gehören die Lernrate, die über einen Learning Rate Scheduling angepasst werden kann, und die Batchgröße. Gradient Clipping wird manchmal verwendet, um explodierende Gradienten zu verhindern, insbesondere in rekurrenten Netzwerken.
Ein Hauptproblem bei ERM ist die Überanpassung, bei der das Modell auf Trainingsdaten gut, auf ungesehenen Daten jedoch schlecht abschneidet. Dies ist besonders ausgeprägt, wenn der Hypothesenraum im Verhältnis zur Stichprobengröße groß ist. Um dies zu mildern, verwenden Praktiker Regularisierung, frühes Stoppen und Kreuzvalidierung. Ein weiteres Anliegen ist, dass ERM annimmt, dass die Trainingsdaten repräsentativ für die wahre Verteilung sind; wenn diese Annahme verletzt wird, kann das resultierende Modell verzerrt sein.
Theoretische Erkenntnisse
Die statistische Lerntheorie liefert Schranken für den Generalisierungsfehler von ERM. Für einen endlichen Hypothesenraum kann die Differenz zwischen empirischem und erwartetem Risiko mithilfe der Hoeffding-Ungleichung begrenzt werden. Für unendliche Hypothesenräume spielt die VC-Dimension eine entscheidende Rolle. Diese Schranken wachsen typischerweise mit der Komplexität des Hypothesenraums und nehmen mit der Anzahl der Trainingsbeispiele ab. Im modernen Deep Learning übersteigt die Anzahl der Parameter jedoch oft die Anzahl der Trainingspunkte, und dennoch generalisieren Modelle gut, ein Phänomen, das neue theoretische Untersuchungen angeregt hat.
Jüngste Arbeiten haben untersucht, warum überparametrisierte Modelle, die mit ERM trainiert wurden, generalisieren können, was zu Konzepten wie impliziter Regularisierung und der Lottery-Ticket-Hypothese führte. Diese Erkenntnisse haben noch keine vollständige Theorie hervorgebracht, aber sie verdeutlichen die Kluft zwischen klassischer Lerntheorie und zeitgenössischer Praxis.