Die Maximum-Likelihood-Schätzung (MLE) ist eine grundlegende Methode der Statistik zur Schätzung unbekannter Parameter einer Wahrscheinlichkeitsverteilung. Die Kernidee besteht darin, diejenigen Parameterwerte auszuwählen, die die beobachteten Daten unter dem angenommenen statistischen Modell am wahrscheinlichsten machen. Dies wird erreicht, indem eine Likelihood-Funktion konstruiert wird, die die Wahrscheinlichkeit der Beobachtung der gegebenen Daten als Funktion der Parameter darstellt, und dann die Parameterwerte gefunden werden, die diese Funktion maximieren. MLE wird aufgrund ihrer wünschenswerten Eigenschaften, einschließlich Konsistenz und Effizienz unter regulären Bedingungen, in Bereichen wie Machine learning, Ökonometrie und Artificial intelligence weit verbreitet angewendet
Das Konzept wurde erstmals von Sir Ronald Fisher im frühen 20. Jahrhundert entwickelt, aufbauend auf früheren Arbeiten von Carl Friedrich Gauss und anderen. Fisher führte die Methode formal in einem Artikel von 1912 ein und erweiterte sie in späteren Veröffentlichungen, wobei er ihre theoretischen Grundlagen etablierte. Die Methode gewann in den 1920er- und 1930er-Jahren an Bedeutung als Eckpfeiler der statistischen Inferenz, und sie bleibt ein Standardwerkzeug sowohl in der klassischen als auch in der modernen Datenanalyse
Mathematische Formulierung
Gegeben eine Menge von unabhängigen und identisch verteilten Beobachtungen \(x_1, x_2, \ldots, x_n\), die aus einer Wahrscheinlichkeitsverteilung mit Wahrscheinlichkeitsdichtefunktion (oder Massenfunktion) \(f(x; \theta)\) gezogen werden, wobei \(\theta\) ein Vektor unbekannter Parameter ist, wird die Likelihood-Funktion definiert als:
\[ L(\theta) = \prod_{i=1}^n f(x_i; \theta) \]
In der Praxis ist es oft bequemer, mit dem natürlichen Logarithmus der Likelihood zu arbeiten, der als Log-Likelihood bezeichnet wird, weil er das Produkt in eine Summe umwandelt und die Differentiation vereinfacht:
\[ \ell(\theta) = \log L(\theta) = \sum_{i=1}^n \log f(x_i; \theta) \]
Die Maximum-Likelihood-Schätzung \(\hat{\theta}\) ist der Wert von \(\theta\), der \(\ell(\theta)\) maximiert, typischerweise gefunden, indem die Ableitung der Log-Likelihood nach \(\theta\) auf Null gesetzt und die resultierenden Gleichungen gelöst werden. Für viele gängige Verteilungen existieren geschlossene Lösungen, während andere numerische Optimierungsmethoden wie Gradientenaufstieg oder den Newton-Raphson-Algorithmus erfordern
Eigenschaften und Begründung
MLE-Schätzer besitzen mehrere wünschenswerte asymptotische Eigenschaften, wenn bestimmte Regularitätsbedingungen erfüllt sind. Sie sind konsistent, was bedeutet, dass mit zunehmender Stichprobengröße die Schätzungen in Wahrscheinlichkeit zu den wahren Parameterwerten konvergieren. Sie sind auch asymptotisch normal, wobei sich die Verteilung des Schätzers einer Normalverteilung zentriert um den wahren Parameter nähert, und asymptotisch effizient, wodurch sie die niedrigste mögliche Varianz erreichen, wie durch die Cramér-Rao-Untergrenze beschrieben. Diese Eigenschaften machen MLE zu einer bevorzugten Wahl in vielen statistischen Anwendungen
Allerdings kann MLE bei endlichen Stichproben verzerrt sein, und ihre Leistung hängt von der Korrektheit des angenommenen Modells ab. Wenn das Modell fehlspezifiziert ist, können die Schätzungen inkonsistent sein. Zusätzlich können bei komplexen Modellen mit vielen Parametern mehrere lokale Maxima auf der Likelihood-Oberfläche auftreten, was sorgfältige Optimierungsstrategien erfordert
Anwendungen im Maschinellen Lernen
In Machine learning dient MLE als Grundlage für viele überwachte und unüberwachte Lernalgorithmen. Beispielsweise schätzt die logistische Regression ihre Koeffizienten, indem sie die Likelihood der beobachteten binären Ergebnisse maximiert. Ebenso nutzt das Training von Neural networks häufig Maximum-Likelihood-Prinzipien, wobei die Verlustfunktion der negativen Log-Likelihood der Daten unter der Ausgabeverteilung des Modells entspricht. Für Klassifikationsaufgaben mit Softmax-Ausgaben ist dies äquivalent zur Minimierung des Kreuzentropieverlusts
In Deep learning untermauert MLE das Training generativer Modelle, einschließlich Generative AI-Systemen. Variationale Autoencoder und normalisierende Flüsse maximieren explizit die Likelihood oder ihre Untergrenze. Große Sprachmodelle, wie die von OpenAI und Anthropic entwickelten, werden unter Verwendung der Maximum-Likelihood-Schätzung bei Aufgaben zur Vorhersage des nächsten Tokens trainiert, wobei das Ziel darin besteht, die Wahrscheinlichkeit der beobachteten Sequenz von Tokens zu maximieren
Erweiterungen und Variationen
Mehrere Erweiterungen von MLE adressieren ihre Einschränkungen. Die Maximum-a-posteriori-Schätzung (MAP) integriert Vorwissen, indem sie die Posteriori-Verteilung maximiert, die proportional zur Likelihood mal dem Prior ist. Penalisierte Likelihood-Methoden, wie Ridge- oder Lasso-Regression, fügen Regularisierungsterme zur Log-Likelihood hinzu, um Überanpassung zu verhindern. Der Erwartungs-Maximierungs-Algorithmus(EM) behandelt Modelle mit latenten Variablen, indem er iterativ Erwartungswerte berechnet und die Likelihood in einem Zwei-Schritte-Prozess maximiert
Bayessche Ansätze, obwohl sie sich von MLE unterscheiden, verwenden oft die Likelihood-Funktion als Komponente. Im Gegensatz zu MLE, die Punktschätzungen liefert, ergibt die Bayessche Inferenz vollständige Posteriori-Verteilungen über Parameter. Trotz dieses Unterschieds kann MLE als Sonderfall der Bayesschen Schätzung mit einem uniformen Prior betrachtet werden
Historische Entwicklung
Die Ursprünge der Methode reichen bis ins 18. Jahrhundert zurück, mit Daniel Bernoulli und später Gauss, die ähnliche Ideen für spezifische Probleme verwendeten. Es war jedoch Ronald Fisher, der den allgemeinen Rahmen in seinem Artikel von 1912 "On an Absolute Criterion for Fitting Frequency Curves" formalisierte. Fishers spätere Arbeiten in den 1920er-Jahren etablierten das Likelihood-Prinzip und die Eigenschaften von Maximum-Likelihood-Schätzern. Die Methode gewann nach der Veröffentlichung seines einflussreichen Artikels von 1922 "On the Mathematical Foundations of Theoretical Statistics" breite Akzeptanz. Seitdem ist MLE ein Standardthema in Statistik-Lehrplänen und ein praktisches Werkzeug in der wissenschaftlichen Forschung geworden
Rechnerische Überlegungen
Für viele reale Anwendungen ist die Likelihood-Funktion zu komplex für eine analytische Maximierung. Numerische Optimierungstechniken, wie gradientenbasierte Methoden, werden eingesetzt. In Machine learning-Frameworks ermöglicht automatische Differentiation die effiziente Berechnung von Gradienten der Log-Likelihood nach Parametern, wodurch ein skalierbares Training von Modellen mit Millionen von Parametern ermöglicht wird. Spezialisierte Hardware, einschließlich GPU (in AI)s und AWS Trainium-Chips, beschleunigt diese Berechnungen, wodurch MLE-basiertes Training für groß angelegte Modelle machbar wird
Trotz ihres Alters bleibt MLE ein lebendiges Forschungsgebiet, mit laufenden Arbeiten zu robuster Schätzung, hochdimensionalen Einstellungen,und Verbindungen zur Informationstheorie. Ihre Einfachheit und theoretischen Garantien sichern ihre anhaltende Relevanz sowohl in der Statistik als auch in der modernen Artificial intelligence.