Die lineare Regression ist ein statistisches Modell, das die Beziehung zwischen einer skalaren Antwortvariablen (abhängige Variable) und einer oder mehreren erklärenden Variablen (Regressoren oder unabhängigen Variablen) schätzt. Ein Modell mit genau einer erklärenden Variablen wird als einfache lineare Regression bezeichnet; ein Modell mit zwei oder mehr erklärenden Variablen wird als multiple lineare Regression bezeichnet. Dieser Begriff unterscheidet sich von der multivariaten linearen Regression, die mehrere korrelierte abhängige Variablen vorhersagt, anstatt einer einzelnen abhängigen Variablen.
Die Beziehungen in der linearen Regression werden mithilfe linearer Prädiktorfunktionen modelliert, deren unbekannte Parameter aus den Daten geschätzt werden. Am häufigsten wird angenommen, dass der bedingte Mittelwert der Antwortvariable bei gegebenen Werten der erklärenden Variablen eine affine Funktion dieser Werte ist; seltener wird der bedingte Median oder ein anderes Quantil verwendet. Wie alle Formen der Regressionsanalyse konzentriert sich die lineare Regression auf die bedingte Wahrscheinlichkeitsverteilung der Antwortvariable gegeben der Prädiktoren, nicht auf die gemeinsame Wahrscheinlichkeitsverteilung aller Variablen, die Gegenstand der multivariaten Analyse ist.
Die lineare Regression ist auch eine Art von Machine-Learning-Algorithmus, insbesondere ein überwachter Algorithmus, der aus beschrifteten Datensätzen lernt und Datenpunkte auf eine optimierte lineare Funktion abbildet, die für Vorhersagen auf neuen Datensätzen verwendet werden kann. Sie war die erste Art der Regressionsanalyse, die rigoros untersucht und in praktischen Anwendungen umfassend eingesetzt wurde, da Modelle, die linear von ihren unbekannten Parametern abhängen, einfacher anzupassen sind als nichtlineare Modelle und die statistischen Eigenschaften der resultierenden Schätzer leichter zu bestimmen sind.
Historische Entwicklung
Die Methode der kleinsten Quadrate, die zentral für die lineare Regression ist, wurde erstmals 1805 von Adrien-Marie Legendre und unabhängig davon 1809 von Carl Friedrich Gauss veröffentlicht. Gauss behauptete, die Methode seit 1795 verwendet zu haben, und seine Arbeit legte das theoretische Fundament für die Normalverteilung und das Gauß-Markov-Theorem. Frühe Anwendungen umfassten astronomische Berechnungen, Geodäsie und die Vorhersage von Planetenbahnen. Bis zum späten 19. Jahrhundert war die lineare Regression zu einem Standardwerkzeug in den Sozial- und Biowissenschaften geworden, insbesondere durch die Arbeit von Francis Galton, der den Begriff „Regression“ im Kontext der Vererbung einführte, und Karl Pearson, der Korrelations- und Regressionsanalyse formalisierte.
Im 20. Jahrhundert erweiterten die Entwicklung computergestützter Methoden und der Aufstieg der Statistik als Disziplin die Anwendbarkeit der linearen Regression. Die Einführung der Matrixnotation und des allgemeinen linearen Modells durch Ronald Fisher in den 1920er Jahren vereinheitlichte die Regression mit der Varianzanalyse. Später machte die Verfügbarkeit elektronischer Computer in den 1950er und 1960er Jahren es möglich, große Regressionsmodelle anzupassen, was zu einer weit verbreiteten Nutzung in Wirtschaft, Ingenieurwesen und Naturwissenschaften führte.
Mathematische Formulierung
Gegeben einen Datensatz von n statistischen Einheiten, nimmt ein lineares Regressionsmodell an, dass die Beziehung zwischen der abhängigen Variablen y und dem Vektor der Regressoren x linear ist. Diese Beziehung wird durch einen Störterm oder Fehlerterm ε modelliert, eine unbeobachtete Zufallsvariable, die der linearen Beziehung Rauschen hinzufügt. Das Modell hat die Form:
y_i = β_0 + β_1 x_i1 + ... + β_p x_ip + ε_i = x_i^T β + ε_i, für i = 1, ..., n,
wobei β ein Vektor unbekannter Parameter ist und x_i^T β das innere Produkt zwischen den Vektoren x_i und β ist. Oft werden diese n Gleichungen in Matrixnotation als y = Xβ + ε zusammengefasst, wobei X eine n × (p+1) Designmatrix ist.
Die Parameter β werden typischerweise durch Minimierung einer Kostenfunktion geschätzt. Der gebräuchlichste Ansatz ist die gewöhnliche Methode der kleinsten Quadrate (OLS), die die Summe der quadrierten Residuen minimiert. Der OLS-Schätzer hat eine geschlossene Lösung β_hat = (X^T X)^{-1} X^T y, vorausgesetzt die Matrix X^T X ist invertierbar. Unter den Gauß-Markov-Annahmen ist OLS der beste lineare unverzerrte Schätzer (BLUE).
Schätzmethoden und Varianten
Lineare Regressionsmodelle werden oft mit dem Ansatz der kleinsten Quadrate angepasst, können aber auch durch Minimierung der Anpassungsfehler in anderen Normen angepasst werden, wie z.B. Regression mit minimalen absoluten Abweichungen, oder durch Minimierung einer penalisierten Version der Kostenfunktion der kleinsten Quadrate. Die Ridge-Regression fügt den Koeffizienten eine L2-Norm-Strafe hinzu, die sie gegen Null schrumpft und bei Multikollinearität hilft. Lasso (Least Absolute Shrinkage and Selection Operator) fügt eine L1-Norm-Strafe hinzu, die einige Koeffizienten exakt auf Null setzen kann und so Variablenselektion durchführt. Das Elastic Net kombiniert beide Strafen.
Die Verwendung des mittleren quadratischen Fehlers (MSE) als Kostenfunktion auf einem Datensatz mit vielen großen Ausreißern kann zu einem Modell führen, das die Ausreißer mehr anpasst als die tatsächlichen Daten, da MSE großen Fehlern eine höhere Bedeutung beimisst. Daher sollten Kostenfunktionen, die robust gegenüber Ausreißern sind, wie der Huber-Verlust oder die Quantilsregression, verwendet werden, wenn der Datensatz viele große Ausreißer aufweist. Umgekehrt kann der Ansatz der kleinsten Quadrate verwendet werden, um Modelle anzupassen, die keine linearen Modelle sind, wie z.B. polynomiale Regression, durch Transformation der Prädiktoren. Obwohl die Begriffe „kleinste Quadrate“ und „lineares Modell“ eng miteinander verbunden sind, sind sie also nicht synonym.
Anwendungen in Vorhersage und Inferenz
Die lineare Regression hat viele praktische Anwendungen, die in zwei große Kategorien fallen. Erstens, wenn das Ziel Vorhersage oder Prognose ist, kann die lineare Regression ein Vorhersagemodell an einen beobachteten Datensatz anpassen, das Fehler oder Varianz minimiert. Nach der Entwicklung eines solchen Modells kann, wenn zusätzliche Werte der erklärenden Variablen ohne zugehörigen Antwortwert gesammelt werden, das angepasste Modell verwendet werden, um die Antwort vorherzusagen. Dies ist in Bereichen wie Wirtschaft, Finanzen und Umweltwissenschaften üblich.
Zweitens, wenn das Ziel darin besteht, die Variation in der Antwortvariablen zu erklären, kann die lineare Regressionsanalyse die Stärke der Beziehung zwischen der Antwort und den erklärenden Variablen quantifizieren. Sie kann bestimmen, ob einige erklärende Variablen überhaupt keine lineare Beziehung zur Antwort haben, oder identifizieren, welche Teilmengen der erklärenden Variablen redundante Informationen enthalten. Dies wird in Sozialwissenschaften, Epidemiologie und Marketinganalytik weit verbreitet eingesetzt.
Die lineare Regression dient auch als grundlegender Baustein im Machine Learning. Sie ist ein einfaches, interpretierbares Modell, das oft als Basislinie für komplexere Algorithmen verwendet wird. Viele moderne Techniken wie neuronale Netze und Deep Learning können als Verallgemeinerungen linearer Modelle betrachtet werden. Im überwachten Lernen wird die lineare Regression für Regressionsaufgaben verwendet, bei denen die Ausgabe ein kontinuierlicher Wert ist, und sie wird oft mit flexibleren Modellen wie Entscheidungsbäumen oder Support-Vektor-Maschinen verglichen.
Einschränkungen und Erweiterungen
Die lineare Regression nimmt eine lineare Beziehung zwischen der Antwort und den Prädiktoren an, die in realen Daten möglicherweise nicht zutrifft. Sie ist empfindlich gegenüber Ausreißern und kann überanpassen, wenn die Anzahl der Prädiktoren im Verhältnis zur Anzahl der Beobachtungen groß ist. Multikollinearität unter den Prädiktoren kann die Varianz der Koeffizientenschätzungen aufblähen. Um diese Probleme zu adressieren, wurden Erweiterungen wie polynomiale Regression, verallgemeinerte lineare Modelle (GLMs) und Regularisierungsmethoden entwickelt.
Trotz ihrer Einfachheit bleibt die lineare Regression eines der am weitesten verbreiteten statistischen Werkzeuge. Ihre Interpretierbarkeit und rechnerische Effizienz machen sie zu einem Grundpfeiler in den Lehrplänen der Statistik und des Machine Learning. In den 2020er Jahren bleibt sie eine grundlegende Technik in der Datenwissenschaft, die oft als erster Schritt in der explorativen Analyse und als Benchmark für komplexere Modelle dient.