La régression linéaire est un modèle statistique qui estime la relation entre une réponse scalaire (variable dépendante) et une ou plusieurs variables explicatives (régresseurs ou variables indépendantes). Un modèle avec exactement une variable explicative est appelé régression linéaire simple ; un modèle avec deux variables explicatives ou plus est appelé régression linéaire multiple. Ce terme est distinct de la régression linéaire multivariée, qui prédit plusieurs variables dépendantes corrélées plutôt qu'une seule variable dépendante.
Les relations dans la régression linéaire sont modélisées à l'aide de fonctions de prédiction linéaires dont les paramètres inconnus sont estimés à partir des données. Le plus souvent, la moyenne conditionnelle de la réponse étant donné les valeurs des variables explicatives est supposée être une fonction affine de ces valeurs ; moins couramment, la médiane conditionnelle ou un autre quantile est utilisé. Comme toutes les formes d'analyse de régression, la régression linéaire se concentre sur la distribution de probabilité conditionnelle de la réponse étant donné les prédicteurs, plutôt que sur la distribution de probabilité conjointe de toutes les variables, qui relève du domaine de l'analyse multivariée.
La régression linéaire est également un type d'algorithme d'apprentissage automatique, plus précisément un algorithme supervisé, qui apprend à partir d'ensembles de données étiquetés et mappe les points de données vers une fonction linéaire optimisée qui peut être utilisée pour la prédiction sur de nouveaux ensembles de données. Ce fut le premier type d'analyse de régression à être étudié rigoureusement et utilisé de manière intensive dans des applications pratiques, car les modèles qui dépendent linéairement de leurs paramètres inconnus sont plus faciles à ajuster que les modèles non linéaires, et les propriétés statistiques des estimateurs résultants sont plus faciles à déterminer.
Développement historique
La méthode des moindres carrés, qui est centrale dans la régression linéaire, a été publiée pour la première fois par Adrien-Marie Legendre en 1805 et indépendamment par Carl Friedrich Gauss en 1809. Gauss a affirmé avoir utilisé la méthode depuis 1795, et ses travaux ont établi les fondements théoriques de la distribution normale et du théorème de Gauss-Markov. Les premières applications comprenaient des calculs astronomiques, la géodésie et la prédiction des orbites planétaires. À la fin du XIXe siècle, la régression linéaire était devenue un outil standard dans les sciences sociales et biologiques, notamment grâce aux travaux de Francis Galton, qui a introduit le terme « régression » dans le contexte de l'hérédité, et de Karl Pearson, qui a formalisé l'analyse de corrélation et de régression.
Au XXe siècle, le développement de méthodes computationnelles et l'essor des statistiques en tant que discipline ont élargi l'applicabilité de la régression linéaire. L'introduction de la notation matricielle et du modèle linéaire général par Ronald Fisher dans les années 1920 a unifié la régression avec l'analyse de la variance. Plus tard, la disponibilité des ordinateurs électroniques dans les années 1950 et 1960 a rendu possible l'ajustement de grands modèles de régression, conduisant à une utilisation généralisée en économie, en ingénierie et dans les sciences naturelles.
Formulation mathématique
Étant donné un ensemble de données de n unités statistiques, un modèle de régression linéaire suppose que la relation entre la variable dépendante y et le vecteur de régresseurs x est linéaire. Cette relation est modélisée par un terme de perturbation ou une variable d'erreur ε, une variable aléatoire non observée qui ajoute du bruit à la relation linéaire. Le modèle prend la forme :
y_i = β_0 + β_1 x_i1 + ... + β_p x_ip + ε_i = x_i^T β + ε_i, pour i = 1, ..., n,
où β est un vecteur de paramètres inconnus, et x_i^T β est le produit scalaire entre les vecteurs x_i et β. Souvent, ces n équations sont empilées ensemble en notation matricielle comme y = Xβ + ε, où X est une matrice de conception n × (p+1).
Les paramètres β sont généralement estimés en minimisant une fonction de coût. L'approche la plus courante est la méthode des moindres carrés ordinaires (MCO), qui minimise la somme des carrés des résidus. L'estimateur MCO a une solution de forme fermée β_hat = (X^T X)^{-1} X^T y, à condition que la matrice X^T X soit inversible. Sous les hypothèses de Gauss-Markov, MCO est le meilleur estimateur linéaire sans biais (BLUE).
Méthodes d'estimation et variantes
Les modèles de régression linéaire sont souvent ajustés en utilisant l'approche des moindres carrés, mais ils peuvent également être ajustés en minimisant le manque d'ajustement dans d'autres normes, comme la régression par moindres écarts absolus, ou en minimisant une version pénalisée de la fonction de coût des moindres carrés. La régression ridge ajoute une pénalité de norme L2 aux coefficients, ce qui les réduit vers zéro et aide en cas de multicolinéarité. Le lasso (opérateur de sélection et de rétrécissement absolu des moindres) ajoute une pénalité de norme L1, ce qui peut fixer certains coefficients exactement à zéro, effectuant une sélection de variables. Le filet élastique combine les deux pénalités.
L'utilisation de l'erreur quadratique moyenne (EQM) comme coût sur un ensemble de données avec de nombreuses grandes valeurs aberrantes peut aboutir à un modèle qui s'ajuste davantage aux valeurs aberrantes qu'aux données réelles, car l'EQM accorde une importance plus élevée aux grandes erreurs. Par conséquent, des fonctions de coût robustes aux valeurs aberrantes, telles que la perte de Huber ou la régression quantile, doivent être utilisées si l'ensemble de données contient de nombreuses grandes valeurs aberrantes. Inversement, l'approche des moindres carrés peut être utilisée pour ajuster des modèles qui ne sont pas des modèles linéaires, comme la régression polynomiale, en transformant les prédicteurs. Ainsi, bien que les termes « moindres carrés » et « modèle linéaire » soient étroitement liés, ils ne sont pas synonymes.
Applications en prédiction et inférence
La régression linéaire a de nombreuses utilisations pratiques, qui se répartissent en deux grandes catégories. Premièrement, si l'objectif est la prédiction ou la prévision, la régression linéaire peut ajuster un modèle prédictif à un ensemble de données observé, en minimisant l'erreur ou la variance. Après avoir développé un tel modèle, si des valeurs supplémentaires des variables explicatives sont collectées sans valeur de réponse correspondante, le modèle ajusté peut être utilisé pour prédire la réponse. Cela est courant dans des domaines tels que l'économie, la finance et les sciences de l'environnement.
Deuxièmement, si l'objectif est d'expliquer la variation de la variable de réponse, l'analyse de régression linéaire peut quantifier la force de la relation entre la réponse et les variables explicatives. Elle peut déterminer si certaines variables explicatives n'ont aucune relation linéaire avec la réponse, ou identifier quels sous-ensembles de variables explicatives contiennent des informations redondantes. Cela est largement utilisé dans les sciences sociales, l'épidémiologie et l'analyse marketing.
La régression linéaire sert également de bloc de construction fondamental dans l'apprentissage automatique. C'est un modèle simple et interprétable qui est souvent utilisé comme référence pour des algorithmes plus complexes. De nombreuses techniques modernes, telles que les réseaux de neurones et l'apprentissage profond, peuvent être considérées comme des généralisations des modèles linéaires. Dans l'apprentissage supervisé, la régression linéaire est utilisée pour les tâches de régression, où la sortie est une valeur continue, et elle est souvent comparée à des modèles plus flexibles comme les arbres de décision ou les machines à vecteurs de support.
Limites et extensions
La régression linéaire suppose une relation linéaire entre la réponse et les prédicteurs, ce qui peut ne pas être le cas dans les données du monde réel. Elle est sensible aux valeurs aberrantes et peut surajuster si le nombre de prédicteurs est grand par rapport au nombre d'observations. La multicolinéarité entre les prédicteurs peut gonfler la variance des estimations des coefficients. Pour résoudre ces problèmes, des extensions telles que la régression polynomiale, les modèles linéaires généralisés (MLG) et les méthodes de régularisation ont été développées.
Malgré sa simplicité, la régression linéaire reste l'un des outils statistiques les plus utilisés. Son interprétabilité et son efficacité computationnelle en font un pilier des programmes d'études en statistiques et en apprentissage automatique. Dans les années 2020, elle continue d'être une technique fondamentale en science des données, servant souvent de première étape dans l'analyse exploratoire et de référence pour des modèles plus complexes.