L'estimation par maximum de vraisemblance (EMV) est une méthode fondamentale en statistique pour estimer les paramètres inconnus d'une distribution de probabilité. L'idée centrale est de sélectionner les valeurs des paramètres qui rendent les données observées les plus probables sous le modèle statistique supposé. Cela est réalisé en construisant une fonction de vraisemblance, qui représente la probabilité d'observer les données données en fonction des paramètres, puis en trouvant les valeurs des paramètres qui maximisent cette fonction. L'EMV est largement appliquée dans des domaines tels que l'apprentissage automatique, l'économétrie et l'intelligence artificielle en raison de ses propriétés souhaitables, notamment la convergence et l'efficacité sous des conditions régulières.
Le concept a été développé pour la première fois par Sir Ronald Fisher au début du XXe siècle, en s'appuyant sur des travaux antérieurs de Carl Friedrich Gauss et d'autres. Fisher a formellement introduit la méthode dans un article de 1912 et l'a développée dans des publications ultérieures, établissant ses fondements théoriques. La méthode a gagné en importance dans les années 1920 et 1930 en tant que pierre angulaire de l'inférence statistique, et elle reste un outil standard dans l'analyse de données classique et moderne.
Formulation mathématique
Étant donné un ensemble d'observations indépendantes et identiquement distribuées \(x_1, x_2, \ldots, x_n\) tirées d'une distribution de probabilité avec une fonction de densité de probabilité (ou fonction de masse) \(f(x; \theta)\), où \(\theta\) est un vecteur de paramètres inconnus, la fonction de vraisemblance est définie comme :
\[ L(\theta) = \prod_{i=1}^n f(x_i; \theta) \]
En pratique, il est souvent plus pratique de travailler avec le logarithme naturel de la vraisemblance, appelé log-vraisemblance, car il convertit le produit en une somme et simplifie la différenciation :
\[ \ell(\theta) = \log L(\theta) = \sum_{i=1}^n \log f(x_i; \theta) \]
L'estimation par maximum de vraisemblance \(\hat{\theta}\) est la valeur de \(\theta\) qui maximise \(\ell(\theta)\), généralement trouvée en fixant la dérivée de la log-vraisemblance par rapport à \(\theta\) à zéro et en résolvant les équations résultantes. Pour de nombreuses distributions courantes, des solutions de forme fermée existent, tandis que d'autres nécessitent des méthodes d'optimisation numérique telles que la montée de gradient ou l'algorithme de Newton-Raphson.
Propriétés et justification
Les estimateurs EMV possèdent plusieurs propriétés asymptotiques souhaitables lorsque certaines conditions de régularité sont remplies. Ils sont convergents, ce qui signifie que lorsque la taille de l'échantillon augmente, les estimations convergent en probabilité vers les vraies valeurs des paramètres. Ils sont également asymptotiquement normaux, avec la distribution de l'estimateur approchant une distribution normale centrée sur le vrai paramètre, et asymptotiquement efficaces, atteignant la variance la plus faible possible comme décrit par la borne de Cramér-Rao. Ces propriétés font de l'EMV un choix privilégié dans de nombreuses applications statistiques.
Cependant, l'EMV peut être biaisé dans des échantillons finis, et sa performance dépend de la justesse du modèle supposé. Si le modèle est mal spécifié, les estimations peuvent être non convergentes. De plus, pour des modèles complexes avec de nombreux paramètres, la surface de vraisemblance peut avoir plusieurs maxima locaux, nécessitant des stratégies d'optimisation soigneuses.
Applications en apprentissage automatique
Dans l'apprentissage automatique, l'EMV sert de fondement à de nombreux algorithmes d'apprentissage supervisé et non supervisé. Par exemple, la régression logistique estime ses coefficients en maximisant la vraisemblance des résultats binaires observés. De même, l'entraînement de réseaux de neurones utilise souvent les principes du maximum de vraisemblance, où la fonction de perte correspond à la log-vraisemblance négative des données sous la distribution de sortie du modèle. Pour les tâches de classification avec des sorties softmax, cela équivaut à minimiser la perte d'entropie croisée.
Dans l'apprentissage profond, l'EMV sous-tend l'entraînement des modèles génératifs, y compris les systèmes de IA générative. Les autoencodeurs variationnels et les flux normalisants maximisent explicitement la vraisemblance ou sa borne inférieure. Les grands modèles de langage, tels que ceux développés par OpenAI et Anthropic, sont entraînés en utilisant l'estimation par maximum de vraisemblance sur des tâches de prédiction du prochain jeton, où l'objectif est de maximiser la probabilité de la séquence de jetons observée.
Extensions et variations
Plusieurs extensions de l'EMV abordent ses limites. L'estimation du maximum a posteriori (MAP) intègre des informations a priori en maximisant la distribution postérieure, qui est proportionnelle à la vraisemblance multipliée par l'a priori. Les méthodes de vraisemblance pénalisée, telles que la régression ridge ou lasso, ajoutent des termes de régularisation à la log-vraisemblance pour éviter le surapprentissage. L'algorithme d'espérance-maximisation (EM) traite les modèles avec des variables latentes, calculant itérativement les valeurs attendues et maximisant la vraisemblance dans un processus en deux étapes.
Les approches bayésiennes, bien que distinctes de l'EMV, utilisent souvent la fonction de vraisemblance comme composant. Contrairement à l'EMV, qui fournit des estimations ponctuelles, l'inférence bayésienne donne des distributions postérieures complètes sur les paramètres. Malgré cette différence, l'EMV peut être considéré comme un cas particulier de l'estimation bayésienne avec un a priori uniforme.
Développement historique
Les origines de la méthode remontent au XVIIIe siècle, avec Daniel Bernoulli et plus tard Gauss utilisant des idées similaires pour des problèmes spécifiques. Cependant, c'est Ronald Fisher qui a formalisé le cadre général dans son article de 1912 « On an Absolute Criterion for Fitting Frequency Curves ». Les travaux ultérieurs de Fisher dans les années 1920 ont établi le principe de vraisemblance et les propriétés des estimateurs du maximum de vraisemblance. La méthode a été largement adoptée après la publication de son article influent de 1922 « On the Mathematical Foundations of Theoretical Statistics ». Depuis lors, l'EMV est devenu un sujet standard dans les programmes de statistique et un outil pratique dans la recherche scientifique.
Considérations computationnelles
Pour de nombreuses applications réelles, la fonction de vraisemblance est trop complexe pour une maximisation analytique. Des techniques d'optimisation numérique, telles que les méthodes basées sur le gradient, sont employées. Dans les cadres de apprentissage automatique, la différenciation automatique permet un calcul efficace des gradients de la log-vraisemblance par rapport aux paramètres, permettant un entraînement évolutif de modèles avec des millions de paramètres. Le matériel spécialisé, y compris les GPU et les puces AWS Trainium, accélère ces calculs, rendant l'entraînement basé sur l'EMV réalisable pour des modèles à grande échelle.
Malgré son âge, l'EMV reste un domaine de recherche dynamique, avec des travaux en cours sur l'estimation robuste, les contextes de haute dimension et les connexions avec la théorie de l'information. Sa simplicité et ses garanties théoriques assurent sa pertinence continue dans les statistiques et l'intelligence artificielle moderne.