L'algorithme espérance-maximisation (EM) est une méthode itérative utilisée en statistiques pour trouver les estimations du maximum de vraisemblance ou du maximum a posteriori des paramètres dans des modèles statistiques où le modèle dépend de variables latentes non observées. Il est particulièrement utile lorsque les équations des paramètres ne peuvent pas être résolues directement, comme dans les modèles de mélange ou lorsque les données contiennent des valeurs manquantes.
L'itération EM alterne entre une étape d'espérance (E), qui calcule la log-vraisemblance attendue des données complètes étant donné les estimations actuelles des paramètres, et une étape de maximisation (M), qui met à jour les paramètres en maximisant cette log-vraisemblance attendue. Ces estimations mises à jour des paramètres sont ensuite utilisées dans l'étape E suivante, et le processus se répète jusqu'à convergence. L'algorithme est garanti de converger vers un maximum local ou un point selle de la fonction de vraisemblance, mais pas nécessairement vers le maximum global.
Développement historique
L'algorithme EM a été formellement nommé et expliqué dans un article de 1977 par Arthur Dempster, Nan Laird et Donald Rubin, connu plus tard sous le nom d'article DLR. Ce travail a établi la méthode comme un outil central de l'analyse statistique. Cependant, des auteurs antérieurs avaient proposé la technique dans des cas spécifiques.
Un précurseur était la méthode de comptage de gènes développée par Cedric Smith pour estimer les fréquences alléliques. H.O. Hartley a également proposé une version précoce en 1958, et Hartley et Hocking l'ont développée en 1977. Rolf Sundberg a fourni un traitement détaillé pour les familles exponentielles dans sa thèse et ses articles ultérieurs, suite à une collaboration avec Per Martin-Löf et Anders Martin-Löf.
L'article DLR de 1977 a généralisé ces méthodes antérieures et a esquissé une analyse de convergence pour une large classe de problèmes. Cependant, cette analyse présentait des lacunes, et une preuve de convergence correcte a été publiée plus tard en 1983 par C. F. Jeff Wu, qui a établi la convergence en dehors de la famille exponentielle également.
Idée centrale et équations imbriquées
Dans les modèles statistiques avec variables latentes, l'estimation du maximum de vraisemblance nécessite généralement de résoudre des équations qui impliquent les deux chaînes. La solution des paramètres nécessite les valeurs des variables latentes, et celles-ci nécessitent les paramètres, conduisant à un système mutuellement interdépendant qui ne peut pas être résolu analytiquement.
L'algorithme EM résout cela en initialisant un ensemble de valeurs (souvent des suppositions arbitraires pour les paramètres) et en alternant entre les étapes d'estimation. Par exemple, il peut estimer les variables latentes en fonction des paramètres actuels, puis utiliser ces variables latentes pour mettre à jour les paramètres, répétant le cycle jusqu'à ce que les deux ensembles convergent vers un point fixe. Bien que intuitivement simple, la méthode a une propriété de convergence prouvée : la dérivée de la vraisemblance s'approche de zéro au point final.
Applications et limites
Une application courante est l'estimation des paramètres d'un mélange de gaussiennes, où chaque point de données observé appartient à une composante de mélange non observée. EM peut également être utilisé pour la régression linéaire multiple avec données manquantes, bien qu'il soit souvent appliqué dans des domaines comme apprentissage automatique, intelligence artificielle et d'autres domaines avec des structures latentes.
Une limite est que EM peut converger vers un maximum local plutôt que vers le maximum global, et certaines vraisemblances peuvent avoir des singularités. Dans les modèles de mélange, par exemple, une solution avec des maxima non pertinents peut se produire si une composante se voit attribuer une variance nulle, ce qui est problématique mais un résultat connu de la procédure itérative.
Extensions et notes pratiques
Des extensions de EM, telles que l'algorithme d'espérance-maximisation conditionnelle (ECM) ou le Monte Carlo EM, abordent les problèmes potentiels de convergence ou la complexité computationnelle. En pratique, EM est choisi lorsque la vraisemblance des données complètes est plus simple à optimiser que la vraisemblance marginale, même si les données observées sont incomplètes. Il reste une méthode fondamentale pour estimer les paramètres avec des variables latentes, avec une pertinence large en statistiques.
Références
Le nom de l'article DLR et l'analyse de convergence par Wu en 1983 définissent la formulation moderne. Les manuels d'auteurs comme Christopher Bishop (Pattern Recognition and Machine Learning) et Chris Bishop fournissent des traitements détaillés, reliant EM à des sujets plus larges en modélisation probabiliste et à d'autres algorithmes d'apprentissage.