El algoritmo de maximización de expectativas (EM) es un método iterativo utilizado en estadística para encontrar estimaciones de máxima verosimilitud o máxima probabilidad a posteriori de parámetros en modelos estadísticos donde el modelo depende de variables latentes no observadas. Es particularmente útil cuando las ecuaciones para los parámetros no pueden resolverse directamente, como en modelos de mezclas o cuando los datos contienen valores faltantes.
La iteración EM alterna entre un paso de expectativa (E), que calcula la log-verosimilitud esperada de los datos completos dados los estimados de parámetros actuales, y un paso de maximización (M), que actualiza los parámetros maximizando esa log-verosimilitud esperada. Estos estimados de parámetros actualizados se utilizan luego en el siguiente paso E, y el proceso se repite hasta la convergencia. Se garantiza que el algoritmo converge a un máximo local o punto de silla de la función de verosimilitud, pero no necesariamente al máximo global.
Desarrollo histórico
El algoritmo EM fue nombrado y explicado formalmente en un artículo de 1977 de Arthur Dempster, Nan Laird y Donald Rubin, conocido posteriormente como el artículo DLR. Ese trabajo estableció el método como una herramienta central del análisis estadístico. Sin embargo, autores anteriores habían propuesto la técnica en casos específicos.
Un precursor fue el método de conteo de genes desarrollado por Cedric Smith para estimar frecuencias alélicas. H.O. Hartley también propuso una versión temprana en 1958, y Hartley y Hocking la ampliaron en 1977. Rolf Sundberg proporcionó un tratamiento detallado para familias exponenciales en su tesis y artículos posteriores, tras colaborar con Per Martin-Löf y Anders Martin-Löf.
El artículo DLR de 1977 generalizó estos métodos anteriores y esbozó un análisis de convergencia para una amplia clase de problemas. Sin embargo, ese análisis tenía deficiencias, y una prueba de convergencia correcta fue publicada posteriormente en 1983 por C. F. Jeff Wu, quien estableció la convergencia también fuera de la familia exponencial.
Idea central y ecuaciones entrelazadas
En modelos estadísticos con variables latentes, la estimación por máxima verosimilitud típicamente requiere resolver ecuaciones que involucran ambas cadenas. La solución de los parámetros requiere los valores de las variables latentes, y estos requieren los parámetros, lo que lleva a un sistema mutuamente interdependiente que no puede resolverse analíticamente.
El algoritmo EM resuelve esto inicializando un conjunto de valores (a menudo conjeturas arbitrarias para los parámetros) y alternando entre pasos de estimación. Por ejemplo, puede estimar variables latentes basándose en los parámetros actuales, luego usar esas variables latentes para actualizar los parámetros, repitiendo el ciclo hasta que ambos conjuntos converjan a un punto fijo. Aunque intuitivamente simple, el método tiene una propiedad de convergencia probada: la derivada de la verosimilitud se aproxima a cero en el punto final.
Aplicaciones y limitaciones
Una aplicación común es estimar los parámetros de una mezcla de gaussianas, donde cada punto de datos observado pertenece a un componente de mezcla no observado. EM también puede usarse para regresión lineal múltiple con datos faltantes, aunque a menudo se aplica en dominios como Machine learning, Artificial intelligence y otros campos con estructuras latentes.
Una limitación es que EM puede converger a un máximo local en lugar del máximo global, y algunas verosimilitudes pueden tener singularidades. En modelos de mezclas, por ejemplo, puede ocurrir una solución con máximos sin sentido si a un componente se le asigna varianza cero, lo cual es problemático pero un resultado conocido del procedimiento iterativo.
Extensiones y notas prácticas
Las extensiones de EM, como el algoritmo de maximización condicional de expectativas (ECM) o el EM de Monte Carlo, abordan posibles problemas de convergencia o complejidad computacional. En la práctica, EM se elige cuando la verosimilitud de datos completos es más simple de optimizar que la verosimilitud marginal, incluso si los datos observados son incompletos. Sigue siendo un método fundamental para estimar parámetros con variables latentes, con relevancia amplia en estadística.
Referencias
El nombre del artículo DLR y el análisis de convergencia de Wu en 1983 definen la formulación moderna. Libros de texto de autores como Christopher Bishop (Pattern Recognition and Machine Learning) y Chris Bishop proporcionan tratamientos detallados, vinculando EM con temas más amplios en modelado probabilístico y otros algoritmos de aprendizaje.