El algoritmo de expectación-maximización (EM) es un método iterativo en estadística y aprendizaje automático para encontrar estimaciones de máxima verosimilitud local o máximo a posteriori de parámetros en modelos estadísticos que dependen de variables latentes no observadas. EM alterna entre un paso de expectación (E), que calcula una función para la log-verosimilitud esperada utilizando las estimaciones actuales de los parámetros, y un paso de maximización (M), que actualiza los parámetros para maximizar esa log-verosimilitud esperada. Estas estimaciones actualizadas informan el siguiente paso E, y el proceso se repite hasta la convergencia.
En aprendizaje automático, EM es una herramienta central para modelos donde los datos son incompletos, como modelos de mezclas (por ejemplo, modelos de mezclas gaussianas) y modelos ocultos de Markov. Tiene aplicaciones en agrupamiento, segmentación de imágenes y estimación de parámetros para modelos gráficos probabilísticos, y sirve como base para la inferencia variacional más avanzada utilizada en modelos generativos profundos.
Historia
El algoritmo EM fue nombrado y explicado formalmente en un artículo de 1977 de Arthur Dempster, Nan Laird y Donald Rubin, pero el método había sido propuesto anteriormente para casos específicos. Cedric Smith utilizó el conteo de genes para estimar frecuencias alélicas, y H.O. Hartley introdujo un enfoque relacionado en 1958 que Hartley amplió con Hocking en 1977, proporcionando conceptos clave. Rolf Sundberg desarrolló un tratamiento detallado para familias exponenciales, influenciado por Per Martin-Löf y Anders Martin-Löf. El artículo de Dempster-Laird-Rubin generalizó el método y lo amplió para una clase más amplia, aunque su prueba de convergencia era defectuosa. C. F. Jeff Wu ofreció un análisis de convergencia corregido en 1983, estableciendo la validez de EM más allá de las familias exponenciales. El algoritmo se convirtió en un estándar en el análisis estadístico, y trabajos posteriores, como los de Meng y van Dyk (1997), lo refinaron aún más.
Pasos del Algoritmo
El algoritmo EM aborda problemas de optimización donde la función de verosimilitud contiene variables latentes, lo que hace imposible la maximización directa basada en derivadas en muchos casos. En su lugar, el algoritmo resuelve iterativamente ecuaciones entrelazadas: los parámetros dependen de las variables latentes, y las variables latentes dependen de los parámetros, lo que generalmente produce ecuaciones insolubles cuando se sustituyen directamente.
EM rompe este ciclo alternando entre dos pasos:
- Paso E: Dadas las estimaciones actuales de los parámetros de la iteración anterior, calcular el valor esperado de la log-verosimilitud con respecto a la distribución de las variables latentes, condicionada a los datos observados.
- Paso M: Maximizar la log-verosimilitud esperada con respecto a los parámetros, produciendo nuevas estimaciones que se garantiza que aumentan la verosimilitud de los datos observados o la mantienen constante (no decreciente). Esto se repite hasta la convergencia.
Si el modelo tiene variables latentes independientes, el paso E se simplifica a encontrar la estimación máxima a posteriori de las variables latentes, a menudo utilizando métodos como el algoritmo de Viterbi para modelos ocultos de Markov. Todo el proceso eventualmente alcanza un máximo local de la verosimilitud marginal, pero garantiza máximos locales, no el óptimo global. En modelos de mezclas, el procedimiento puede converger a una solución con singularidades, como cuando un componente tiene varianza cero y su media se alinea con un punto de datos.
Aplicaciones
EM se utiliza para mezclas de gaussianas estimadas y para resolver problemas de regresión lineal múltiple con datos faltantes. En aprendizaje automático, es un componente central en la sobre-expectación para modelos de variables latentes, incluidos modelos de mezclas gaussianas para agrupamiento, como se implementa en scikit-learn y otras bibliotecas. También sustenta algoritmos para cadenas de Markov para secuencias de texto y para segmentación de imágenes en visión por computadora.
El método ha sido adoptado en áreas como redes bayesianas y modelos gráficos probabilísticos, con influyentes como Michael Jordan y Daphne Koller aplicándolo a modelos estructurados. En entornos modernos, EM sirve como columna vertebral teórica para la optimización iterativa en modelos graphcore, aunque las redes neuronales profundas a menudo utilizan métodos basados en gradientes en su lugar.
Variantes y Extensiones
Varias variantes mejoran el EM base. El EM generalizado (GEM) relaja el paso M para encontrar parámetros que aumenten en lugar de maximizar la log-verosimilitud esperada. La maximización condicional de expectación (ECM) divide el paso M en sub-pasos más simples, lo que lo hace útil para parámetros restringidos. El EM de Monte Carlo utiliza muestreo estocástico (por ejemplo, cadenas de Markov Monte Carlo) en el paso E cuando la log-verosimilitud esperada no se puede calcular analíticamente. Estos métodos conservan la robustez central de EM pero abordan desafíos específicos en el costo computacional.
En IA generativa, las ideas de EM aparecen en el aprendizaje cuando los modelos tienen representaciones latentes, pero los modelos generativos como IA generativa ahora dependen de enfoques frecuentistas o probabilísticos adaptados para redes neuronales.
Límites y Consideraciones
EM no garantiza encontrar un máximo global; puede detenerse en un máximo local o un punto de silla. Puede ser sensible a las inicializaciones y, en algunos casos, las soluciones tienen una singularidad artificial. Además, el paso E asume que podemos calcular la log-verosimilitud esperada, lo que puede ser intratable para modelos complejos. Variantes como la inferencia variacional (una alternativa para inferencia aproximada) o métodos conjuntos pueden ser apropiadas. En contextos modernos de ML, los profesionales a menudo confían en EM por su simplicidad, pero para modelos GP profundos o redes neuronales, se prefiere la optimización basada en gradientes.
Véase También
- Aprendizaje automático
- Aprendizaje profundo
- Inteligencia artificial
- Universidad Carnegie Mellon (investigación en ML)
Referencias
- Dempster, A. P.; Laird, N. M.; Rubin, D. B. (1977). "Maximum Likelihood from Incomplete Data via the EM Algorithm". Journal of the Royal Statistical Society.
- Wu, C. F. J. (1983). On the convergence properties of the EM algorithm. Annals of Statistics.
- Hartley, H. O. (1958). Maximum likelihood estimation from incomplete data. Biometrics.
{, "infobox": {"type": "algorithm", "introduced": "1977", "introduced_by": "Arthur Dempster, Nan Laird, and Donald Rubin", "related": ["machine-learning", "artificial-intelligence", "deep-learning"]}, ", "categories": ["statistical-algorithms", "machine-learning", "latent-variable-models","optimization-methods"]}