O algoritmo de maximização de expectativa (EM) é um método iterativo usado em estatística para encontrar estimativas de máxima verossimilhança ou máxima a posteriori de parâmetros em modelos estatísticos onde o modelo depende de variáveis latentes não observadas. É particularmente útil quando as equações para os parâmetros não podem ser resolvidas diretamente, como em modelos de mistura ou quando os dados contêm valores ausentes.
A iteração EM alterna entre uma etapa de expectativa (E), que calcula a log-verossimilhança esperada dos dados completos dados os parâmetros atuais, e uma etapa de maximização (M), que atualiza os parâmetros maximizando essa log-verossimilhança esperada. Essas estimativas atualizadas dos parâmetros são então usadas na próxima etapa E, e o processo se repete até a convergência. O algoritmo é garantido a convergir para um máximo local ou ponto de sela da função de verossimilhança, mas não necessariamente o máximo global.
Desenvolvimento Histórico
O algoritmo EM foi formalmente nomeado e explicado em um artigo de 1977 por Arthur Dempster, Nan Laird e Donald Rubin, posteriormente conhecido como o artigo DLR. Esse trabalho estabeleceu o método como uma ferramenta central da análise estatística. No entanto, autores anteriores haviam proposto a técnica em casos específicos.
Um precursor foi o método de contagem de genes desenvolvido por Cedric Smith para estimar frequências alélicas. H.O. Hartley também propôs uma versão inicial em 1958, e Hartley e Hocking expandiram-na em 1977. Rolf Sundberg forneceu um tratamento detalhado para famílias exponenciais em sua tese e artigos subsequentes, após colaboração com Per Martin-Löf e Anders Martin-Löf.
O artigo DLR de 1977 generalizou esses métodos anteriores e esboçou uma análise de convergência para uma ampla classe de problemas. No entanto, essa análise tinha deficiências, e uma prova de convergência correta foi publicada posteriormente em 1983 por C. F. Jeff Wu, que estabeleceu a convergência também fora da família exponencial.
Ideia Central e Equações Interligadas
Em modelos estatísticos com variáveis latentes, a estimativa de máxima verossimilhança tipicamente requer resolver equações que envolvem ambas as cadeias. A solução para os parâmetros requer os valores das variáveis latentes, e estes requerem os parâmetros, levando a um sistema mutuamente interdependente que não pode ser resolvido analiticamente.
O algoritmo EM resolve isso inicializando um conjunto de valores (frequentemente suposições arbitrárias para os parâmetros) e alternando entre etapas de estimativa. Por exemplo, pode estimar variáveis latentes com base nos parâmetros atuais, depois usar essas variáveis latentes para atualizar os parâmetros, repetindo o ciclo até que ambos os conjuntos convinjam para um ponto fixo. Embora intuitivamente simples, o método tem uma propriedade de convergência comprovada: a derivada da verossimilhança se aproxima de zero no ponto final.
Aplicações e Limitações
Uma aplicação comum é estimar os parâmetros de uma mistura de gaussianas, onde cada ponto de dado observado pertence a um componente de mistura não observado. EM também pode ser usado para regressão linear múltipla com dados ausentes, embora seja frequentemente aplicado em domínios como aprendizado de máquina, inteligência artificial e outros campos com estruturas latentes.
Uma limitação é que EM pode convergir para um máximo local em vez do máximo global, e algumas verossimilhanças podem ter singularidades. Em modelos de mistura, por exemplo, uma solução com máximos sem sentido pode ocorrer se um componente for atribuído a variância zero, o que é problemático, mas um resultado conhecido do procedimento iterativo.
Extensões e Notas Práticas
Extensões do EM, como o algoritmo de maximização condicional de expectativa (ECM) ou o EM de Monte Carlo, abordam possíveis problemas de convergência ou complexidade computacional. Na prática, EM é escolhido quando a verossimilhança dos dados completos é mais simples de otimizar do que a verossimilhança marginal, mesmo que os dados observados sejam incompletos. Permanece um método fundamental para estimar parâmetros com variáveis latentes, com ampla relevância em estatística.
Referências
O nome do artigo DLR e a análise de convergência por Wu em 1983 definem a formulação moderna. Livros-texto de autores como Christopher Bishop (Pattern Recognition and Machine Learning) e Chris Bishop fornecem tratamentos detalhados, ligando EM a tópicos mais amplos em modelagem probabilística e outros algoritmos de aprendizado.