A estimativa de máxima verossimilhança (EMV) é um método fundamental em estatística para estimar os parâmetros desconhecidos de uma distribuição de probabilidade. A ideia central é selecionar os valores dos parâmetros que tornam os dados observados mais prováveis sob o modelo estatístico assumido. Isso é alcançado construindo uma função de verossimilhança, que representa a probabilidade de observar os dados fornecidos como uma função dos parâmetros, e então encontrando os valores dos parâmetros que maximizam essa função. A EMV é amplamente aplicada em campos como Machine learning, econometria e Artificial intelligence devido às suas propriedades desejáveis, incluindo consistência e eficiência sob condições regulares.
O conceito foi desenvolvido pela primeira vez por Sir Ronald Fisher no início do século XX, com base em trabalhos anteriores de Carl Friedrich Gauss e outros. Fisher introduziu formalmente o método em um artigo de 1912 e o expandiu em publicações subsequentes, estabelecendo seus fundamentos teóricos. O método ganhou destaque nas décadas de 1920 e 1930 como uma pedra angular da inferência estatística, e permanece uma ferramenta padrão tanto na análise de dados clássica quanto na moderna.
Formulação Matemática
Dado um conjunto de observações independentes e identicamente distribuídas \(x_1, x_2, \ldots, x_n\) extraídas de uma distribuição de probabilidade com função de densidade de probabilidade (ou função de massa) \(f(x; \theta)\), onde \(\theta\) é um vetor de parâmetros desconhecidos, a função de verossimilhança é definida como:
\[ L(\theta) = \prod_{i=1}^n f(x_i; \theta) \]
Na prática, é frequentemente mais conveniente trabalhar com o logaritmo natural da verossimilhança, chamado de log-verossimilhança, porque ele converte o produto em uma soma e simplifica a diferenciação:
\[ \ell(\theta) = \log L(\theta) = \sum_{i=1}^n \log f(x_i; \theta) \]
A estimativa de máxima verossimilhança \(\hat{\theta}\) é o valor de \(\theta\) que maximiza \(\ell(\theta)\), tipicamente encontrado definindo a derivada da log-verossimilhança em relação a \(\theta\) como zero e resolvendo as equações resultantes. Para muitas distribuições comuns, existem soluções de forma fechada, enquanto outras requerem métodos de otimização numérica, como ascensão de gradiente ou o algoritmo de Newton-Raphson.
Propriedades e Justificativa
Os estimadores de EMV possuem várias propriedades assintóticas desejáveis quando certas condições de regularidade são atendidas. Eles são consistentes, o que significa que, à medida que o tamanho da amostra aumenta, as estimativas convergem em probabilidade para os valores verdadeiros dos parâmetros. Eles também são assintoticamente normais, com a distribuição do estimador se aproximando de uma distribuição normal centrada no parâmetro verdadeiro, e assintoticamente eficientes, alcançando a menor variância possível, conforme descrito pelo limite inferior de Cramér-Rao. Essas propriedades tornam a EMV uma escolha preferida em muitas aplicações estatísticas.
No entanto, a EMV pode ser enviesada em amostras finitas, e seu desempenho depende da correção do modelo assumido. Se o modelo for especificado incorretamente, as estimativas podem ser inconsistentes. Além disso, para modelos complexos com muitos parâmetros, a superfície de verossimilhança pode ter múltiplos máximos locais, exigindo estratégias cuidadosas de otimização.
Aplicações em Aprendizado de Máquina
Em Machine learning, a EMV serve como base para muitos algoritmos de aprendizado supervisionado e não supervisionado. Por exemplo, a regressão logística estima seus coeficientes maximizando a verossimilhança dos resultados binários observados. Da mesma forma, o treinamento de Neural network frequentemente usa princípios de máxima verossimilhança, onde a função de perda corresponde à log-verossimilhança negativa dos dados sob a distribuição de saída do modelo. Para tarefas de classificação com saídas softmax, isso é equivalente a minimizar a perda de entropia cruzada.
Em Deep learning, a EMV sustenta o treinamento de modelos generativos, incluindo sistemas de Generative AI. Autoencoders variacionais e fluxos normalizadores maximizam explicitamente a verossimilhança ou seu limite inferior. Grandes modelos de linguagem, como os desenvolvidos por OpenAI e Anthropic, são treinados usando estimativa de máxima verossimilhança em tarefas de previsão do próximo token, onde o objetivo é maximizar a probabilidade da sequência observada de tokens.
Extensões e Variações
Várias extensões da EMV abordam suas limitações. A estimativa máxima a posteriori (MAP) incorpora informações prévias maximizando a distribuição posterior, que é proporcional à verossimilhança vezes a priori. Métodos de verossimilhança penalizada, como regressão ridge ou lasso, adicionam termos de regularização à log-verossimilhança para prevenir overfitting. O algoritmo de expectativa-maximização (EM) lida com modelos com variáveis latentes, iterativamente calculando valores esperados e maximizando a verossimilhança em um processo de duas etapas.
Abordagens bayesianas, embora distintas da EMV, frequentemente usam a função de verossimilhança como um componente. Em contraste com a EMV, que fornece estimativas pontuais, a inferência bayesiana produz distribuições posteriores completas sobre os parâmetros. Apesar dessa diferença, a EMV pode ser vista como um caso especial de estimação bayesiana com uma priori uniforme.
Desenvolvimento Histórico
As origens do método remontam ao século XVIII, com Daniel Bernoulli e, mais tarde, Gauss usando ideias semelhantes para problemas específicos. No entanto, foi Ronald Fisher quem formalizou o framework geral em seu artigo de 1912 "On an Absolute Criterion for Fitting Frequency Curves". O trabalho subsequente de Fisher na década de 1920 estabeleceu o princípio da verossimilhança e as propriedades dos estimadores de máxima verossimilhança. O método ganhou adoção generalizada após a publicação de seu influente artigo de 1922 "On the Mathematical Foundations of Theoretical Statistics". Desde então, a EMV se tornou um tópico padrão nos currículos de estatística e uma ferramenta prática na pesquisa científica.
Considerações Computacionais
Para muitas aplicações do mundo real, a função de verossimilhança é complexa demais para maximização analítica. Técnicas de otimização numérica, como métodos baseados em gradiente, são empregadas. Em frameworks de Machine learning, a diferenciação automática permite o cálculo eficiente de gradientes da log-verossimilhança em relação aos parâmetros, possibilitando o treinamento escalável de modelos com milhões de parâmetros. Hardware especializado, incluindo GPU (in AI)s e chips AWS Trainium, acelera esses cálculos, tornando o treinamento baseado em EMV viável para modelos de grande escala.
Apesar de sua idade, a EMV permanece uma área vibrante de pesquisa, com trabalho contínuo em estimação robusta, configurações de alta dimensão e conexões com a teoria da informação. Sua simplicidade e garantias teóricas garantem sua relevância contínua tanto na estatística quanto na Artificial intelligence moderna.