La estimación por máxima verosimilitud (EMV) es un método fundamental en estadística para estimar los parámetros desconocidos de una distribución de probabilidad. La idea central es seleccionar los valores de los parámetros que hacen que los datos observados sean los más probables bajo el modelo estadístico asumido. Esto se logra construyendo una función de verosimilitud, que representa la probabilidad de observar los datos dados como una función de los parámetros, y luego encontrando los valores de los parámetros que maximizan esta función. La EMV se aplica ampliamente en campos como el Machine learning, la econometría y la Artificial intelligence debido a sus propiedades deseables, incluyendo la consistencia y la eficiencia bajo condiciones regulares.
El concepto fue desarrollado por primera vez por Sir Ronald Fisher a principios del siglo XX, basándose en trabajos anteriores de Carl Friedrich Gauss y otros. Fisher introdujo formalmente el método en un artículo de 1912 y lo amplió en publicaciones posteriores, estableciendo sus fundamentos teóricos. El método ganó prominencia en las décadas de 1920 y 1930 como una piedra angular de la inferencia estadística, y sigue siendo una herramienta estándar tanto en el análisis de datos clásico como en el moderno.
Formulación matemática
Dado un conjunto de observaciones independientes e idénticamente distribuidas \(x_1, x_2, \ldots, x_n\) provenientes de una distribución de probabilidad con función de densidad (o función de masa) \(f(x; \theta)\), donde \(\theta\) es un vector de parámetros desconocidos, la función de verosimilitud se define como:
\[ L(\theta) = \prod_{i=1}^n f(x_i; \theta) \]
En la práctica, a menudo es más conveniente trabajar con el logaritmo natural de la verosimilitud, llamado log-verosimilitud, porque convierte el producto en una suma y simplifica la diferenciación:
\[ \ell(\theta) = \log L(\theta) = \sum_{i=1}^n \log f(x_i; \theta) \]
La estimación por máxima verosimilitud \(\hat{\theta}\) es el valor de \(\theta\) que maximiza \(\ell(\theta)\), típicamente encontrado igualando la derivada de la log-verosimilitud con respecto a \(\theta\) a cero y resolviendo las ecuaciones resultantes. Para muchas distribuciones comunes, existen soluciones de forma cerrada, mientras que otras requieren métodos de optimización numérica como el ascenso por gradiente o el algoritmo de Newton-Raphson.
Propiedades y justificación
Los estimadores de máxima verosimilitud poseen varias propiedades asintóticas deseables cuando se cumplen ciertas condiciones de regularidad. Son consistentes, lo que significa que a medida que el tamaño de la muestra aumenta, las estimaciones convergen en probabilidad a los verdaderos valores de los parámetros. También son asintóticamente normales, con la distribución del estimador aproximándose a una distribución normal centrada en el verdadero parámetro, y asintóticamente eficientes, logrando la varianza más baja posible según lo descrito por la cota de Cramér-Rao. Estas propiedades hacen que la EMV sea una opción preferida en muchas aplicaciones estadísticas.
Sin embargo, la EMV puede estar sesgada en muestras finitas, y su rendimiento depende de la correcta especificación del modelo. Si el modelo está mal especificado, las estimaciones pueden ser inconsistentes. Además, para modelos complejos con muchos parámetros, la superficie de verosimilitud puede tener múltiples máximos locales, lo que requiere estrategias de optimización cuidadosas.
Aplicaciones en el aprendizaje automático
En el Machine learning, la EMV sirve como base para muchos algoritmos de aprendizaje supervisado y no supervisado. Por ejemplo, la regresión logística estima sus coeficientes maximizando la verosimilitud de los resultados binarios observados. De manera similar, el entrenamiento de Neural network a menudo utiliza principios de máxima verosimilitud, donde la función de pérdida corresponde a la log-verosimilitud negativa de los datos bajo la distribución de salida del modelo. Para tareas de clasificación con salidas softmax, esto es equivalente a minimizar la pérdida de entropía cruzada.
En el Deep learning, la EMV sustenta el entrenamiento de modelos generativos, incluidos los sistemas de Generative AI. Los autoencoders variacionales y los flujos normalizadores maximizan explícitamente la verosimilitud o su límite inferior. Los modelos de lenguaje grandes, como los desarrollados por OpenAI y Anthropic, se entrenan utilizando estimación por máxima verosimilitud en tareas de predicción del siguiente token, donde el objetivo es maximizar la probabilidad de la secuencia de tokens observada.
Extensiones y variaciones
Varias extensiones de la EMV abordan sus limitaciones. La estimación máximo a posteriori (MAP) incorpora información previa maximizando la distribución posterior, que es proporcional a la verosimilitud multiplicada por la prior. Los métodos de penalización, como la regresión ridge o lasso, añaden términos de regularización a la log-verosimilitud para prevenir el sobreajuste. El algoritmo de esperanza-maximización (EM) maneja modelos con variables latentes, calculando iterativamente los valores esperados y maximizando la verosimilitud en un proceso de dos pasos.
Los enfoques bayesianos, aunque distintos de la EMV, a menudo utilizan la función de verosimilitud como un componente. En contraste con la EMV, que proporciona estimaciones puntuales, la inferencia bayesiana produce distribuciones posteriores completas sobre los parámetros. A pesar de esta diferencia, la EMV puede verse como un caso especial de la estimación bayesiana con una prior uniforme.
Desarrollo histórico
El método tiene sus orígenes en el siglo XVIII, con Daniel Bernoulli y más tarde Gauss utilizando ideas similares para problemas específicos. Sin embargo, fue Ronald Fisher quien formalizó el marco general en su artículo de 1912 "On an Absolute Criterion for Fitting Frequency Curves". El trabajo posterior de Fisher en la década de 1920 estableció el principio de verosimilitud y las propiedades de los estimadores de máxima verosimilitud. El método ganó una adopción generalizada después de la publicación de su influyente artículo de 1922 "On the Mathematical Foundations of Theoretical Statistics". Desde entonces, la EMV se ha convertido en un tema estándar en los planes de estudio de estadística y en una herramienta práctica en la investigación científica.
Consideraciones computacionales
Para muchas aplicaciones del mundo real, la función de verosimilitud es demasiado compleja para una maximización analítica. Se emplean técnicas de optimización numérica, como los métodos basados en gradientes. En los marcos de Machine learning, la diferenciación automática permite calcular eficientemente los gradientes de la log-verosimilitud con respecto a los parámetros, lo que permite entrenar modelos con millones de parámetros. El hardware especializado, incluidos los GPU (in AI)s y los chips AWS Trainium, acelera estos cálculos, haciendo factible el entrenamiento basado en EMV para modelos a gran escala.
A pesar de su antigüedad, la EMV sigue siendo un área de investigación activa, con trabajos continuos sobre estimación robusta, entornos de alta dimensionalidad y conexiones con la teoría de la información. Su simplicidad y sus garantías teóricas aseguran su relevancia continua tanto en la estadística moderna como en el Artificial intelligence.