El algoritmo de Baum-Welch es un caso especial del algoritmo de maximización de expectativas (EM) utilizado para encontrar los parámetros desconocidos de un modelo oculto de Márkov (HMM). Es el método principal para la inferencia en HMM, haciendo uso del algoritmo hacia adelante-hacia atrás para calcular las estadísticas del paso de expectativa. El algoritmo lleva el nombre de Leonard E. Baum y Lloyd R. Welch, quienes lo desarrollaron con colegas en el Centro de Investigación de Comunicaciones de IDA en Princeton durante finales de los años 1960 y principios de los 1970.
Un modelo oculto de Márkov describe la probabilidad conjunta de una colección de variables aleatorias discretas ocultas y observadas. Se basa en la suposición de que la i-ésima variable oculta, dado la (i-1)-ésima variable oculta, es independiente de las variables ocultas anteriores, y las variables de observación actuales dependen solo del estado oculto actual. El algoritmo de Baum-Welch utiliza el algoritmo EM para encontrar la estimación de máxima verosimilitud de los parámetros de un HMM dado un conjunto de vectores de características observadas.
Descripción Formal
Sea \(X_t\) una variable aleatoria oculta discreta con \(N\) valores posibles, que representan \(N\) estados en total. Se supone que las probabilidades de transición son independientes del tiempo, lo que lleva a la definición de la matriz de transición estocástica \(A = \{a_{ij}\} = P(X_t = j \mid X_{t-1} = i)\). La distribución del estado inicial está dada por \(\pi_i = P(X_1 = i)\).
Las variables de observación \(Y_t\) pueden tomar uno de \(K\) valores posibles. La probabilidad de una cierta observación \(y_i\) en el tiempo \(t\) para el estado \(X_t = j\) está dada por \(b_j(y_i) = P(Y_t = y_i \mid X_t = j)\). Esto produce la matriz \(N \times K\) \(B = \{b_j(y_i)\}\). Una secuencia de observaciones está dada por \(Y = (Y_1 = y_1, Y_2 = y_2, \ldots, Y_T = y_T)\). Por lo tanto, una cadena oculta de Márkov puede describirse mediante \(\theta = (A, B, \pi)\). El algoritmo de Baum-Welch encuentra un máximo local para \(\theta^* = \arg\max_\theta P(Y \mid \theta)\).
Pasos del Algoritmo
El algoritmo refina iterativamente las estimaciones de los parámetros. En el paso de expectativa, calcula las probabilidades hacia adelante \(\alpha_t(i) = P(Y_1, \ldots, Y_t, X_t = i \mid \theta)\) y las probabilidades hacia atrás \(\beta_t(i) = P(Y_{t+1}, \ldots, Y_T \mid X_t = i, \theta)\) utilizando el algoritmo hacia adelante-hacia atrás. Estas se utilizan para calcular las estadísticas suficientes esperadas, como la probabilidad de estar en el estado \(i\) en el tiempo \(t\) y la probabilidad de transitar del estado \(i\) al estado \(j\) entre los tiempos \(t\) y \(t+1\).
En el paso de maximización, el algoritmo actualiza los parámetros \(A\), \(B\) y \(\pi\) para maximizar la log-verosimilitud esperada. Las probabilidades de transición actualizadas se calculan como la razón de los conteos esperados de transiciones del estado \(i\) al estado \(j\) sobre los conteos esperados de estar en el estado \(i\). De manera similar, las probabilidades de emisión se actualizan basándose en los conteos esperados de observaciones en cada estado. La distribución del estado inicial se actualiza basándose en la probabilidad esperada de estar en cada estado en el tiempo 1.
El algoritmo continúa iterando hasta la convergencia, típicamente cuando el cambio en la log-verosimilitud cae por debajo de un umbral. Se garantiza que converge a un máximo local de la función de verosimilitud, aunque no necesariamente al máximo global.
Estabilidad Numérica
El algoritmo de Baum-Welch es numéricamente inestable debido a su cálculo recursivo de probabilidades conjuntas. A medida que crece el número de variables, estas probabilidades conjuntas se vuelven cada vez más pequeñas, lo que lleva a que las recursiones hacia adelante se aproximen rápidamente a valores por debajo de la precisión de la máquina. Esto puede causar subdesbordamiento en implementaciones prácticas, especialmente para secuencias de observación largas. Para mitigar esto, las implementaciones a menudo utilizan técnicas de escalado, como normalizar las variables hacia adelante y hacia atrás en cada paso de tiempo, o trabajar en el dominio logarítmico.
Aplicaciones
Una de las primeras aplicaciones importantes de los HMM fue en el campo del procesamiento del habla. En los años 1980, los HMM emergieron como una herramienta útil en el análisis de sistemas biológicos e información, particularmente información genética. Desde entonces, se han convertido en una herramienta importante en el modelado probabilístico de secuencias genómicas. El algoritmo de Baum-Welch también se utiliza en el procesamiento del lenguaje natural, como el etiquetado de partes del discurso y el reconocimiento de entidades nombradas, así como en biología computacional para la predicción de genes y la predicción de estructuras de proteínas.
Conceptos Relacionados
El algoritmo de Baum-Welch está estrechamente relacionado con otras técnicas de estimación de parámetros en el aprendizaje automático. Es una instancia específica del algoritmo de maximización de expectativas, que se utiliza ampliamente para modelos con variables latentes. El algoritmo hacia adelante-hacia atrás, que es un componente clave, también se utiliza en otras tareas de inferencia de HMM, como el algoritmo de Viterbi para decodificación. En el aprendizaje profundo moderno, principios similares aparecen en el entrenamiento de modelos con variables latentes, aunque las redes neuronales a menudo utilizan métodos basados en gradientes como optimizador adam y variantes de SGD en lugar de EM. La conexión del algoritmo con aprendizaje automático y inteligencia artificial es fundamental, ya que proporcionó un marco temprano para aprender de datos secuenciales.