Um modelo de Markov oculto (HMM) é um modelo estatístico no qual se assume que um sistema segue um processo de Markov com estados não observados (ocultos), e cada estado produz uma saída observável de acordo com uma distribuição de probabilidade. O modelo é definido por dois processos estocásticos: uma sequência de estados ocultos X e uma sequência observável Y, onde o resultado de Y em qualquer momento depende apenas do estado atual de X, não de estados ou observações passados. Essa propriedade de independência condicional torna os HMMs tratáveis para analisar dados sequenciais em que as causas subjacentes não são diretamente visíveis.
Os HMMs são amplamente aplicados em diversas disciplinas, incluindo termodinâmica, mecânica estatística, física, química, economia, finanças, processamento de sinais, teoria da informação e reconhecimento de padrões. Casos de uso específicos incluem reconhecimento de fala, reconhecimento de escrita manual, reconhecimento de gestos, etiquetagem de partes do discurso, acompanhamento de partituras musicais, análise de descargas parciais e bioinformática. O arcabouço oferece uma forma fundamentada de inferir estados ocultos a partir de sequências observadas e de estimar parâmetros do modelo a partir dos dados.
Definição Matemática
Formalmente, sejam X_n e Y_n processos estocásticos de tempo discreto para n ≥ 1. O par (X_n, Y_n) é um modelo de Markov oculto se X_n é um processo de Markov cujo comportamento não é diretamente observável e, para cada n ≥ 1, cada sequência x_1, ..., x_n e cada conjunto de Borel A, a probabilidade P(Y_n ∈ A | X_1 = x_1, ..., X_n = x_n) é igual a P(Y_n ∈ A | X_n = x_n). Essa condição garante que a observação no tempo n depende apenas do estado oculto naquele mesmo tempo. Uma anáiga no tempo contínuo existe, onde X_t e Y_t são processos de tempo contínuo e a observação no tempo t_0 depende apenas de X_{t_0}, dados todos os estados passados.
Estimação de Parâmetros
A estimação de parâmetros de HMM tipicamente usa estimação de máxima verossimilhança. Para HMMs lineares em cadeia, o algoritmo de Baum-Welch, um caso especial do algoritmo de maximização de esperança (EM), é comumente empregado. Esse procedimento iterativo alterna entre calcular estatísticas suficientes esperadas dadas os parâmetros atuais (Etapa E) e atualizar os parâmetros para maximizar a verossimilhança logarítmica esperada (Etapa M). O algoritmo converge para um máximo local da função de verossimilhança, embora a otimalidade global não seja garantida. Na prática, múltiplas inicializações aleatórias são usadas frequentemente para melhorar os resultados.
Algoritmos de Inferência
Além da estimação de parâmetros, os HMMs exigem algoritmos para inferência. O algoritmo de varrimento direto calcula a probabilidade de uma sequência observada dos dado o modelo, útil para a comparação de modelos. O algoritmo de Viterbi encontra a sequência mais provável de estados ocultos que produziu uma determinada sequência de observações, usado amplamente em tarefas de decodificação, como o reconhecimento de fala. O algoritmo de varrimento direto-trás calcula probabilidades posteriores de cada estado oculto em cada etapa de tempo, permitindo tarefas como suavização e segmentação. Esses algoritmos todos executam em tempo polinomial, tornando os HMMs eficientes computacionalmente para muitas aplicações.
Aplicações em Modelagem de Sequências
Os HMMs têm sido fundamentais na modelagem de sequências, especialmente antes do advento da aprendizagem profunda. No reconhecimento de fala, os HMMs modelam fonemas como estados ocultos com observações acústicas como saídas. Em bioinformática, eles são usados para descoberta de genes, previsão de estrutura secundária de proteínas e alinhamento de sequências. No processamento de linguagem natural, os HMMs foram aplicados em etiquetagem de partes gramaticais e identificação de entidades nomeadas. Embora abordagens modernas como modelos Transformer (architecture) e arquiteturas Neural network tenham amplamente superado os HMMs em muitos domínios, os HMMs permanecem valiosos para problemas com dados limitados ou nos quais a interpretabilidade e as garantias probabilísticas são importantes. Eles também servem como uma ponte conceitual para modelos mais complexos Sequence-to-Sequence (Seq2Seq) e sistemas Generative AI.
Relação com a Aprendizagem de Máquina Moderna
Os HMMs compartilham raízes conceituais com a Machine learning e a Artificial intelligence, especialmente no foco em inferência probabilística sobre variáveis latentes. O algoritmo de Baum-Welch influenciou técnicas posteriores de otimização em Deep learning, e a ideia de estados ocultos persiste em arquiteturas de Large language model. No entanto, os HMMs assumem uma estrutura fixa de Markov e estados discretos, enquanto modelos modernos como Transformer (architecture) aprendem representações flexíveis sem transições explícitas de estado. Apesar disso, os HMMs ainda são usados em sistemas híbridos, como na combinação de HMMs com redes neurais para reconhecimento de fala, e em áreas como o Reinforcement learning em que dependências temporais são relevantes. Sua clareza matemática continua a informa pesquisa em modelagem probabilística e Unsupervised learning.
Limitações e Extensões
Os HMMs têm limitações conhecidas, incluindo a suposição de Markov que limita dependências de longo alcance e a dificuldade de abrangir espaços de observação de alta dimensão. Extensões incluem modelos de Markov ocultos semi-ocultos, que permitem modelar explicitamente as durações dos estados, e HMMs hierárquicos que capturam estrutura multi-escala. Em espaços de observação contínuos, modelos de misturas gaussianus são frequentemente usados para as probabilidades de emissão. Essas extensões abordam algumas fraquezas, mas aumentam a complexidade computacional. A partir da década de 2020, os HMMs permanecem uma ferramenta padrão em estatística e processamento de sinais, embora sua dominância na modelagem de sequências tenha sido ofuscada pelos métodos de Deep learning.