Ein Hidden-Markov-Modell (HMM) ist ein statistisches Modell, bei dem angenommen wird, dass ein System einem Markov-Prozess mit unbeobachteten (verborgenen) Zuständen folgt, wobei jeder Zustand gemäß einer Wahrscheinlichkeitsverteilung eine beobachtbare Ausgabe erzeugt. Das Modell wird durch zwei stochastische Prozesse definiert: eine verborgene Zustandssequenz X und eine beobachtbare Sequenz Y, wobei das Ergebnis von Y zu jedem Zeitpunkt nur vom aktuellen Zustand von X abhängt, nicht von vergangenen Zuständen oder Beobachtungen. Diese Eigenschaft der bedingten Unabhängigkeit macht HMMs für die Analyse sequenzieller Daten handhabbar, bei denen die zugrunde liegenden Ursachen nicht direkt sichtbar sind.
HMMs werden in vielen Disziplinen eingesetzt, darunter Thermodynamik, statistische Mechanik, Physik, Chemie, Wirtschaft, Finanzen, Signalverarbeitung, Informationstheorie und Mustererkennung. Zu den spezifischen Anwendungsfällen gehören Spracherkennung, Handschrifterkennung, Gestenerkennung, Part-of-Speech-Tagging, musikalische Partiturverfolgung, Analyse von Teilentladungen und Bioinformatik. Das Rahmenwerk bietet einen prinzipiellen Ansatz, um verborgene Zustände aus beobachteten Sequenzen abzuleiten und Modellparameter aus Daten zu schätzen.
Mathematische Definition
Formal seien X_n und Y_n diskrete stochastische Prozesse für n ≥ 1. Das Paar (X_n, Y_n) ist ein Hidden-Markov-Modell, wenn X_n ein Markov-Prozess ist, dessen Verhalten nicht direkt beobachtbar ist, und für jedes n ≥ 1, jede Sequenz x_1, ..., x_n und jede Borel-Menge A die Wahrscheinlichkeit P(Y_n ∈ A | X_1 = x_1, ..., X_n = x_n) gleich P(Y_n ∈ A | X_n = x_n) ist. Diese Bedingung stellt sicher, dass die Beobachtung zum Zeitpunkt n nur vom verborgenen Zustand zu diesem Zeitpunkt abhängt. Es existiert ein Analogon in kontinuierlicher Zeit, bei dem X_t und Y_t Prozesse in kontinuierlicher Zeit sind und die Beobachtung zum Zeitpunkt t_0 nur von X_{t_0} abhängt, gegeben alle vergangenen Zustände.
Parameterschätzung
Die Schätzung der HMM-Parameter erfolgt typischerweise mittels Maximum-Likelihood-Schätzung. Für lineare Ketten-HMMs wird häufig der Baum-Welch-Algorithmus verwendet, ein Spezialfall des Erwartungs-Maximierungs-Algorithmus (EM-Algorithmus). Dieses iterative Verfahren wechselt zwischen der Berechnung erwarteter suffizienter Statistiken bei gegebenen aktuellen Parametern (E-Schritt) und der Aktualisierung der Parameter zur Maximierung der erwarteten Log-Likelihood (M-Schritt). Der Algorithmus konvergiert zu einem lokalen Maximum der Likelihood-Funktion, wobei globale Optimalität nicht garantiert ist. In der Praxis werden oft mehrere zufällige Initialisierungen verwendet, um die Ergebnisse zu verbessern.
Inferenzalgorithmen
Über die Parameterschätzung hinaus erfordern HMMs Algorithmen für die Inferenz. Der Vorwärtsalgorithmus berechnet die Wahrscheinlichkeit einer beobachteten Sequenz bei gegebenem Modell und ist nützlich für den Modellvergleich. Der Viterbi-Algorithmus findet die wahrscheinlichste Sequenz verborgener Zustände, die eine gegebene Beobachtungssequenz erzeugt hat, und wird häufig bei Dekodierungsaufgaben wie der Spracherkennung eingesetzt. Der Vorwärts-Rückwärts-Algorithmus berechnet A-posteriori-Wahrscheinlichkeiten für jeden verborgenen Zustand zu jedem Zeitschritt und ermöglicht Aufgaben wie Glättung und Segmentierung. Diese Algorithmen laufen alle in polynomieller Zeit, was HMMs für viele Anwendungen rechnerisch effizient macht.
Anwendungen in der Sequenzmodellierung
HMMs waren grundlegend für die Sequenzmodellierung, insbesondere vor dem Aufstieg des Deep Learning. In der Spracherkennung modellieren HMMs Phoneme als verborgene Zustände mit akustischen Beobachtungen als Ausgaben. In der Bioinformatik werden sie für die Genfindung, die Vorhersage der Proteinstruktur zweiter Ordnung und den Sequenzabgleich verwendet. In der Verarbeitung natürlicher Sprache wurden HMMs für Part-of-Speech-Tagging und die Erkennung benannter Entitäten eingesetzt. Während moderne Ansätze wie Transformer-Modelle und neuronale Netze HMMs in vielen Bereichen weitgehend abgelöst haben, bleiben HMMs wertvoll für Probleme mit begrenzten Daten oder dort, wo Interpretierbarkeit und probabilistische Garantien wichtig sind. Sie dienen auch als konzeptionelle Brücke zu komplexeren Sequenz-zu-Sequenz-Modellen und generativen KI-Systemen.
Beziehung zum modernen maschinellen Lernen
HMMs teilen konzeptionelle Wurzeln mit maschinellem Lernen und künstlicher Intelligenz, insbesondere in ihrem Fokus auf probabilistische Inferenz über latente Variablen. Der Baum-Welch-Algorithmus beeinflusste spätere Deep-Learning-Optimierungstechniken, und die Idee verborgener Zustände bleibt in Large-Language-Model-Architekturen bestehen. Allerdings nehmen HMMs eine feste Markov-Struktur und diskrete Zustände an, während moderne Modelle wie Transformer flexible Darstellungen ohne explizite Zustandsübergänge lernen. Trotzdem werden HMMs weiterhin in hybriden Systemen verwendet, etwa bei der Kombination von HMMs mit neuronalen Netzen für die Spracherkennung, sowie in Bereichen wie Verstärkungslernen, wo zeitliche Abhängigkeiten wichtig sind. Ihre mathematische Klarheit beeinflusst weiterhin die Forschung in der probabilistischen Modellierung und im unüberwachten Lernen.
Einschränkungen und Erweiterungen
HMMs haben bekannte Einschränkungen, darunter die Markov-Annahme, die langreichweitige Abhängigkeiten begrenzt, und die Schwierigkeit, auf hochdimensionale Beobachtungsräume zu skalieren. Zu den Erweiterungen gehören Hidden-Semi-Markov-Modelle, die eine explizite Modellierung der Zustandsdauern ermöglichen, sowie hierarchische HMMs, die mehrskalige Strukturen erfassen. In kontinuierlichen Beobachtungsräumen werden häufig Gaußsche Mischmodelle für Emissionswahrscheinlichkeiten verwendet. Diese Erweiterungen beheben einige Schwächen, erhöhen jedoch die rechnerische Komplexität. In den 2020er Jahren bleiben HMMs ein Standardwerkzeug in Statistik und Signalverarbeitung, obwohl ihre Dominanz in der Sequenzmodellierung durch Deep-Learning-Methoden verdrängt wurde.