隠れマルコフモデル（HMM）は、システムが観測されない（隠れた）状態を持つマルコフ過程に従うと仮定され、各状態が確率分布に従って観測可能な出力を生成する統計モデルである。このモデルは、隠れた状態系列Xと観測系列Yという2つの確率過程によって定義され、任意の時点でのYの結果は、その時点のXの状態のみに依存し、過去の状態や観測には依存しない。この条件付き独立性の性質により、HMMは根本的な原因が直接見えない逐次データの解析を扱いやすくする。
HMMは、熱力学、統計力学、物理学、化学、経済学、金融、信号処理、情報理論、パターン認識など、多くの分野で広く応用されている。具体的な使用例には、音声認識、手書き文字認識、ジェスチャー認識、品詞タグ付け、楽譜追跡、部分放電の解析、バイオインフォマティクスが含まれる。この枠組みは、観測系列から隠れた状態を推論し、データからモデルパラメータを推定するための原理的な方法を提供する。
数学的定義
形式的には、X_nとY_nをn ≥ 1に対する離散時間確率過程とする。ペア（X_n, Y_n）は、X_nが直接観測できないマルコフ過程であり、すべてのn ≥ 1、すべての系列x_1, ..., x_n、およびすべてのボレル集合Aに対して、確率P(Y_n ∈ A | X_1 = x_1, ..., X_n = x_n)がP(Y_n ∈ A | X_n = x_n)に等しい場合、隠れマルコフモデルである。この条件は、時点nでの観測が同じ時点の隠れた状態のみに依存することを保証する。連続時間の類似物も存在し、X_tとY_tが連続時間過程であり、時点t_0での観測が、すべての過去の状態を所与としてX_{t_0}のみに依存する。
パラメータ推定
HMMパラメータの推定は、通常、最尤推定を使用する。線形連鎖HMMの場合、期待値最大化（EM）アルゴリズムの特別なケースであるバウム＝ウェルチアルゴリズムが一般的に用いられる。この反復手順は、現在のパラメータを所与として期待される十分統計量を計算するステップ（Eステップ）と、期待される対数尤度を最大化するようにパラメータを更新するステップ（Mステップ）を交互に繰り返す。このアルゴリズムは尤度関数の局所的最大値に収束するが、大域的最適性は保証されない。実際には、結果を改善するために複数のランダム初期化がしばしば使用される。
推論アルゴリズム
パラメータ推定に加えて、HMMは推論のためのアルゴリズムを必要とする。前向きアルゴリズムは、モデルを所与として観測系列の確率を計算し、モデル比較に有用である。ビタビアルゴリズムは、与えられた観測系列を生成した最も可能性の高い隠れた状態系列を見つけ、音声認識などのデコードタスクで広く使用される。前向き後向きアルゴリズムは、各時点での各隠れた状態の事後確率を計算し、平滑化やセグメンテーションなどのタスクを可能にする。これらのアルゴリズムはすべて多項式時間で実行され、HMMを多くのアプリケーションで計算効率の良いものにしている。
系列モデリングにおける応用
HMMは、特に深層学習の台頭以前において、系列モデリングの基礎となってきた。音声認識では、HMMは音素を隠れた状態としてモデル化し、音響観測を出力とする。バイオインフォマティクスでは、遺伝子発見、タンパク質二次構造予測、配列アラインメントに使用される。自然言語処理では、HMMは品詞タグ付けや固有表現認識に適用された。現代のTransformer (architecture)モデルやNeural networkアーキテクチャのようなアプローチが多くの領域でHMMをほぼ取って代わったが、HMMはデータが限られている問題や、解釈可能性と確率的保証が重要な場合に依然として価値がある。また、より複雑なSequence-to-Sequence (Seq2Seq)モデルやGenerative AIシステムへの概念的な橋渡しとしても機能する。
現代の機械学習との関係
HMMは、特に潜在変数上の確率的推論への焦点において、Machine learningやArtificial intelligenceと概念的なルーツを共有している。バウム＝ウェルチアルゴリズムは後のDeep learning最適化技術に影響を与え、隠れた状態のアイデアはLarge language modelアーキテクチャに残っている。しかし、HMMは固定されたマルコフ構造と離散状態を仮定するのに対し、Transformer (architecture)のような現代のモデルは明示的な状態遷移なしに柔軟な表現を学習する。それにもかかわらず、HMMは音声認識のためにHMMとニューラルネットワークを組み合わせるようなハイブリッドシステムや、時間的依存性が重要となるReinforcement learningのような領域で依然として使用されている。その数学的な明確さは、確率的モデリングとUnsupervised learningの研究に引き続き情報を提供している。
限界と拡張
HMMには既知の限界があり、長距離依存性を制限するマルコフ仮定や、高次元の観測空間へのスケーリングの難しさが含まれる。拡張には、状態の持続時間を明示的にモデル化できる隠れセミマルコフモデルや、マルチスケール構造を捉える階層的HMMが含まれる。連続観測空間では、ガウス混合モデルが出力確率にしばしば使用される。これらの拡張はいくつかの弱点に対処するが、計算の複雑さを増加させる。2020年代現在、HMMは統計学と信号処理における標準的なツールであり続けているが、系列モデリングにおけるその支配的地位はDeep learning手法によって影を落とされている。