期待値最大化（EM）アルゴリズムは、統計学において、観測されない潜在変数に依存する統計モデルのパラメータの局所最尤推定値または最大事後確率（MAP）推定値を見つけるために使用される反復法である。このアルゴリズムは、現在のパラメータ推定値が与えられたときの期待対数尤度を計算する期待値（E）ステップと、その期待対数尤度を最大化するようにパラメータを更新する最大化（M）ステップを交互に繰り返す。更新されたパラメータは次のEステップに反映され、収束するまでこのプロセスが繰り返される。EMは、機械学習の分野で、混合モデルの推定、欠測データの処理、隠れマルコフモデルの学習などのタスクに広く応用されている。
EMが扱う中心的な課題は、尤度関数が観測データと観測されない潜在変数の両方を含む場合に生じる。すべての未知数に関する導関数を取ることによって尤度を直接最大化しようとすると、通常、解析的に解くことができない連立方程式が得られる。EMは、一方の未知数の集合を固定したまま他方を反復的に解き、両方が不動点に収束するまで交互に繰り返すことで、この問題を回避する。このアプローチは、各反復で尤度を増加させることが保証されているが、大域的最適値ではなく局所最大値または鞍点に収束する可能性がある。
歴史
EMアルゴリズムは、1977年にArthur Dempster、Nan Laird、Donald Rubinによって発表された古典的な論文で正式に命名され、説明された。しかし、この手法はそれ以前に特定のケースでいくつかの著者によって提案されていた。Cedric Smithは対立遺伝子頻度を推定するための遺伝子計数法を導入し、H.O. Hartleyは1958年に関連するアプローチを提案し、その後HartleyとHockingが1977年にさらに発展させた。Rolf Sundbergは、Per Martin-LöfおよびAnders Martin-Löfとの共同研究に基づき、指数型分布族に関する詳細な扱いを学位論文およびその後の論文で提供した。1977年のDempster-Laird-Rubin論文はこれらのアイデアを一般化し、収束解析の概要を示し、EMを主要な統計ツールとして確立した。正しい収束証明は後にC. F. Jeff Wuによって1983年に発表され、元の解析の欠陥に対処し、収束保証を指数型分布族を超えて拡張した。
アルゴリズムの説明
観測データX、潜在データZ、未知パラメータθが与えられたとき、目的は周辺尤度L(θ; X) = ∫ p(X, Z | θ) dZを最大化することである。EMの反復は2つのステップから構成される：
- Eステップ：Zが与えられたときのXの条件付き分布と現在のパラメータ推定値θ^(t)に関する対数尤度関数の期待値Q(θ | θ^(t))を計算する。
- Mステップ：Q(θ | θ^(t))を最大化するパラメータθ^(t+1)を見つける。
更新されたパラメータは次のEステップで使用され、パラメータまたは尤度の変化が閾値を下回るまでプロセスが繰り返される。この手順は尤度を単調に増加させ、停留点への収束を保証する。
応用
EMは、各観測データ点が複数の基礎となる成分のいずれかから生成されると仮定されるガウス混合などの混合モデルのパラメータ推定に一般的に使用される。また、一部の観測が不完全である欠測データ問題も扱う。人工知能では、EMは音声認識やバイオインフォマティクスで使用される隠れマルコフモデルの学習アルゴリズムの基盤となっている。さらに、EMは潜在変数を伴う多重線形回帰問題を解くことができ、因子分析やクラスタリングにも応用される。
特性と限界
EMは多くのモデルに対して計算効率が良く、実装が容易であるが、限界もある。局所最大値に収束する可能性があり、最終的な解は初期化に依存する。混合モデルでは、EMは成分の分散がゼロとなる特異解を見つけることがあり、これは無意味な最大値である。また、このアルゴリズムは、潜在成分または状態の数を指定する必要があるが、これはしばしば未知である。一般化EMアルゴリズムや確率的EMなどの変種がこれらの問題の一部に対処しているが、基本手法は統計計算における基礎的なツールであり続けている。
関連概念
EMアルゴリズムは、機械学習における勾配ベースの手法（SGDの変種やAdamオプティマイザーなど）といった他の反復最適化手法と密接に関連している。また、深層学習における変分推論とも関連しており、近似事後分布が最適化される。生成AIでは、EMスタイルのアプローチが潜在変数モデルの学習に現れ、その原理はRLAIFやカリキュラム学習のようなより高度なアルゴリズムを理解するための基礎となっている。