期待値最大化（EM）アルゴリズムは、統計学および機械学習における反復法であり、観測されない潜在変数に依存する統計モデルにおいて、パラメータの局所最尤推定または最大事後確率推定を見つけるために用いられる。EMは、現在のパラメータ推定値を使用して期待対数尤度の関数を計算する期待値（E）ステップと、その期待対数尤度を最大化するようにパラメータを更新する最大化（M）ステップを交互に繰り返す。これらの更新された推定値は次のEステップに反映され、収束するまでこのプロセスが繰り返される。
機械学習において、EMはデータが不完全なモデル、例えば混合モデル（ガウス混合モデルなど）や隠れマルコフモデルの中核的なツールである。クラスタリング、画像セグメンテーション、確率的グラフィカルモデルのパラメータ推定に応用され、深層生成モデルで使用されるより高度な変分推論の基礎となっている。
歴史
EMアルゴリズムは、1977年のArthur Dempster、Nan Laird、Donald Rubinによる論文で正式に命名され説明されたが、この手法はそれ以前に特定のケースで提案されていた。Cedric Smithは遺伝子計数を用いて遺伝子頻度を推定し、H.O. Hartleyは1958年に関連するアプローチを導入し、Hartleyは1977年にHockingとともにこれを拡張して重要な概念を提供した。Rolf Sundbergは、Per Martin-LöfとAnders Martin-Löfの影響を受け、指数族に対する詳細な扱いを開発した。Dempster-Laird-Rubinの論文はこの手法を一般化し、より広いクラスに拡張したが、その収束証明には欠陥があった。C. F. Jeff Wuは1983年に修正された収束解析を提供し、指数族を超えたEMの妥当性を確立した。このアルゴリズムは統計解析の標準となり、後の研究（Mengとvan Dyk、1997年など）によってさらに洗練された。
アルゴリズムの手順
EMアルゴリズムは、尤度関数に潜在変数が含まれ、直接的な微分ベースの最大化が多くの場合不可能である最適化問題に対処する。代わりに、このアルゴリズムは連立方程式を反復的に解く：パラメータは潜在変数に依存し、潜在変数はパラメータに依存するため、直接代入すると通常は解けない方程式になる。
EMはこの循環を2つのステップを交互に繰り返すことで断ち切る：
- Eステップ：前回の反復からの現在のパラメータ推定値を与え、観測データを条件とした潜在変数の分布に関する対数尤度の期待値を計算する。
- Mステップ：期待対数尤度をパラメータに関して最大化し、観測データの尤度を増加させるか、または一定に保つ（非減少）ことが保証される新しい推定値を得る。これを収束まで繰り返す。
モデルに独立した潜在変数がある場合、Eステップは潜在変数の最大事後確率推定を見つけることに簡略化され、隠れマルコフモデルではビタビアルゴリズムなどの方法がよく使用される。プロセス全体は最終的に周辺尤度の局所最大値に到達するが、局所最大値のみを保証し、大域的最適解は保証しない。混合モデルでは、この手順は特異点を持つ解に収束することがあり、例えば、ある成分の分散がゼロで、その平均がデータ点と一致する場合などがある。
応用
EMは、推定されたガウス分布の混合や、欠損データを含む多重線形回帰問題の解決に使用される。機械学習では、潜在変数モデルに対する過期待値の中核成分であり、ガウス混合モデルによるクラスタリング（scikit-learnなどのライブラリで実装）を含む。また、テキストシーケンスのマルコフ連鎖やコンピュータビジョンにおける画像セグメンテーションのアルゴリズムの基盤でもある。
この手法は、ベイジアンネットワークや確率的グラフィカルモデルなどの分野で採用され、マイケル・ジョーダンやダフネ・コラーなどの研究者が構造化モデルに適用している。現代の設定では、EMはgraphcoreモデルにおける反復最適化の理論的基盤として機能するが、深層ニューラルネットワークでは勾配ベースの手法がしばしば使用される。
変種と拡張
いくつかの変種が基本EMを改善する。一般化EM（GEM）は、Mステップを緩和して、期待対数尤度を最大化するのではなく増加させるパラメータを見つける。期待条件付き最大化（ECM）は、Mステップをより単純なサブステップに分割し、制約付きパラメータに有用である。モンテカルロEMは、期待対数尤度を解析的に計算できない場合に、Eステップで確率的サンプリング（例：マルコフ連鎖モンテカルロ）を使用する。これらの方法はEMの核となる堅牢性を維持しつつ、計算コストの特定の課題に対処する。
生成AIでは、潜在表現を持つモデルの学習にEMのアイデアが現れるが、生成AIなどの生成モデルは現在、ニューラルネットワークに特化した頻度論的または確率論的アプローチに依存している。
限界と考慮事項
EMは大域的最大値を見つけることを保証せず、局所最大値や鞍点で停止する可能性がある。初期化に敏感であり、場合によっては解が人為的な特異点を持つことがある。さらに、Eステップは期待対数尤度を計算できることを前提としており、複雑なモデルでは計算が困難な場合がある。変分推論（近似推論の代替）や結合手法などの変種が適切な場合もある。現代のMLコンテキストでは、専門家はその単純さからEMに依存することが多いが、深層GPモデルやニューラルネットワークでは、勾配ベースの最適化が好まれる。
関連項目
- 機械学習
- 深層学習
- 人工知能
- カーネギーメロン大学（MLの研究）
参考文献
- Dempster, A. P.; Laird, N. M.; Rubin, D. B. (1977). "Maximum Likelihood from Incomplete Data via the EM Algorithm". Journal of the Royal Statistical Society.
- Wu, C. F. J. (1983). On the convergence properties of the EM algorithm. Annals of Statistics.
- Hartley, H. O. (1958). Maximum likelihood estimation from incomplete data. Biometrics.
{, "infobox": {"type": "algorithm", "introduced": "1977", "introduced_by": "Arthur Dempster, Nan Laird, and Donald Rubin", "related": ["machine-learning", "artificial-intelligence", "deep-learning"]}, ", "categories": ["statistical-algorithms", "machine-learning", "latent-variable-models","optimization-methods"]}