期待値最大化（EM）アルゴリズムは、統計学において、モデルが観測されない潜在変数に依存する統計モデルのパラメータの最尤推定または最大事後確率推定を見つけるために使用される反復法です。これは、混合モデルやデータに欠損値が含まれる場合など、パラメータの方程式を直接解くことができない場合に特に有用です。
EM反復は、現在のパラメータ推定値が与えられたときの完全データの期待対数尤度を計算する期待値（E）ステップと、その期待対数尤度を最大化することによってパラメータを更新する最大化（M）ステップを交互に繰り返します。これらの更新されたパラメータ推定値は次のEステップで使用され、収束するまでこのプロセスが繰り返されます。このアルゴリズムは、尤度関数の局所的最大値または鞍点に収束することが保証されていますが、必ずしも大域的最大値に収束するとは限りません。
歴史的発展
EMアルゴリズムは、1977年にアーサー・デンプスター、ナン・レアード、ドナルド・ルービンによって発表された論文（後にDLR論文として知られる）で正式に命名され、説明されました。この研究により、この手法は統計解析の中核的なツールとして確立されました。しかし、それ以前の著者たちも特定のケースでこの手法を提案していました。
先駆者の一人は、対立遺伝子頻度を推定するための遺伝子計数法を開発したセドリック・スミスです。H.O.ハートリーも1958年に初期版を提案し、ハートリーとホッキングは1977年にそれを拡張しました。ロルフ・サンドバーグは、ペル・マルティン＝レーフおよびアンダース・マルティン＝レーフとの共同研究に続き、指数型分布族に関する詳細な扱いを彼の論文およびその後の論文で提供しました。
1977年のDLR論文は、これらの初期の手法を一般化し、広範な問題クラスに対する収束解析の概要を示しました。しかし、その解析には欠陥があり、正しい収束証明は1983年にC.F.ジェフ・ウーによって後に発表され、指数型分布族の外でも収束を確立しました。
中核となる考え方と相互連関方程式
潜在変数を持つ統計モデルでは、最尤推定は通常、両方の連鎖を含む方程式を解くことを必要とします。パラメータの解は潜在変数の値を必要とし、潜在変数の値はパラメータを必要とするため、解析的に解くことができない相互依存システムが生じます。
EMアルゴリズムは、一方の値のセット（多くの場合、パラメータの任意の推測値）を初期化し、推定ステップを交互に繰り返すことでこれを解決します。例えば、現在のパラメータに基づいて潜在変数を推定し、次にそれらの潜在変数を使用してパラメータを更新し、両方のセットが固定点に収束するまでこのサイクルを繰り返します。直感的には単純ですが、この方法には証明された収束特性があります：最終点で尤度の導関数はゼロに近づきます。
応用と限界
一般的な応用は、ガウス混合のパラメータ推定であり、各観測データ点は観測されない混合成分に属します。EMは、欠損データを伴う多重線形回帰にも使用できますが、機械学習、人工知能、および潜在構造を持つ他の分野など、さまざまな領域で適用されることがよくあります。
一つの限界は、EMが大域的最大値ではなく局所的最大値に収束する可能性があること、そして一部の尤度には特異点が存在し得ることです。例えば、混合モデルでは、成分にゼロ分散が割り当てられた場合、非現実的な最大値を持つ解が発生する可能性があり、これは問題ですが、反復手順の既知の結果です。
拡張と実践上の注意
EMの拡張、例えば期待値条件付き最大化（ECM）アルゴリズムやモンテカルロEMは、潜在的な収束問題や計算の複雑さに対処します。実際には、観測データが不完全であっても、完全データの尤度が周辺尤度よりも最適化しやすい場合にEMが選択されます。これは、潜在変数を持つパラメータ推定のための基礎的な方法であり、統計学において広範な関連性を持ちます。
参考文献
DLR論文の名称と1983年のウーによる収束解析は、現代の定式化を定義しています。クリストファー・ビショップ（パターン認識と機械学習）やクリス・ビショップなどの著者による教科書は、EMを確率的モデリングや他の学習アルゴリズムのより広いトピックに結び付け、詳細な扱いを提供しています。