期待値最大化（EM）アルゴリズムは、潜在（観測されない）変数を持つモデルにおけるパラメータの最尤推定値を求めるための反復的な統計手法です。ガウス混合モデル（GMM）は、すべてのデータ点が未知のパラメータを持つ有限数のガウス分布の混合から生成されると仮定する確率モデルです。EMアルゴリズムはGMMを適合させる標準的なアプローチであり、期待値ステップ（Eステップ）と最大化ステップ（Mステップ）を収束まで交互に繰り返します。この手法は、機械学習におけるクラスタリング、密度推定、異常検知など、多くの応用の基盤となっています。
EMアルゴリズムは、1977年にArthur Dempster、Nan Laird、Donald Rubinによる論文で正式に導入されましたが、統計学の文献にはそれ以前のバージョンも存在していました。GMM自体は、1894年にKarl Pearsonがモーメント法を用いて2成分のガウス混合をカニのデータに適合させた混合モデルに関する初期の研究に遡ります。EMとGMMの組み合わせは、現代の深層学習アプローチに先立つ教師なし学習の基盤となり、現代の人工知能システムにおいても関連性を保ち続けています。
数学的定式化
K個の成分を持つGMMは、データ点xの確率密度をK個のガウス密度の重み付き和としてモデル化します：p(x) = sum_{k=1}^K pi_k * N(x | mu_k, Sigma_k)。ここで、pi_kは混合係数（合計が1になる）、mu_kは平均ベクトル、Sigma_kは共分散行列です。潜在変数zは、各観測値を生成した成分を示します。EMアルゴリズムは2つのステップを反復します。Eステップでは、現在のパラメータ推定値に基づいて、各成分が各データ点を生成した事後確率（責任度）を計算します。Mステップでは、責任度を重みとして使用し、期待される完全データ対数尤度を最大化することにより、パラメータ（pi_k、mu_k、Sigma_k）を更新します。このアルゴリズムは、各反復で尤度が非減少であることを保証し、局所最適解に収束します。
機械学習における応用
機械学習において、GMMはソフトクラスタリングの柔軟なツールとして機能し、各点はk-meansなどのハードクラスタリング手法とは異なり、異なる確率で全てのクラスタに属します。GMMは画像セグメンテーション、音声認識、異常検知に使用されます。例えば、コンピュータビジョンでは、GMMは映像監視における背景ピクセルをモデル化します。音声処理では、GMMは歴史的に音響特徴をモデル化していましたが、後にニューラルネットワークベースのシステムに置き換えられました。EMアルゴリズムは、隠れマルコフモデル（Baum-Welchアルゴリズム、その特殊ケース）や、一般的な統計モデルにおける欠損データの処理にも登場します。
現代のAIとの関係
深層学習が多くの高次元タスクでGMMを凌駕している一方で、EMアルゴリズムは概念的に影響力を持ち続けています。EMの変種は、機械翻訳における単語アライメントのための期待値最大化など、大規模言語モデルの訓練に使用されています。推論と最適化を交互に行うというアルゴリズムの原理は、変分オートエンコーダや他の潜在変数モデルに現れています。MIT CSAILやスタンフォードAIラボなどの機関の研究者は、その理論的保証と効率性のためにEMを研究し続けています。実際には、GMMは話者認証や金融リスクモデリングなどのタスクで、生成AI技術と並行して本番システムに依然として導入されています。
拡張と変種
いくつかの拡張が、収束の遅さや初期化への感度など、EMの限界に対処しています。確率的EMと増分EMは、ミニバッチを使用してパラメータを更新し、スケーラビリティを向上させます。変分ベイズEMはパラメータを確率変数として扱い、完全な事後分布を提供します。K-Means Clusteringアルゴリズムは、等しい等方性共分散を持つGMMに対するEMのハード割り当て極限と見なすことができます。高次元データの場合、対角または共通の共分散行列がパラメータ数を削減します。期待値伝播やモンテカルロEMの変種は、扱いにくい積分を処理します。これらの発展は、EMが複雑なモデルにおけるベースラインや構成要素としてしばしば機能する人工知能の時代においても、その関連性を維持しています。
実践的な考慮事項
GMMにEMを実装するには、成分数Kを選択する必要があり、多くの場合、ベイズ情報量基準（BIC）や交差検証などの情報基準を使用します。初期化には、k-meansの結果やランダムシードを使用できます。アルゴリズムは局所最適解に収束する可能性があるため、複数回の再起動が一般的です。数値的安定性は、対数尤度を使用し、正則化により特異共分散行列を処理することで向上します。scikit-learnなどの現代のソフトウェアライブラリでは、GMMのEMは効率的な線形代数ルーチンで実装されています。アルゴリズムの反復ごとの時間計算量は、完全共分散の場合O(NKD^2)であり、ここでNは点の数、Dは次元数です。これにより、中規模のデータセットで実行可能です。大規模問題では、AWS Trainiumや他の専用ハードウェアが行列演算を加速できますが、EMは通常、エンドツーエンドの機械学習パイプラインにおけるボトルネックではありません。
歴史的背景
EMアルゴリズムの開発は、欠損データが一般的であった遺伝学や標本調査の問題に動機付けられました。その定式化は、因子分析や混合モデルのためのいくつかの初期の反復手法を統合しました。1977年の論文は統計学で最も引用されたものの一つとなりました。数十年にわたり、EMは天文学（銀河分布の推定）、経済学（所得分布のモデル化）、生物学（遺伝子発現のクラスタリング）など、多様な分野に適用されてきました。その単純さと理論的な優雅さにより、Christopher Bishopらによる機械学習と統計学の教科書における標準的なトピックとなっています。深層学習の台頭にもかかわらず、EMとGMMは、特に明確な潜在構造と中程度の次元性を持つ問題において、データサイエンティストのツールキットにおける必須ツールであり続けています。
関連項目
- K-Means Clustering
- 隠れマルコフモデル
- 変分オートエンコーダ
- 期待値伝播
- 密度推定