確率的グラフィカルモデル（PGM）は、グラフィカルモデルまたは構造化確率モデルとも呼ばれ、グラフが確率変数間の条件付き依存構造を表現する確率モデルである。これらは確率論、統計学（特にベイズ統計学）、および機械学習で広く使用されている。依存関係を辺として、独立性をグラフの分離として符号化することにより、PGMは複雑な同時分布のコンパクトな表現を提供し、多くのアプリケーションで推論と学習を実現可能にしている。
核となる考え方は、ノードが確率変数に対応し、辺が確率的依存関係を示すグラフを使用して、多次元空間上の分布を表現することである。このグラフベースの分解は、分布に保持される一連の条件付き独立性を捉え、周辺確率と条件付き確率の効率的な計算を可能にする。グラフィカル表現には主に2つの分岐が存在する：ベイジアンネットワーク（有向）とマルコフ確率場（無向）である。両者は分解と独立性の特性を共有するが、符号化できる独立性の種類と、結果として得られる分布の分解方法が異なる。
確率的グラフィカルモデルの種類
ベイジアンネットワーク
ベイジアンネットワークは、有向グラフィカルモデルまたは信念ネットワークとも呼ばれ、有向非巡回グラフ（DAG）を使用して同時確率分布を表現する。このようなモデルでは、確率変数 \(X_1, \ldots, X_n\) の同時確率は、条件付き分布の積として分解される：
\[ P[X_1, \ldots, X_n] = \prod_{i=1}^n P[X_i \mid \text{pa}(X_i)] \]
ここで \(\text{pa}(X_i)\) はノード \(X_i\) の親の集合（\(X_i\) に向かう辺を持つノード）を示す。この分解は、任意のノードがその親が与えられたとき、非子孫から条件付き独立であることを意味する。d分離の概念は、変数集合間の条件付き独立性を決定するためのグラフ理論的基準を提供する。ベイジアンネットワークでは、局所的独立性（親子関係に基づく）は、大域的独立性（d分離に基づく）と等価である。
隠れマルコフモデル、ニューラルネットワーク、可変次数マルコフモデルなどの古典的な機械学習モデルは、ベイジアンネットワークの特殊なケースと見なすことができる。最も単純なベイジアンネットワークの1つはナイーブベイズ分類器であり、クラスラベルが与えられたときの特徴の条件付き独立性を仮定する。
無向グラフィカルモデル
無向グラフィカルモデルは、マルコフ確率場（MRF）とも呼ばれ、無向辺を使用して依存関係を表現する。無向グラフでは、辺の存在は対応する確率変数間の依存関係を意味するが、辺の不在は他のすべての変数が与えられたときの条件付き独立性を意味する。例えば、ノードB、C、DがすべてノードAにのみ接続されているグラフでは、変数B、C、DはAが与えられたとき条件付き独立である。同時確率分布は、グラフのクリーク（完全に接続された部分集合）上の非負関数の積として分解できる。例えば、グラフに辺AB、AC、ADがある場合、同時分布は次のように書ける：
\[ P[A,B,C,D] = f_{AB}[A,B] \cdot f_{AC}[A,C] \cdot f_{AD}[A,D] \]
ここで \(f_{AB}, f_{AC}, f_{AD}\) は非負関数である。この分解は依存関係の局所構造を反映している。
循環有向グラフィカルモデル
ベイジアンネットワークは通常非巡回グラフを必要とするが、一部のモデルでは循環を許容する。循環有向グラフィカルモデルでは、各変数は親に依存する方法でフィードバックループを引き起こす可能性がある。例えば、循環を持つグラフは、次のように分解される同時密度を示唆するかもしれない：
\[ P[A,B,C,D] = P[A] \cdot P[B] \cdot P[C,D \mid A,B] \]
しかし、他の解釈も可能である。循環モデルは、推論と解釈の複雑さのため、あまり一般的ではない。
その他の種類
確率的グラフィカルモデルには、基本フレームワークを拡張するいくつかの他の種類が存在する：
- 依存ネットワーク：循環を許容し、各変数が他のすべての変数が与えられたときの条件付き分布を表現する。
- 木拡張分類器（TAN）：ナイーブベイズ構造に特徴間の辺を追加して依存関係を捉えるベイジアンネットワークである。
- ターゲットベイジアンネットワーク学習（TBNL）：特定のターゲット変数に対して最適化されたネットワークの学習に焦点を当てる。
- 因子グラフ：変数と因子を接続する無向二部グラフであり、各因子は接続する変数上の関数を表す。因子グラフは信念伝播の実装に有用である。
- クリーク木またはジャンクションツリー：正確な推論のためのジャンクション木アルゴリズムで使用されるクリークの木である。
- チェーングラフ：有向辺と無向辺の両方を持つが有向循環は持たず、依存関係の混合を許容するグラフである。
応用と重要性
確率的グラフィカルモデルはMachine learningの基礎であり、不確実性の下での推論のための原理的なフレームワークを提供する。これらはArtificial intelligenceで、Generative AIなどのタスクに使用され、Large language modelやTransformer (architecture)などのモデルは、しばしばNeural networkに基づくが、確率的観点から解釈できる。PGMはまた、コンピュータビジョン、自然言語処理、バイオインフォマティクス、ロボティクスなどの分野でも応用されている。ドメイン知識とデータ駆動型学習を組み合わせる能力により、推論と意思決定の両方において強力なツールとなっている。
関連概念
確率的グラフィカルモデルはDeep learningおよびNeural networkと密接に関連しており、多くの深層アーキテクチャはグラフィカルモデルの特殊なケースと見なすことができる。例えば、隠れマルコフモデルは古典的な例である。Michael I. JordanやDaphne Kollerなどの研究者は、PGMの理論と応用を大幅に進展させた。Generative AIやLarge language modelの現代的な発展は、明示的にグラフィカルモデルとして枠組み化されていなくても、しばしば確率論的原理を利用している。