확률적 그래픽 모델(PGM)은 그래픽 모델 또는 구조적 확률 모델이라고도 하며, 무작위 변수 간의 조건부 의존 구조를 그래프로 표현하는 확률 모델입니다. 이는 확률론, 통계학 - 특히 베이즈 통계 - 및 머신러닝에서 널리 사용됩니다. 의존성을 간선으로, 독립성을 그래프 분리로 인코딩함으로써, PGM은 복잡한 결합 분포를 간결하게 표현하여 많은 응용 분야에서 추론과 학습을 실현 가능하게 만듭니다.
핵심 아이디어는 다차원 공간의 분포를 그래프로 표현하는 것으로, 노드는 무작위 변수에 해당하고 간선은 확률적 의존성을 나타냅니다. 이러한 그래프 기반 분해는 분포에 유지되는 일련의 조건부 독립성을 포착하여, 주변 및 조건부 확률의 효율적인 계산을 가능하게 합니다. 그래픽 표현의 두 주요 분파가 존재합니다: 베이즈 네트워크(방향성)와 마르코프 무작위 장(무방향성). 둘 다 분해와 독립성의 속성을 공유하지만, 인코딩할 수 있는 독립성 유형과 결과적인 분포 분해 방식에서 차이가 있습니다.
확률적 그래픽 모델의 유형
베이즈 네트워크
베이즈 네트워크는 방향성 그래픽 모델 또는 신념 네트워크라고도 하며, 방향성 비순환 그래프(DAG)를 사용하여 결합 확률 분포를 나타냅니다. 이러한 모델에서 무작위 변수 \(X_1, \ldots, X_n\)의 결합 확률은 조건부 분포의 곱으로 분해됩니다:
\[ P[X_1, \ldots, X_n] = \prod_{i=1}^n P[X_i \mid \text{pa}(X_i)] \]
여기서 \(\text{pa}(X_i)\)는 노드 \(X_i\)의 부모 집합(노드 \(X_i\)를 향해 방향이 있는 간선의 노드)을 나타냅니다. 이 분해는 어떤 노드가 주어진 부모에 대해 비-후손과 조건부로 독립임을 의미합니다. d-분리 개념은 변수 집합 간의 조건부 독립성을 결정하기 위한 그래프 이론적 기준을 제공합니다. 베이즈 네트워크에서 지역 독립성(부모-자식 관계 기반)은 전역 독립성(d-분리 기반)과 동일합니다.
숨겨진 마르코프 모델, 신경망, 그리고 가변 차수 마르코프 모델과 같은 고전적인 머신러닝 모델은 베이즈 네트워크의 특수 사례로 간주될 수 있습니다. 가장 단순한 베이즈 네트워크 중 하나는 나이브 베이즈 분류기로, 클래스 레이블이 주어졌을 때 특징의 조건부 독립성을 가정합니다.
무방향성 그래픽 모델
무방향성 그래픽 모델은 마르코프 무작위 장(MRF)이라고도 하며, 무방향성 간선을 사용하여 의존성을 나타냅니다. 무방향성 그래프에서 간선의 존재는 해당 무작위 변수 간의 의존성을 의미하고, 간선의 부재는 다른 모든 변수가 주어졌을 때 조건부 독립성을 의미합니다. 예를 들어, 노드 B, C, D가 모두 노드 A에만 연결된 그래프에서 변수 B, C, D는 A가 주어졌을 때 조건부 독립입니다. 결합 확률 분포는 그래프의 클리크(완전히 연결된 부분 집합)에 대한 비음수 함수의 곱으로 분해될 수 있습니다. 예를 들어, 그래프에 간선 AB, AC, AD가 있으면 결합 분포는 다음과 같이 쓸 수 있습니다:
\[ P[A,B,C,D] = f_{AB}[A,B] \cdot f_{AC}[A,C] \cdot f_{AD}[A,D] \]
여기서 \(f_{AB}, f_{AC}, f_{AD}\)는 비음수 함수입니다. 이 분해는 의존성의 로컬 구조를 반영합니다.
순환 방향성 그래픽 모델
베이즈 네트워크는 일반적으로 비순환 그래프를 요구하지만, 일부 모델은 순환을 허용합니다. 순환 방향성 그래픽 모델에서 각 변수는 부모에 의존할 수 있으며, 이는 피드백 루프로 이어질 수 있습니다. 예를 들어, 순환을 가진 그래프는 다음과 같은 결합 분포를 시사할 수 있습니다:
\[ P[A,B,C,D] = P[A] \cdot P[B] \cdot P[C,D \mid A,B] \]
그러나 다른 해석도 가능합니다. 순환 모델은 추론 및 해석의 복잡성으로 인해 덜 일반적입니다.
기타 유형
기본 프레임워크를 확장하는 몇 가지 다른 유형의 확률적 그래픽 모델이 있습니다:
- 의존성 네트워크: 순환을 허용하며, 다른 모든 변수가 주어진 각 변수의 조건부 분포를 나타냅니다.
- 트리 확장 분류기(TAN): 나이브 베이즈 구조에 특징 간의 간선을 추가하여 베이즈 네트워크를 확장한 것입니다.
- 표적 베이즈 네트워크 학습(TBNL): 특정 대상 변수에 최적화된 네트워크를 학습하는 데 초점을 맞춥니다.
- 요인 그래프: 변수와 요인을 연결하는 무방향성 이분 그래프로, 각 요인은 연결된 변수에 대한 함수를 나타냅니다. 요인 그래프는 신념 전파 알고리즘 구현에 유용합니다.
- 클리크 트리 또는 정션 트리: 정션 트리 알고리즘에서 정확한 추론에 사용되는 클리크의 트리입니다.
- 체인 그래프: 방향성 및 무방향성 간선을 모두 가질 수 있으며 방향성 순환이 없어, 혼합된 의존성 유형을 허용합니다.
응용 분야
확률적 그래픽 모델은 Machine learning의 기초로, 불확실성 하에서 추론을 위한 원칙적인 프레임워크를 제공합니다. 이는 Artificial intelligence에서 Generative AI와 같은 작업에 사용되며, Transformer (architecture) 및 Large language model과 같은 모델은 종종 Neural network 기반이지만 확률적 관점에서 해석될 수 있습니다. PGM은 컴퓨터 비전, 자연어 처리, 생물정보학, 로봇 공학과 같은 분야에서도 사용됩니다. 도메인 지식과 데이터 기반 학습을 결합하는 능력은 추론 및 의사 결정에서 핵심적인 역할을 합니다.
관련 개념
확률적 그래픽 모델은 Deep learning 및 Neural network와 밀접하게 관련되어 있으며, 많은 딥 아키텍처는 그래픽 모델의 특수 사례로 볼 수 있습니다. 예를 들어, 숨겨진 마르코프 모델은 고전적인 예입니다. Michael I. Jordan과 Daphne Koller와 같은 연구자들은 그래픽 모델의 이론과 응용을 크게 발전시켰습니다. Generative AI 및 Large language model의 현대적 발전은 확률적 원칙에 의존하는 경우가 많지만, 반드시 그래픽 모델로 명시적으로 표현되지는 않습니다.