생성 지형도(GTM)는 저차원 다양체 상의 고차원 데이터를 시각화하기 위한 확률적 프레임워크를 제공하는 비선형 잠재 변수 모델이다. 이는 1998년 크리스토퍼 비숍, 마르쿠스 스벤센, 크리스토퍼 K. I. 윌리엄스에 의해 자기 조직화 지도(SOM)에 대한 원리적인 대안으로 소개되었으며, 후자의 한계점인 확률적 기반 부재와 명확한 목적 함수 부재를 해결하였다.
GTM은 관측 데이터의 분포를 데이터 공간에 내장된 저차원 다양체 상의 점들을 중심으로 하는 가우시안 성분들의 혼합으로 모델링한다. 다양체는 잠재 공간(일반적으로 2차원 격자)에서 데이터 공간으로의 매끄러운 비선형 매핑으로 정의되며, 방사 기저 함수(RBF) 네트워크를 사용하여 구현된다. 이 매핑은 일반적으로 기대값 최대화(EM) 알고리즘을 통해 모델 하에서 데이터의 우도를 최대화함으로써 학습된다.
모델 공식화
GTM은 각 관측 데이터 포인트 $\mathbf{x}$가 먼저 잠재 공간의 균일한 격자 점들에서 잠재 변수 $\mathbf{z}$를 선택하고, 그 다음 $\mathbf{z}$를 비선형 함수 $\mathbf{y}(\mathbf{z}; \mathbf{W})$(가중치 $\mathbf{W}$로 매개변수화됨)를 통해 데이터 공간의 한 점으로 매핑하며, 마지막으로 분산 $\beta^{-1}$을 가진 가우시안 노이즈를 추가함으로써 생성된다고 가정한다. 단일 데이터 포인트의 우도는 다음과 같이 주어진다:
$$p(\mathbf{x}|\mathbf{W}, \beta) = \frac{1}{K} \sum_{k=1}^{K} \mathcal{N}(\mathbf{x} | \mathbf{y}(\mathbf{z}_k; \mathbf{W}), \beta^{-1} \mathbf{I})$$
여기서 $K$는 잠재 격자 점의 수이고, $\mathbf{I}$는 단위 행렬이다. 매핑 $\mathbf{y}(\mathbf{z}; \mathbf{W})$는 일반적으로 가우시안인 기저 함수들의 선형 결합이며, 가중치는 $\mathbf{W}$이다. 훈련은 EM을 사용하여 데이터 집합에 대한 로그 우도를 최대화하는 것을 포함하며, 이는 잠재 점들에 대한 사후 분포 계산(E-단계)과 가중치 및 노이즈 분산 업데이트(M-단계)를 번갈아 수행한다.
자기 조직화 지도와의 관계
GTM은 1980년대 테우보 코호넨이 도입한 자기 조직화 지도(SOM)의 생성적 대응물로 개발되었다. 휴리스틱 업데이트 규칙을 사용하고 확률적 해석이 부족한 SOM과 달리, GTM은 명확한 우도 함수를 제공하여 원리적인 모델 비교, 결측 데이터 처리, 더 넓은 확률적 프레임워크로의 통합을 가능하게 한다. 또한 GTM은 잠재 공간에서 데이터 공간으로의 매끄럽고 연속적인 매핑을 생성하는 반면, SOM은 이산적이고 조각별 상수 매핑을 산출한다. 그러나 GTM은 훈련 중 모든 잠재 점에 대한 매핑과 가우시안 밀도를 평가해야 하므로 계산적으로 더 집약적이다.
응용 분야
GTM은 다양한 분야에 적용되어 왔다:
- 데이터 시각화: 고차원 데이터(예: 유전자 발현 프로파일, 센서 판독값)를 탐색적 분석을 위해 2차원 지도에 투영.
- 밀도 추정: 데이터의 기저 확률 분포를 모델링하여 이상 탐지 또는 생성적 샘플링에 사용.
- 결측 데이터 대체: 잠재 변수 구조를 활용하여 부분적으로 관측된 데이터의 누락 값을 추론.
- 시계열 분석: 시계열 생성 지형도(GTM-TS)와 같이 시간적 의존성을 포착하도록 모델을 확장.
현대 Machine learning 및 Generative AI의 맥락에서 GTM은 변분 오토인코더 및 생성적 적대 신경망과 같은 심층 생성 접근법보다 앞선 초기 생성 모델의 예로 간주된다. 그 확률적 공식화는 잠재 표현을 학습하는 Deep learning 모델의 원리와 일치하지만, 일반적으로 얕은 아키텍처를 사용한다.
확장 및 변형
GTM의 여러 확장이 제안되었다:
- 계층적 GTM: 여러 척도에서 구조를 포착하는 다중 수준 모델.
- 베이지안 GTM: 가중치에 대한 사전 분포를 통합하여 모델을 정규화하고 불확실성 추정을 제공.
- 판별적 GTM: 훈련 목적에 클래스 레이블을 통합하여 분류 작업에 모델을 적응.
- 점진적 GTM: 새 데이터가 도착함에 따라 온라인으로 모델을 업데이트하여 스트리밍 응용에 유용.
이러한 변형들은 Nokia Bell Labs 및 Xerox PARC와 같은 기관의 연구 환경에서 탐구되었지만, 핵심 GTM은 비지도 학습의 기초 도구로 남아 있다.
한계 및 유산
GTM의 주요 한계는 계산 비용, 잠재 점 및 기저 함수 수 선택의 필요성, 그리고 모든 데이터 유형에 적용되지 않을 수 있는 가우시안 노이즈 가정이다. 그럼에도 불구하고, 이는 2005년 닐 로렌스가 도입한 가우시안 프로세스 잠재 변수 모델(GPLVM)을 포함한 확률적 차원 축소에 대한 후속 연구에 영향을 미쳤다. GTM은 또한 Pattern recognition 및 Neural network 이론 교과서, 특히 원래 논문을 공동 저술한 Christopher Bishop의 저서에서 인용된다.
Artificial intelligence의 더 넓은 지형에서 GTM은 고전적 통계 모델링과 현대 생성 접근법 사이의 다리 역할을 한다. 실제로는 심층 생성 모델에 의해 크게 대체되었지만, 새로운 잠재 변수 기법을 평가하기 위한 유용한 교육적 예시이자 벤치마크로 남아 있다. 확률적 해석과 명시적 잠재 구조에 대한 강조는 Unsupervised learning 및 Representation learning 연구에 계속해서 정보를 제공한다.
같이 보기
- self organizing map
- latent-variable-model
- gaussian-process-latent-variable-model
- Variational Autoencoder