잠재 변수 모델은 직접 관찰되지 않지만 수학적 모델을 통해 다른 관찰 가능한 변수로부터 추론되는 변수를 포함하는 통계 모델의 한 부류입니다. '잠재(latent)'라는 용어는 '숨겨져 있다'는 뜻의 라틴어 'lateo'에서 유래했습니다. 이러한 모델은 공학, 의학, 생태학, 물리학, 기계 학습, 자연어 처리, 생물정보학, 화학계량학, 인구통계학, 경제학, 경영학, 정치학, 심리학 및 사회 과학을 포함한 다양한 분야에서 널리 사용됩니다.
잠재 변수는 원칙적으로 측정 가능하지만 실제로는 관찰할 수 없는 물리적 현실의 측면을 나타낼 수 있으며, 종종 '숨겨진 변수'라고 합니다. 또한 범주, 행동 상태 또는 정신 상태와 같은 추상적 개념에 해당할 수도 있으며, 때로는 '가상 구성물'이라고도 합니다. 잠재 변수의 핵심 기능 중 하나는 차원 축소입니다. 많은 관찰 가능한 변수를 집계하여 기본 개념을 나타낼 수 있으므로 데이터 해석이 단순화됩니다. 이는 관찰 가능한 '하위 기호' 데이터를 기호 모델에 연결하는 과학 이론의 역할을 반영합니다.
역사적 배경
잠재 과정에 대한 아이디어는 아리스토텔레스 논리를 도전한 프랜시스 베이컨의 '새로운 오르가논'(1620)으로 거슬러 올라갑니다. 베이컨은 감각적 관찰을 벗어나는 '잠재 과정'을 설명하면서 그러한 과정이 단순한 증상이 아니라 연속적인 기본 메커니즘임을 강조했습니다. 이러한 철학적 기초는 이후 통계학적 발전에 영향을 미쳤습니다. 20세기에 들어 요인 분석과 구조 방정식 모델링이 잠재 변수 추론을 공식화했으며, 찰스 스피어만과 같은 선구자들이 일반 지능 요인 'g'를 도입했습니다.
심리학에서의 응용
심리학에서 잠재 변수는 종종 요인 분석을 통해 도출되며, 관찰된 측정치 간의 공통 분산을 나타냅니다. Big Five 성격 특성(외향성, 우호성, 성실성, 신경증, 개방성)은 이 방법을 사용하여 추론되었습니다. 다른 예로는 공간 능력, 지혜(수행 및 잠재 변수 측정을 통해 평가됨), 스피어만의 일반 지능 요인 g가 있습니다. 이러한 구성물은 직접 측정할 수 없지만 테스트 항목 간의 상관 관계에서 나타납니다.
경제학 및 의학에서의 응용
경제학에서 잠재 변수에는 삶의 질, 기업 신뢰도, 사기, 행복 및 보수성이 포함됩니다. 예를 들어, 삶의 질은 부, 고용, 환경, 신체적·정신적 건강, 교육, 여가 및 사회적 소속감과 같은 관찰 가능한 지표에서 추론됩니다. 의학에서 잠재 변수 모델은 관찰된 시간 척도(예: 연령)가 질병 진행과 동기화되지 않는 종단 연구에 중요합니다. 관찰되지 않은 시간 척도는 관찰된 시간의 변환으로 모델링할 수 있으며, 질병 진행 및 성장 모델링에 도움이 됩니다.
추론 방법 및 모델
다양한 모델 클래스와 알고리즘을 통해 잠재 변수를 사용한 추론이 가능합니다. 모델에는 선형 및 비선형 혼합 효과 모델, 은닉 마르코프 모델, 요인 분석 및 문항 반응 이론이 포함됩니다. 추론 방법에는 주성분 분석, 부분 최소 제곱 회귀, 잠재 의미 분석, 기대-최대화(EM) 알고리즘 및 메트로폴리스-헤이스팅스 알고리즘이 포함됩니다. 베이지안 접근 방식이 두드러지며, 토픽 모델링을 위한 잠재 디리클레 할당, 클러스터링을 위한 중국 식당 프로세스, 특징 할당을 위한 인도 뷔페 프로세스와 같은 기법이 있습니다.
기계 학습 및 AI에서의 역할
기계 학습에서 잠재 변수 모델은 많은 생성 및 비지도 학습 기법의 기반이 됩니다. 변이형 오토인코더(VAE)와 생성적 적대 신경망(GAN)은 잠재 공간을 사용하여 새로운 데이터를 생성합니다. Deep learning에서 신경망이 학습한 잠재 표현은 추상적 특징을 포착합니다. Generative AI 시스템, 예를 들어 Transformer (architecture) 아키텍처를 기반으로 구축된 대규모 언어 모델은 언어를 모델링하기 위해 잠재 표현에 의존합니다. MIT CSAIL, Stanford AI Lab 및 BAIR (Berkeley AI Research)와 같은 연구 기관은 이러한 모델을 발전시키는 데 기여했습니다. OpenAI, Anthropic 및 Google DeepMind와 같은 기업은 AI 시스템에 잠재 변수 방법을 적용하며, NVIDIA 및 AMD와 같은 하드웨어 제공업체는 계산 요구를 지원합니다.
같이 보기
참고 문헌
- Bacon, Francis. 'Novum Organum' (1620).
- Kmenta, Jan. 'Elements of Econometrics' (1986).