제한된 볼츠만 머신(RBM)은 입력 집합에 대한 확률 분포를 학습할 수 있는 생성적 확률적 인공 신경망이다. 이는 볼츠만 머신의 변형으로, 뉴런이 이분 그래프를 형성한다는 제한이 있다. 즉, 일반적으로 가시 유닛과 은닉 유닛이라고 불리는 두 그룹 사이에만 연결이 존재하며, 각 그룹 내부에는 연결이 없다. 이러한 제한 덕분에 일반적인 볼츠만 머신에 비해 더 효율적인 학습 알고리즘, 특히 경사 기반 대조 발산 알고리즘을 사용할 수 있다.
RBM은 1986년 폴 스몰렌스키가 하모니움이라는 이름으로 처음 제안했으며, 2000년대 중반 제프리 힌턴과 동료들이 빠른 학습 알고리즘을 개발하면서 두각을 나타냈다. 차원 축소, 분류, 협업 필터링, 특징 학습, 토픽 모델링, 면역학, 다체 양자 역학 등 다양한 분야에 응용되었다. RBM은 작업에 따라 지도 또는 비지도 방식으로 학습할 수 있으며, 딥러닝 네트워크의 핵심 구성 요소로, RBM을 쌓아 심층 신뢰 네트워크를 형성하고 선택적으로 경사 하강법과 역전파로 결과 네트워크를 미세 조정할 수 있다.
구조
표준 유형의 RBM은 이진 값(부울) 은닉 및 가시 유닛을 가진다. 크기가 \(m \times n\)인 가중치 행렬 \(W\)로 구성되며, 각 가중치 요소 \(w_{i,j}\)는 가시 유닛 \(v_i\)와 은닉 유닛 \(h_j\) 사이의 연결과 연관된다. 또한 가시 유닛에 대한 편향 가중치 \(a_i\)와 은닉 유닛에 대한 편향 가중치 \(b_j\)가 있다. 구성(부울 벡터 쌍) \((v, h)\)의 에너지는 다음과 같이 정의된다:
\[ E(v, h) = -\sum_i a_i v_i - \sum_j b_j h_j - \sum_i \sum_j v_i w_{i,j} h_j \]
또는 행렬 표기법으로:
\[ E(v, h) = -a^{\mathrm{T}} v - b^{\mathrm{T}} h - v^{\mathrm{T}} W h. \]
이 에너지 함수는 홉필드 네트워크의 에너지 함수와 유사하다. 일반적인 볼츠만 머신과 마찬가지로, 가시 및 은닉 벡터에 대한 결합 확률 분포는 에너지 함수로 정의된다:
\[ P(v, h) = \frac{1}{Z} e^{-E(v, h)} \]
여기서 \(Z\)는 확률의 합이 1이 되도록 보장하는 정규화 상수인 분배 함수이다. 가시 벡터의 주변 확률은 가능한 모든 은닉 계층 구성에 대한 \(P(v, h)\)의 합이며, 그 반대의 경우도 마찬가지이다.
학습 및 대조 발산
RBM의 기본 그래프 구조가 이분이므로, 은닉 유닛 활성화는 가시 유닛 활성화가 주어졌을 때 상호 독립적이며, 반대로 가시 유닛 활성화는 은닉 유닛 활성화가 주어졌을 때 상호 독립적이다. 이 속성은 조건부 확률 계산을 단순화하여 효율적인 학습을 가능하게 한다. 가장 일반적인 학습 알고리즘은 대조 발산으로, 일반적으로 하나의 깁스 샘플링 단계를 사용하는 짧은 마르코프 체인 몬테카를로 실행을 통해 로그 우도의 기울기를 근사한다. 이 접근 방식은 모든 가능한 구성에 대해 합산하는 분배 함수 \(Z\)의 다루기 어려운 계산을 피한다.
RBM은 지도 및 비지도 모드 모두에서 학습할 수 있다. 비지도 학습에서 모델은 입력 데이터 분포를 표현하는 방법을 학습하며, 종종 특징 추출이나 차원 축소에 사용된다. 지도 작업에서 RBM은 가시 계층에 레이블을 통합하거나 별도의 출력 계층을 사용하여 레이블을 예측하도록 적응될 수 있다.
딥러닝 응용
제한된 볼츠만 머신은 딥러닝의 기초 구성 요소이다. 여러 RBM을 쌓아 심층 신뢰 네트워크를 형성할 수 있으며, 여기서 한 RBM의 은닉 계층은 다음 RBM의 가시 계층 역할을 한다. 이러한 계층별 사전 학습을 통해 네트워크는 데이터에서 계층적 특징을 학습할 수 있다. 사전 학습 후 전체 네트워크는 경사 하강법과 역전파를 사용하여 미세 조정할 수 있으며, 이 기술은 현대 딥러닝 아키텍처 개발에 영향을 미쳤다.
RBM은 추천 시스템을 위한 사용자-아이템 상호 작용 모델링의 협업 필터링과 텍스트 말뭉치에서 잠재 토픽을 학습하는 토픽 모델링에 적용되었다. 면역학에서는 면역 체계 반응을 모델링하는 데 사용되었고, 양자 역학에서는 다체 양자 상태를 표현하는 데 사용되었다.
다른 모델과의 관계
RBM은 다른 신경망 모델과 밀접한 관련이 있다. 은닉 유닛 간 연결을 허용하는 볼츠만 머신의 특수한 경우이지만, 이분 제한 덕분에 학습이 더 다루기 쉽다. 또한 에너지 함수에서 홉필드 네트워크와 유사점을 공유하지만, RBM은 생성적이고 확률적인 반면 홉필드 네트워크는 일반적으로 결정론적이며 연관 메모리에 사용된다. Machine learning의 더 넓은 맥락에서 RBM은 생성 모델의 한 유형으로 간주되며, 표준 피드포워드 신경망과 같은 판별 모델과는 구별된다.
유산 및 영향
RBM의 개발은 2000년대 중반 Deep learning의 부활에 크게 기여했다. 이후 Artificial intelligence 분야의 저명한 인물이 된 제프리 힌턴은 RBM을 사용하여 심층 네트워크가 효과적으로 학습될 수 있음을 입증했으며, 이는 경사 기반 방법의 초기 어려움을 극복한 것이다. 이 연구는 이후 트랜스포머 및 대규모 언어 모델을 포함한 후속 아키텍처에 영향을 미쳤지만, 이러한 모델은 다른 학습 패러다임을 사용한다. RBM은 Generative AI 연구에서 중요한 이론적 모델로 남아 있으며, 확률적 특성이 유리한 전문 응용 분야에서 여전히 사용된다.