심층 신뢰 신경망(DBN)은 생성적 그래픽 모델 또는 대안적으로 심층 신경망의 한 종류로, 여러 층의 잠재 변수("은닉 유닛")로 구성되며, 층 간에는 연결이 있지만 각 층 내부의 유닛 간에는 연결이 없다. 일련의 예제에 대해 비지도 학습으로 훈련될 때, DBN은 층이 특징 검출기 역할을 하여 입력을 확률적으로 재구성하는 법을 배울 수 있다. 이 학습 단계 후에, DBN은 분류를 수행하기 위해 지도 학습으로 추가 훈련될 수 있다.
DBN은 제한된 볼츠만 머신(RBM)이나 오토인코더와 같은 단순하고 비지도적인 네트워크의 조합으로 볼 수 있으며, 각 하위 네트워크의 은닉 층이 다음 네트워크의 가시 층 역할을 한다. RBM은 가시 입력 층과 은닉 층을 가지며, 층 간 연결은 있지만 층 내부 연결은 없는 비방향성 생성 에너지 기반 모델이다. 이 조합은 가장 낮은 층 쌍(최하위 가시 층은 훈련 집합임)에서 시작하여 각 하위 네트워크에 대조 발산을 순차적으로 적용하는 빠른 층별 비지도 훈련 절차를 가능하게 한다.
DBN이 한 번에 한 층씩 탐욕적으로 훈련될 수 있다는 관찰은 초기의 효과적인 딥러닝 알고리즘 중 하나로 이어졌다. 전반적으로 DBN은 뇌파도 및 약물 발견과 같은 실생활 응용 및 시나리오에서 매력적인 구현과 용도가 많다.
역사적 맥락
심층 신뢰 신경망은 2000년대 중반에 심층 구조를 훈련하는 혁신으로 등장했다. 도입 전에는 기울기 소실 및 느린 수렴과 같은 문제로 인해 깊은 다층 신경망 훈련이 악명높게 어려웠다. DBN과 함께 도입된 탐욕적 층별 사전 훈련 전략은 심층 네트워크를 초기화하는 실질적인 방법을 제공했으며, 이후 지도 작업에 대해 미세 조정할 수 있었다. 주로 제프리 힌튼(Geoffrey Hinton)과 토론토 대학교의 동료들과 관련된 이 연구는 Deep learning에 대한 관심을 되살렸고, 이후 Neural network 구조와 발전의 기초를 레이어졌다.
DBN의 발전은 확률적 모델과 Machine learning의 초기 작업과 현대 딥러닝을 연결하는 Artificial intelligence 역사의 주요 이정표로 자주 인용된다. DBN은 손글씨 숫자 인식 및 문서 분류 작업에서의 성공으로 계층적 특징 학습의 힘을 보여주었으며, 이후 딥 오토인코더와 컨볼루션 네트워크와 같은 모델에 후향을 주었다.
대조 발산과의 훈련
제프리 힌튼이 전파 예측 모델 훈련에 제안한 RBM 훈련 방법을 대조 발산(CD)이라고 명칭한다. CD는 이상적으로 가중치 학습에 적용되어야 하는 최대 우도 방법에 대한 근사를 제공한다. 단일 RBM 훈련에서 가중치 업데이트는 단일 대체적으로 다음 방정식을 사용하여 기울기 하강법으로 수행된다:
w_ij(t+1) = w_ij(t) + η * ∂log(p(v))/∂w_ij
여기서 p(v)는 가시 벡터의 클래스이며, p(v) = (1/Z) * Σ_h e^(-E(v,h))로 주어지며, Z는 벡터로 함수로 정규화용이며, E(v,h)는 네트워크 상태에 할당 추정되는 에너지 함수이다. 에너지가 낮을수록 더 "바람직한" 구성이 보다 이렇다. 기울기 ∂log(p(v))/∂w_ij는 ∂v(v) = ⟨v_i h_j⟩_data - ⟨v_i h_j⟩_model 간단한 형태를 가지며, ⟨...⟩_p는 분포 p에 대한 평균을 의미한다.
⟨v_i h_j⟩_model의 샘플링은 교대 지브스 샘플링의 확장을 요구하므로 유사한 문제가 발생한다. CD는 이 단계를 대체하여 n단계(반효과적인 n=1 값)에 대해 샘플링을 대체한 그리고 데이터를 샘플링하여 ⟨v_i h_j⟩_model을 멀티한 그 샘플을 사용한다. CD 절차는 다음과 같이 진행된다:
- 가시 유닛을 훈련 벡터로 초기화한다.
- 가시 유닛을 기반으로 은닉 유닛을 병렬로 업데이트한다: p(h_j=1|V) = σ(b_j + Σ_i v_i w_ij), 여기서 σ는 시그모이드 함수 b_j는 은닉 유닛의 편차이다.
- 은닉 막단에서 가시 유닛을 미리 구성로 구성하고, 재구성을 기반으로 은닉 유닛을 다시 업데이트한다.
- 원본과 구성된 상관성 차이를 사용하여 가중치 업데이트를 수행한다.
이 절차는 DBN을 훈련하기 위해 층별로 흡득적으로 적용된다. 사전 훈련 후, 전체 네트워크는 역전파 또는 다른 지도 방법을 통해 미세 조정할 수 있다.
응용 및 영향
심층 신뢰 신경망은 다양한 분야에서 적용되어 있다. 의료 분야에서, 전기 뇌파 신호 분석에 사용되어 신경-질병 이상 감지에 도움을 주며 DBN은 EEG 신호 분석에서 사용되기도 한다. 약물 발견에서, 직접 최고 계층 표현을 통한 화학 구조로부터 학습할 수 있는 능력을 활용하여 분자 특성을 예측하고 잠재적인 의약후보를 식별하는 데 채택된다.
DBN은 또한 음성 인식에서 음향 모델로 사용되었고, 이미지 특성 인식에서 원생적인 픽셀에서 특징을 위협하는 작업에 적용되었다. 이러한 성공은 생성적 사전 훈련의 다양성을 보여주, 이후 Generative AI 및 대규모 모델의 발전에 영향을 미쳤다.
DBN은 Transformer (architecture) 모델과 같은 새로운 구조에 가이되어 있지만, 딥러닝 학습의 원리를 아닌 중요한 교육 도구로 남아 있다. DBN은 Machine learning과 Deep learning 과정에서 비지도 사전 훈련과 계층적 특징 학습의 기본적인 예로 자주 굽힌다.
한계 및 발전
DBN은 몇 가지 한계를 갖는다. 특히 큰 데이터 세트에서 훈련은 계산적으로 게다가 비용이 많이 들 수 있으며, 대조 발산 근사는 편향된 추정값을 초래할 수 있다. 생성 모델로서 훈련성 모델보다 특정 작업에서 덜 확장할 수. 특히 자연어 처리에서 Transformer (architecture) 기반 모델의 부상은 DBN에서 관심을 전환시켰는, 이러한 새로운 아키텍처가 훈련하고 언급한 북적이지 않은 딴 마감을 제공했기 때문이다.
그럼에도 불구하고, DBN의 원칙 - 예를 들어 층별 사전 훈련과 에너지 기반 모델링 - 은 현대 연구에 계속 영향을 주고 있다. 자동 인코더 및 변수형 자동 인코더와 같은 개념은 유사한 아이디어를 기반으로 하며, 사전 훈련 방법’s은 현대 심층 학습 파이프라인에서 다양한 형태로 적용되고 있다.
유산 및 추가 정보
심층 신뢰 신경망은 Artificial intelligence의 변환에서 한 역사적인 순간을 나타내며, 심층 아키텍처의 효과적인 훈련이 가능함을 보여주며 심층 학습 혁명의 계기를 마련했다. MIT CSAIL, 스탠포드 AI 연구소, 버클리 AI 연구와 같은 기관의 연구자들은 이러한 기반을 확장하여 분야의 빠른 발전에 기여했다. 관심 있는 사람들은 DBN을 더 탐구하기 위해, 힌튼과 그의 공동 연구자의 초기 논문을 상세한 유도 및 실험 결과를 제공한다. Deep learning에 관한 교재들은 DBN 및 RBM에 대한 장을 포함하며 이론적 및 실용적 관점 모두 제공한다. 분야가 계속 진화함에 따라, DBN에서 얻은 교훈, 특히 비지도 학습과 생성적 설계에서 여전히 관련성이 있다.