일반화된 헤비안 알고리즘(GHA)은 주성분 분석(PCA)을 수행하는 인공 신경망을 위한 비지도 학습 규칙이다. 1989년 테런스 D. 생어(Terence D. Sanger)가 첫 번째 주성분만 추출하는 오야 규칙(Oja's rule)의 확장으로 도입했다. GHA는 단일 계층 선형 신경망이 입력 데이터 분포의 처음 k개의 주성분을 순차적으로 학습할 수 있게 하며, 신경망 기반 차원 축소 및 특징 추출의 기초적인 방법으로 자리 잡았다.
레이블이 있는 데이터를 요구하는 지도 학습 방법과 달리, GHA는 순수하게 입력 통계에만 의존한다. 이는 헤비안 영감을 받은 업데이트 규칙을 따르며, 시냅스 가중치는 사전 및 사후 시냅스 활성화가 상관될 때 강화되지만, 중요한 정규화 및 탈상관화 단계가 포함된다. 그람-슈미트(Gram-Schmidt)와 유사한 과정을 통해 구현되는 이 탈상관화는 각 출력 뉴런이 분산이 감소하는 순서로 구별되는 주성분을 학습하도록 보장한다.
수학적 공식화
입력 벡터 x ∈ ℝⁿ 및 출력 벡터 y ∈ ℝᵏ에 대해, 네트워크는 y = W x를 계산한다. 여기서 W는 k×n 가중치 행렬이다. 각 가중치 wᵢⱼ(입력 j를 출력 i에 연결)에 대한 GHA 업데이트 규칙은 다음과 같다:
Δwᵢⱼ = η yᵢ ( xⱼ - Σ_{p=1}^{i} wₚⱼ yₚ )
여기서 η는 학습률이고, p가 1부터 i까지의 합산은 순차적 직교화를 수행한다. 첫 번째 출력 뉴런(i=1)의 경우, 규칙은 오야 규칙으로 축소된다: Δw₁ⱼ = η y₁ (xⱼ - w₁ⱼ y₁). 후속 뉴런의 경우, 항은 이미 학습된 가중치 벡터에 대한 입력의 투영을 빼서 새 뉴런이 이전 성분과 직교하는 분산을 포착하도록 강제한다.
이 업데이트는 직교 정규성 제약 조건 하에서 각 출력이 설명하는 분산에 대한 확률적 경사 상승으로 해석될 수 있다. 학습률에 대한 온건한 조건(예: 0으로 감소) 하에서, 가중치 벡터는 고유값이 감소하는 순서로 입력 공분산 행렬의 고유벡터로 수렴한다.
오야 규칙 및 PCA와의 관계
1982년 에르키 오야(Erkki Oja)가 제안한 오야 규칙은 가중치 벡터를 단위 길이로 정규화하는 단일 뉴런 헤비안 규칙으로, 첫 번째 주성분으로 수렴하게 한다. GHA는 뉴런의 캐스케이드를 사용하여 이를 일반화하며, 각 뉴런의 업데이트에는 이전 모든 뉴런의 기여를 빼는 과정이 포함된다. 이는 그람-슈미트 직교화 절차와 유사하지만, 온라인 및 확률적으로 수행된다.
배치 PCA 알고리즘(예: 고유값 분해)과 비교하여, GHA는 완전히 증분식이며 데이터 스트림을 한 번에 하나의 샘플로 처리할 수 있다. 전체 공분산 행렬을 저장할 필요가 없어 고차원 데이터에 대해 메모리 효율적이다. 그러나 배치 방법보다 수렴 속도가 느리고 학습률 일정에 민감하다.
응용 및 중요성
GHA는 이미지 압축, 신호 처리, 패턴 인식 등 다양한 분야에 적용되었다. 1990년대에는 손글씨 숫자 인식의 특징 추출과 레이더 및 소나 데이터의 차원 축소에 사용되었다. 온라인 특성 덕분에 적응형 필터 및 로봇 공학과 같은 실시간 시스템에 매력적이었다.
Machine learning 및 Neural network 연구의 맥락에서, GHA는 헤비안 학습과 자기 조직화에 대한 이론적 이해에 기여했다. 이는 단순한 국소 학습 규칙이 전역적 통계적 속성을 달성할 수 있음을 보여주었으며, 이 주제는 이후 Deep learning 및 비지도 표현 학습 연구에 영향을 미쳤다. 현대의 심층 네트워크는 종종 역전파와 Adam (Optimizer)를 사용하지만, GHA는 생물학적으로 그럴듯한 학습의 고전적인 예로 남아 있다.
한계 및 현대적 맥락
GHA는 선형 네트워크와 가우시안 유사 입력 통계를 가정하므로 비선형 구조를 포착하는 능력이 제한적이다. 비선형 PCA 및 커널 기반 방법과 같은 확장이 이를 해결하지만, 단순한 헤비안 형태는 잃게 된다. 또한 GHA는 학습률을 신중하게 조정해야 하며, 너무 높으면 발산하고 너무 낮으면 수렴이 느려진다. 순차적 특성으로 인해 초기 성분의 오류가 후속 성분으로 전파될 수 있다.
Deep learning 및 Transformer (architecture) 아키텍처의 부상으로 GHA는 최첨단 시스템에서 거의 사용되지 않는다. 그러나 신경 계산 및 Artificial intelligence 과정에서 교육학적 초석으로 남아 있다. 탈상관화와 분산 최대화의 원리는 Batch Normalization 및 Layer Normalization과 같은 고급 기법의 기반이 되며, 이들 역시 활성화를 안정화하고 탈상관화하는 것을 목표로 한다.
같이 보기
참고 문헌
- Sanger, T. D. (1989). "Optimal unsupervised learning in a single-layer linear feedforward neural network." Neural Networks, 2(6), 459-473.
- Oja, E. (1982). "Simplified neuron model as a principal component analyzer." Journal of Mathematical Biology, 15(3), 267-273.