방사 기저 함수 네트워크(RBF 네트워크)는 방사 기저 함수를 활성 함수로 사용하는 인공 신경망이다. 네트워크의 출력은 입력과 뉴런 매개변수의 방사 기저 함수들의 선형 결합이다. RBF 네트워크는 함수 근사, 시계열 예측, 분류, 시스템 제어 등 다양한 용도로 사용된다. 이들은 1988년 왕립 신호 및 레이더 연구소의 연구원인 Broomhead와 Lowe의 논문에서 처음 공식화되었다.
RBF 네트워크는 Neural network의 한 유형으로, 은닉층 구조와 훈련 방식에서 더 일반적인 피드포워드 네트워크와 다르다. 이들은 커널 회귀 및 가우시안 프로세스 모델과 같은 Machine learning 방법과 밀접하게 관련되어 있으며, Artificial intelligence에서 제어 공학에 이르는 다양한 분야에 적용되어 왔다.
네트워크 구조
RBF 네트워크는 일반적으로 세 개의 층으로 구성된다: 입력층, 비선형 방사 기저 함수 활성을 가진 은닉층, 그리고 선형 출력층이다. 입력은 실수의 벡터이며, 출력은 해당 입력의 스칼라 함수이다. 출력은 입력 공간의 특정 지점에 각각 중심을 둔 방사 기저 함수들의 가중 합으로 계산된다.
각 은닉 뉴런은 중심 벡터와 폭 매개변수를 가진다. 뉴런의 활성은 입력과 중심 사이의 거리에만 의존하므로, 함수는 방사상 대칭이 된다. 유클리드 거리가 일반적으로 사용되지만, 패턴 인식에서는 마할라노비스 거리가 더 나은 성능을 보일 수 있다. 가장 일반적인 방사 기저 함수는 가우시안으로, 중심으로부터 거리가 멀어질수록 매끄럽게 0으로 감소한다. 이러한 국소성은 한 뉴런의 매개변수를 변경해도 중심에서 먼 입력에는 거의 영향을 미치지 않음을 의미한다.
활성 함수에 대한 온건한 조건이 주어지면, RBF 네트워크는 입력 공간의 컴팩트 부분 집합에서 보편 근사자이다. 충분한 은닉 뉴런이 있으면, 닫히고 유계인 집합에서 임의의 연속 함수를 임의의 정밀도로 근사할 수 있다.
네트워크 매개변수(가중치, 중심, 폭)는 네트워크 출력과 훈련 데이터 간의 적합도를 최적화하도록 결정된다.
정규화
RBF 네트워크는 정규화될 수 있으며, 이 경우 출력은 단순 합이 아닌 뉴런 출력의 가중 평균이다. 이 정규화된 구조는 출력이 유계 범위 내에 있도록 보장하고 수치적 안정성을 향상시킬 수 있다. 정규화는 네트워크가 확률 추정에 사용되거나 입력 분포가 변할 때 특히 유용하다.
훈련 방법
RBF 네트워크 훈련은 일반적으로 두 단계로 구성된다. 첫째, 은닉 뉴런의 중심과 폭이 선택되는데, 종종 k-평균 클러스터링이나 훈련 데이터에서의 무작위 샘플링과 같은 비지도 방법이 사용된다. 둘째, 출력 가중치가 학습되는데, 일반적으로 선형 최소 제곱 문제를 풀어서 이루어지며, 이는 빠르고 고유한 해를 가진다.
이 두 단계 접근 방식은 모든 매개변수가 동시에 조정되는 Deep learning 네트워크에서 사용되는 경사 기반 훈련과 대조된다. RBF 네트워크는 경사 하강법으로도 훈련될 수 있지만, 선형 출력층 덕분에 가중치 추정이 특히 효율적이다.
응용 분야
RBF 네트워크는 다양한 작업에 사용된다. 함수 근사에서는 복잡한 비선형 관계를 모델링할 수 있다. 시계열 예측에서는 금융 및 기상 데이터에 적용되어 왔다. 분류에서는 특히 패턴 인식 문제에서 Machine learning 분류기의 한 유형으로 사용된다. 또한 빠른 훈련과 매끄러운 출력이 유리한 시스템 제어에도 사용된다.
Deep learning 모델과 비교하여 RBF 네트워크는 종종 더 단순하고 더 적은 데이터를 필요로 하지만, 차원의 저주로 인해 고차원 입력에는 어려움을 겪을 수 있다. 이들은 특정 예측 작업을 위해 Amazon Web Services와 같은 분야에서 사용되어 왔지만, 대규모 현대 응용은 종종 더 깊은 아키텍처를 선호한다.
한계 및 확장
RBF 네트워크의 한계 중 하나는 은닉 뉴런의 수가 입력 차원에 따라 기하급수적으로 증가할 수 있어, 매우 고차원적인 문제에는 비실용적일 수 있다는 점이다. 확장에는 중심의 적응적 선택, 다양한 기저 함수의 사용, RBF 층을 다른 네트워크 유형과 결합하는 하이브리드 접근 방식이 포함된다.
Transformer (architecture) 기반 모델이 Generative AI에서 부상했음에도 불구하고, RBF 네트워크는 이론적 명확성과 훈련 용이성으로 인해 신경망 도구 상자에서 여전히 기본적인 도구로 남아 있다.