커널 정규화에 대한 베이즈 해석은 기계 학습에서 커널 기반 학습 방법(예: 서포트 벡터 머신, 가우시안 프로세스 회귀)을 베이즈 추론의 관점에서 바라보는 개념적 프레임워크이다. 이 관점에서 커널 함수의 선택은 가능한 함수들에 대한 사전 확률 분포를 부호화하며, 정규화 매개변수는 관측된 데이터에 대한 사전의 강도를 제어하는 하이퍼매개변수 역할을 한다. 결과적으로 학습 알고리즘은 사후 분포를 생성하며, 정규화된 해는 종종 최대 사후(MAP) 추정에 해당한다.
이 해석은 정규화가 일반화를 개선하는 이유를 원리적으로 이해할 수 있게 해준다. 이는 실제 함수가 매끄럽거나 복잡성이 제한적이라는 사전 신념을 구현하기 때문이다. 불확실성을 명시적으로 모델링함으로써, 베이즈 관점은 한계 가능도 최대화와 같은 하이퍼매개변수 선택 도구와 예측 불확실성 정량화 도구를 제공하며, 이는 능동 학습 및 불확실성 하에서의 의사 결정과 같은 응용에서 유용하다.
수학적 공식화
커널 릿지 회귀에서 목적은 정규화된 손실을 최소화하는 것이다: $\sum_{i=1}^n (y_i - f(x_i))^2 + \lambda \|f\|_{\mathcal{H}}^2$, 여기서 $\mathcal{H}$는 커널 $k$를 가진 재생 커널 힐베르트 공간(RKHS)이고, $\lambda > 0$는 정규화 매개변수이다. 베이즈 관점에서 이는 평균이 0이고 공분산 함수가 $k(x, x')$인 가우시안 프로세스 사전을 $f$에 두어 유도할 수 있다. 분산이 $\sigma^2$인 가우시안 노이즈를 가정하면, 함수에 대한 사후 분포도 가우시안 프로세스이며, 그 평균 함수는 $\lambda = \sigma^2 / \tau^2$일 때 정규화된 최소 제곱 문제의 해와 정확히 일치한다. 여기서 $\tau^2$는 사전 분산 척도이다.
이 동등성은 1990년대에 크리스토퍼 비숍을 포함한 연구자들에 의해 공식화되었으며, 그들은 정규화 항이 사전 밀도의 음의 로그에 해당하고 손실이 음의 로그 가능도에 해당함을 보였다. 이러한 이중성 덕분에 실무자는 알고리즘적 해석과 확률적 해석을 매끄럽게 전환할 수 있다.
커널의 사전 역할
커널 함수 $k(x, x')$는 사전의 공분산 구조를 정의하며, 이는 고려되는 함수의 매끄러움과 정상성 속성을 결정한다. 예를 들어, 길이 척도 $\ell$을 가진 방사 기저 함수(RBF) 커널 $k(x, x') = \exp(-\|x - x'\|^2 / (2\ell^2))$는 $\ell$보다 작은 거리에서 천천히 변하는 함수를 선호하는 사전을 부호화한다. 반면, 선형 커널 $k(x, x') = x \cdot x'$는 선형 함수에 대한 사전에 해당하며, 차수 $d$의 다항식 커널은 최대 차수 $d$의 다항식으로 제한한다.
이 해석은 커널의 선택이 단순한 계산상의 편의가 아니라 실질적인 모델링 결정임을 명확히 한다. 또한 각 입력 차원이 고유한 길이 척도를 가지는 자동 관련성 결정(ARD) 커널의 사용을 동기 부여하며, 이를 통해 사전이 서로 다른 특징의 관련성에 적응할 수 있다. 이러한 커널은 회귀 및 분류를 위한 가우시안 프로세스 모델에서 널리 사용된다.
가우시안 프로세스와의 연결
가우시안 프로세스(GP)는 커널 방법의 표준적인 베이즈 처리를 제공한다. GP에서 함수에 대한 사전은 평균 함수(종종 0)와 공분산 함수(커널)로 완전히 지정된다. 훈련 데이터가 주어지면 사후는 해석적으로 계산되며, 예측 평균과 예측 분산을 모두 제공한다. 예측 평균은 커널 릿지 회귀 해와 일치하는 반면, 분산은 순수 빈도주의적 설정에서는 사용할 수 없는 불확실성 추정을 제공한다.
이 연결은 실용적 함의를 가진다. 예를 들어, 베이즈 최적화와 능동 학습에서 예측 분산은 새로운 데이터 포인트 선택을 안내한다. 또한 함수 값을 적분하여 얻는 한계 가능도는 로그 한계 가능도를 최대화하여 커널 하이퍼매개변수(길이 척도 및 노이즈 분산 등)를 조정하는 데 사용할 수 있다. 이는 교차 검증에 대한 원리적 대안이지만, 대규모 데이터셋에서는 계산 비용이 더 높다.
정규화 매개변수로서의 사전 강도
커널 방법에서 정규화 매개변수 $\lambda$는 노이즈 분산과 사전 분산의 비율에 직접 매핑된다. 큰 $\lambda$는 강한 사전(또는 높은 노이즈)에 해당하며, 더 매끄러운 함수와 사전 평균으로의 더 큰 수축을 초래한다. 작은 $\lambda$는 모델이 데이터에 더 밀접하게 적합하도록 허용하며 과적합 위험을 초래한다. 베이즈 프레임워크에서 $\lambda$는 자유로운 조정 손잡이가 아니라 가정된 노이즈 수준과 사전 척도의 결과이며, 한계 가능도를 통해 데이터에서 추정할 수 있다.
이 관점은 또한 극한에서의 정규화 동작을 설명한다. $\lambda \to 0$일 때 해는 모든 훈련 포인트를 정확히 맞추는 보간 함수에 접근하며, 이는 종종 바람직하지 않다. $\lambda \to \infty$일 때 해는 사전 평균(일반적으로 0)으로 붕괴한다. 최적의 $\lambda$는 편향과 분산을 균형 잡으며, 베이즈 프레임워크는 그리드 검색에 의존하지 않고 이를 찾는 원리적 방법을 제공한다.
응용 및 확장
베이즈 해석은 다양한 커널 기반 모델로 확장되었다. 서포트 벡터 머신에서 힌지 손실은 표준 가우시안 가능도에 해당하지 않지만, 라플라스 근사 또는 특정 사전 하에서 SVM을 MAP 추정으로 취급하여 확률적 해석을 얻을 수 있다. 더 일반적으로, 이 프레임워크는 희소 베이즈 학습 접근법을 사용하여 훈련 포인트의 부분 집합을 관련 벡터로 선택하는 관련 벡터 머신의 기초가 된다.
현대 딥 러닝에서 커널 정규화의 베이즈 관점은 무한히 넓은 신경망 연구에 영향을 주었으며, 이는 가우시안 프로세스(신경망 가우시안 프로세스, NNGP)로 수렴한다. 제이콥 슈타인하르트와 같은 연구자들이 탐구한 이 연결은 커널 방법과 신경망을 연결하여 베이즈 추론의 통찰이 아키텍처 설계와 훈련에 정보를 제공할 수 있게 한다. 또한 이 개념은 확률적 기계 학습에서의 가우시안 프로세스 회귀의 핵심이며, 크리스토퍼 비숍과 칼 라스무센의 표준 교과서에서 다루어진다.
한계 및 비판
우아함에도 불구하고 베이즈 해석에는 한계가 있다. 함수에 대한 사전은 종종 진정한 사전 지식보다는 계산상의 편의를 위해 선택되며, 이는 잘못 지정된 모델로 이어질 수 있다. 가우시안 노이즈 가정은 실제로 위반될 수 있으며, 한계 가능도는 커널 및 하이퍼매개변수의 선택에 민감할 수 있다. 또한 대규모 데이터셋의 경우 GP에서의 정확한 베이즈 추론은 훈련 포인트 수에 대해 3차적으로 확장되므로, 희소 GP 또는 유도 포인트 방법과 같은 근사가 필요하다.
비판자들은 또한 커널 릿지 회귀가 계산하는 MAP 추정이 사후 불확실성을 완전히 포착하지 못하며, 베이즈 정당성이 빈도주의적 대안보다 더 나은 예측 성능을 자동으로 보장하지 않는다고 지적한다. 그럼에도 불구하고 이 해석은 정규화를 이해하고 새로운 알고리즘을 개발하기 위한 강력한 개념적 도구로 남아 있다.