커널 방법은 기계 학습에서 패턴 분석을 위한 알고리즘 클래스로, 가장 잘 알려진 구성원은 서포트 벡터 머신(SVM)이다. 이러한 방법은 고차원의 암묵적 특징 공간에서 작동하여 선형 분류기를 사용해 비선형 문제를 해결한다. 사용자가 지정한 특징 맵을 통해 데이터를 특징 벡터로 명시적으로 변환하는 대신, 커널 방법은 데이터 포인트 쌍 간의 유사도 점수를 내적을 사용해 계산하는 커널 함수만을 요구한다. "커널 트릭"이라고 불리는 이 접근 방식은 표현자 정리(representer theorem)에 의해 보장된 대로 사용자 입력에서 유한 차원 행렬만 요구하면서 특징 맵을 무한 차원으로 만들 수 있게 한다. 커널 방법은 병렬 처리가 없는 수천 개 이상의 예제 데이터셋에서는 계산 속도가 느리지만, 통계적으로 견고한 기반을 가지며 텍스트, 이미지, 그래프 및 시퀀스 데이터를 포함한 응용 분야에서 널리 사용된다.
커널 트릭은 특징 공간에서 데이터 포인트의 이미지 간 내적을 계산하되 좌표를 계산하지 않고 수행함으로써 작동한다. 예를 들어, 커널화된 이진 분류기는 유사도를 측정하는 커널 함수 k(x, x')를 사용하여 입력과 모든 훈련 예제 간의 유사도의 가중 합을 계산함으로써 레이블이 없는 입력의 레이블을 예측한다. 이 연산은 종종 명시적 좌표 계산보다 저렴하여 커널 방법을 많은 작업에서 효율적으로 만든다.
역사적 발전
커널 분류기는 1960년대 커널 퍼셉트론의 발명과 함께 일찍이 기술되었다. 1990년대에는 서포트 벡터 머신의 부상과 함께 두각을 나타냈으며, 이는 분류 및 회귀의 표준 도구가 되었다. 이론적 기반은 Rademacher 복잡성과 같은 측정을 사용하여 일반화 속성을 분석한 통계적 학습 이론에 의해 강화되었다. 시간이 지나면서 커널 방법은 가우시안 프로세스, 커널 주성분 분석(PCA), 커널 릿지 회귀와 같은 알고리즘으로 확장되었고, 시퀀스, 그래프 및 텍스트를 포함한 다양한 데이터 유형에 대한 커널 함수가 개발되었다.
주요 알고리즘 및 응용 분야
커널 방법은 SVM 외에도 다양한 알고리즘을 뒷받침한다. 여기에는 커널 퍼셉트론, 가우시안 프로세스, 커널 PCA, 정준 상관 분석, 커널 릿지 회귀, 스펙트럼 클러스터링 및 선형 적응 필터가 포함된다. 이러한 알고리즘의 대부분은 볼록 최적화 또는 고유값 문제에 기반하여 잘 정의된 해를 보장한다. 실제로 커널 방법은 데이터에서 비선형 관계가 흔한 이미지 분류, 생물정보학 및 자연어 처리와 같은 작업에 사용된다. 예를 들어, 방사 기저 함수 커널을 가진 서포트 벡터 머신은 패턴 인식에 널리 적용된다.
커널 트릭과 특징 공간
커널 트릭은 커널 방법의 핵심이다. 커널 함수 k(x, x')는 종종 고차원 또는 무한 차원의 특징 공간에서의 내적에 해당한다. 예를 들어, 다항식 커널 k(x, x') = (x · x' + c)^d는 데이터를 차수 d까지의 모든 단항식 공간으로 암묵적으로 매핑한다. 가우시안 방사 기저 함수 커널 k(x, x') = exp(-||x - x'||^2 / (2σ^2))는 무한 차원 특징 공간에 해당한다. 이 암묵적 매핑은 선형 알고리즘이 특징 벡터를 명시적으로 구성하지 않고도 비선형 패턴을 포착할 수 있게 하며, 이는 계산적으로 불가능할 것이다.
장점과 한계
커널 방법은 여러 장점을 제공한다: 이론적으로 견고하고, 종종 볼록하며, 고차원 데이터를 효과적으로 처리할 수 있다. 이들은 인스턴스 기반 학습자로, 훈련 예제를 유지하고 이를 예측에 사용하므로 직관적일 수 있다. 그러나 한계도 있다. 계산 비용은 데이터셋 크기에 따라 확장성이 낮아, 수백만 개의 예제로 SVM을 훈련하는 것은 특수 하드웨어나 근사 기술 없이는 어렵다. 또한 커널과 그 매개변수(예: RBF 커널의 σ)의 선택은 성능에 크게 영향을 미치며, 튜닝은 사소하지 않을 수 있다. 2020년대 초반 기준으로 딥러닝 방법은 많은 대규모 작업에서 커널 방법을 능가했지만, 커널 방법은 더 작은 데이터셋과 이론적 통찰력을 제공하는 데 여전히 가치가 있다.
현대 기계 학습과의 관계
커널 방법은 신경망 및 딥러닝과 개념적 연결을 공유한다. 예를 들어, 무한 너비를 가진 신경망은 커널 방법인 가우시안 프로세스로 볼 수 있다. 커널 방법의 기초가 되는 표현자 정리는 신경망이 학습하는 함수 공간과 유사점이 있다. 그러나 현대 딥러닝, 특히 트랜스포머와 대규모 언어 모델은 대규모 데이터셋에서 확장 가능한 종단 간 학습에 초점을 맞추고 있다. 그럼에도 불구하고 커널 방법은 유사도 함수가 역할을 하는 잔차 네트워크 및 어텐션 메커니즘과 같은 알고리즘 설계에 계속 영향을 미친다. MIT CSAIL 및 스탠포드 AI 연구소와 같은 기관의 연구자들은 커널 방법과 딥러닝 간의 연결을 탐구하여 둘 다에 대한 더 깊은 이해에 기여했다.