커널 방법은 Machine learning에서 패턴 분석을 위한 알고리즘 클래스로, 가장 잘 알려진 구성원은 서포트 벡터 머신(SVM)이다. 이러한 방법은 커널 트릭으로 알려진 수학적 기법을 활용하여 비선형 문제에 선형 분류기를 적용한다. 사용자가 지정한 특징 맵을 통해 데이터를 고차원 특징 공간으로 명시적으로 변환하는 대신, 커널 방법은 암시적 공간에서 데이터 포인트 쌍 간의 내적을 계산하는 커널 함수에 의존한다. 이 접근 방식은 종종 명시적 좌표 계산보다 계산 비용이 낮으며, 알고리즘이 무한 차원일 수 있는 공간에서 작동할 수 있게 하면서도 사용자 입력에서 유한 차원 행렬만 요구한다. 이는 표현자 정리(representer theorem)에 의해 보장된다.
"커널"이라는 용어는 두 입력 간의 근접성을 측정하는 유사도 함수를 의미한다. 커널 함수는 시퀀스, 그래프, 텍스트, 이미지, 벡터를 포함한 다양한 데이터 유형에 대해 개발되었다. 커널과 함께 작동할 수 있는 알고리즘에는 커널 퍼셉트론, 서포트 벡터 머신, 가우시안 프로세스, 주성분 분석(PCA), 정준 상관 분석, 릿지 회귀, 스펙트럼 클러스터링, 선형 적응 필터가 포함된다. 대부분의 커널 알고리즘은 볼록 최적화 또는 고유값 문제에 기반하며 통계적으로 잘 정립되어 있으며, 그 속성은 종종 Rademacher 복잡도와 같은 통계적 학습 이론을 사용하여 분석된다.
동기 및 비공식적 설명
커널 방법은 인스턴스 기반 학습자로 볼 수 있다. 입력 특징에 해당하는 고정된 매개변수 집합을 학습하는 대신, 훈련 예제를 "기억"하고 각각에 대한 가중치를 학습한다. 레이블이 없는 입력의 경우, 예측은 커널 함수를 사용하여 해당 입력과 모든 훈련 예제 간의 유사도의 가중 합을 계산하는 것을 포함한다. 이진 분류기의 경우, 예측 레이블은 이 합의 부호이다. 이 접근 방식은 1960년대 커널 퍼셉트론으로 일찍이 설명되었지만, 1990년대 SVM의 부상과 함께 Artificial intelligence 연구 및 응용 분야의 표준 도구가 되면서 두각을 나타냈다.
커널 트릭과 특징 공간
커널 트릭은 커널 방법의 핵심 아이디어이다. 이는 알고리즘이 해당 공간에서 데이터의 좌표를 계산하지 않고도 고차원의 암시적 특징 공간에서 작동할 수 있게 한다. 대신 데이터 쌍의 이미지 간 내적만 계산된다. 이는 종종 명시적 변환보다 저렴하다. 예를 들어, 다항식 커널은 데이터를 주어진 차수까지의 모든 단항식 공간으로 암시적으로 매핑하여 선형 분류기가 원래 입력 공간에서 선형 분리되지 않는 데이터를 분리할 수 있게 한다. 커널 머신의 특징 맵은 무한 차원일 수 있지만, 표현자 정리는 해가 훈련 데이터에 대한 커널 평가의 유한 조합으로 표현될 수 있음을 보장한다.
일반적인 커널 함수
여러 커널 함수가 실제로 널리 사용된다. 선형 커널은 두 벡터의 내적일 뿐이다. (x·x' + c)^d 형태의 다항식 커널은 특징의 곱을 고려하여 비선형성을 도입한다. 방사 기저 함수(RBF) 커널은 가우시안 커널로도 알려져 있으며, exp(-γ||x - x'||^2)로 정의되고 충분한 데이터가 주어지면 모든 연속 함수를 근사할 수 있기 때문에 인기 있는 기본 선택이다. 다른 커널로는 시그모이드 커널과 텍스트용 문자열 커널 또는 구조화된 데이터용 그래프 커널과 같은 특정 데이터 구조를 위해 설계된 맞춤형 커널이 있다. 커널과 그 매개변수의 선택은 커널 기반 알고리즘의 성능에 상당한 영향을 미친다.
응용 및 한계
커널 방법은 컴퓨터 비전, 생물정보학, 자연어 처리, 신호 처리를 포함한 많은 영역에 적용되었다. 예를 들어, RBF 커널을 사용한 SVM은 Deep learning의 부상 이전에 이미지 분류의 선도적인 접근 방식이었다. 그러나 커널 방법에는 주목할 만한 한계가 있다. 커널 행렬이 샘플 수에 따라 이차적으로 확장되므로 병렬 처리 없이 수천 개 이상의 예제로 구성된 데이터 세트에서는 계산이 느리다. 이로 인해 근사 방법의 개발과 대규모 데이터를 더 효율적으로 처리할 수 있는 Neural network 접근 방식으로의 전환이 이루어졌다. 그럼에도 불구하고 커널 방법은 이론적 보장과 해석 가능성으로 인해 여전히 가치가 있으며, 특수 응용 분야에서 계속 사용되고 있다.
현대 머신 러닝과의 관계
커널 방법은 Deep learning 및 Transformer (architecture) 아키텍처와 개념적 연결을 공유한다. 예를 들어, 트랜스포머의 어텐션 메커니즘은 쿼리와 키 간의 유사도 점수를 계산하는 커널 평활화의 한 형태로 볼 수 있다. 일부 연구자들은 무한 너비 신경망과 커널 방법인 가우시안 프로세스 간의 연결을 탐구했다. 딥 러닝은 확장성과 특징 학습으로 인해 많은 실제 응용 분야에서 커널 방법을 크게 대체했지만, 커널 방법은 여전히 이론적 이해를 제공하고 견고한 기준선을 제공한다. 또한 신경망의 커널 기반 정규화와 같은 하이브리드 접근 방식에서도 사용된다.
같이 보기
- 서포트 벡터 머신 (목록에 있는 경우, 제공된 슬러그에는 없으므로 Machine learning 및 Deep learning을 관련 항목으로 사용)
- 인공지능
- 머신 러닝
- 딥 러닝