커널 방법은 입력 데이터와 함수의 해당 출력 간의 관계를 분석하기 위한 잘 정립된 도구이다. 전형적인 머신러닝에서 이러한 함수는 스칼라 출력을 생성하지만, 최근의 발전은 커널 방법을 벡터 값 출력을 갖는 함수로 확장하였다. 이러한 확장은 관련 문제를 동시에 해결하려는 관심에 의해 추진되었으며, 여기서 작업 간의 관계를 포착하는 커널은 알고리즘이 서로의 강점을 활용할 수 있게 한다. 이러한 유형의 알고리즘에는 다중 작업 학습(다중 출력 학습 또는 벡터 값 학습이라고도 함), 전이 학습, 그리고 공동 크리깅이 포함된다. 다중 레이블 분류는 입력을 클래스 수와 동일한 길이의 이진 코딩 벡터로 매핑하는 것으로 해석될 수 있다. 가우시안 프로세스에서 커널은 공분산 함수라고 불리며, 다중 출력 함수는 여러 프로세스를 고려하는 것에 해당한다.
이 맥락에서 지도 학습 문제는 \( i = 1, \ldots, N \)에 대해 입력 \( \mathbf{x_i} \)가 주어졌을 때 벡터 값 출력 \( \mathbf{y_i} \)를 예측하는 함수 \( f \)를 학습하는 것이다. 입력은 입력 공간 \( \mathcal{X} \)에 속하며, 종종 \( \mathbb{R}^p \)이고, 출력은 \( \mathbb{R}^D \)에 속한다. 일반적으로 출력 벡터의 각 구성 요소는 서로 다른 카디널리티와 서로 다른 입력 공간을 가진 서로 다른 입력 데이터를 가질 수 있다. 지구통계학 문헌에서는 이 경우를 이질적(heterotopic)이라고 부르는 반면, 동질적(isotopic)은 각 구성 요소가 동일한 입력 집합을 공유함을 나타낸다. 단순화를 위해 표기법은 각 출력에 대한 데이터의 수와 표본 공간이 동일하다고 가정하는 경우가 많다.
역사
벡터 값 함수 학습의 역사는 한 문제를 해결하면서 얻은 지식을 저장하고 이를 다른 관련 문제에 적용하는 전이 학습과 밀접하게 연결되어 있다. 전이 학습의 근본적인 동기는 NIPS-95 워크숍 "Learning to Learn"에서 논의되었으며, 이전에 학습한 지식을 유지하고 재사용하는 평생 머신러닝 방법의 필요성에 초점을 맞추었다. 전이 학습에 대한 연구는 1995년 이후 학습 학습, 평생 학습, 지식 전이, 귀납적 전이, 다중 작업 학습, 지식 통합, 맥락 민감 학습, 지식 기반 귀납적 편향, 메타 학습, 점진적/누적 학습 등 다양한 이름으로 많은 관심을 받아왔다. 벡터 값 함수 학습에 대한 관심은 특히 여러 작업을 동시에 학습하려는 프레임워크인 다중 작업 학습에 의해 촉발되었다.
머신러닝 커뮤니티에서 다중 작업 학습의 초기 연구는 주로 알고리즘적 성격을 띠었으며, 1990년대에 신경망, 결정 트리, k-최근접 이웃과 같은 방법에 적용되었다. 확률적 모델과 가우시안 프로세스의 사용은 지구통계학의 맥락에서 개척되고 크게 발전되었으며, 여기서 벡터 값 출력 데이터에 대한 예측은 공동 크리깅(cokriging)으로 알려져 있다. 다변량 모델링에 대한 지구통계학적 접근 방식은 대부분 선형 코리전화 모델(LMC)을 중심으로 공식화되며, 이는 다변량 회귀에 사용되는 유효한 공분산 함수를 개발하기 위한 생성적 접근 방식이며, 통계학에서는 값비싼 다변량 컴퓨터 코드의 컴퓨터 에뮬레이션에 사용된다. 벡터 값 함수에 대한 정규화 및 커널 이론 문헌은 2000년대에 이어졌다. 베이지안 관점과 정규화 관점은 독립적으로 개발되었지만 실제로는 밀접하게 관련되어 있다.
정규화 관점
정규화 관점에서 문제는 벡터 값 함수의 재생 커널 힐베르트 공간(\( \mathcal{H} \))에 속하는 함수 \( f_* \)를 학습하는 것이다. 이는 표기법에 추가적인 주의가 필요한 스칼라 경우의 티호노프 정규화와 유사하다. 벡터 값 설정에서 티호노프 정규화에 대한 표현자 정리도 성립함을 보여주는 것은 가능하지만 사소하지 않다. 행렬 값 커널 \( \mathbf{K} \)는 공간 \( \mathcal{X} \times \{1, \ldots, D\} \)의 스칼라 커널 \( R \)로도 정의될 수 있다. 이 관점은 정규화 기법이 과적합 방지와 일반화 개선에 기본적인 머신러닝의 더 넓은 분야와 연결된다.
다중 작업 학습 및 관련 패러다임
다중 작업 학습은 벡터 출력을 위한 커널 방법의 핵심 응용이다. 목표는 여러 작업을 동시에 학습하고 공유 정보를 활용하여 각 작업의 성능을 향상시키는 것이다. 이 접근 방식은 한 작업의 지식을 다른 작업에 재사용하는 전이 학습과 다변량 공간 예측을 위한 지구통계학적 방법인 공동 크리깅과 관련이 있다. 다중 레이블 분류에서 벡터 출력은 클래스 소속을 인코딩하며, 레이블 간의 상관 관계를 포착하는 커널은 분류 정확도를 향상시킬 수 있다. 이러한 방법은 다중 작업 신경망과 같은 작업에서 벡터 값 예측이 일반적인 인공지능 및 딥러닝을 포함한 다양한 영역에 적용되었다.
가우시안 프로세스와의 연결
가우시안 프로세스에서 커널은 공분산 함수 역할을 하며, 다중 출력 함수는 여러 상관 프로세스를 고려하는 것에 해당한다. 이 베이지안 관점은 정규화 관점과 밀접하게 관련되어 있으며, 둘 다 출력 차원 간의 의존성을 포착하면서 입력과 출력 간의 관계를 모델링하는 것을 목표로 한다. 선형 코리전화 모델은 이 맥락에서 유효한 공분산 함수를 구성하기 위한 표준 접근 방식이다. 이러한 연결은 공유 표현을 통해 다중 출력 예측이 자주 처리되는 신경망 및 트랜스포머의 현대적 접근 방식에 영향을 미쳤다.
응용 및 확장
벡터 출력을 위한 커널 방법은 지구통계학, 컴퓨터 에뮬레이션, 다중 작업 학습에 적용되었다. 또한 모델이 임베딩이나 다차원 예측과 같은 벡터 값 출력을 자주 생성하는 현대 생성형 AI 시스템에도 관련이 있다. 연구는 MIT CSAIL 및 스탠포드 AI 랩과 같은 기관의 기초 작업을 바탕으로 대규모 데이터 세트로 확장되는 효율적인 알고리즘과 커널을 개발하는 데 계속 초점을 맞추고 있다. 이 분야는 커리큘럼 학습 및 기타 고급 훈련 기술과의 연결을 통해 여전히 활발한 연구 영역으로 남아 있다.