다중 작업 학습(MTL)은 기계 학습의 한 하위 분야로, 여러 학습 작업을 동시에 해결하면서 작업 간의 공통점과 차이점을 활용하는 접근 방식이다. 이 방식은 각 작업별 모델을 개별적으로 훈련하는 것보다 학습 효율성과 예측 정확도를 향상시킬 수 있다. 본질적으로 다중 작업 학습은 서로 다른 작업 간의 절충(trade-off)을 수반하는 다중 목적 최적화 문제이다. 초기 버전의 MTL은 "힌트(hints)"라고 불렸다.
1997년에 발표된 널리 인용된 논문에서 리치 카루아나(Rich Caruana)는 MTL을 귀납적 전이(inductive transfer)의 한 접근 방식으로 정의했으며, 이는 관련 작업의 훈련 신호에 포함된 도메인 정보를 귀납적 편향(inductive bias)으로 활용하여 일반화 성능을 향상시키는 방법이다. 이는 병렬적으로 작업을 학습하면서 공유 표현(shared representation)을 사용함으로써, 각 작업에서 학습된 내용이 다른 작업의 학습에도 도움이 될 수 있게 한다. 분류(classification) 맥락에서 MTL은 여러 분류 작업을 공동으로 학습하여 각 작업의 성능을 향상시키는 것을 목표로 한다. 한 가지 예로 스팸 필터가 있는데, 이는 서로 다른 사용자에 대해 별개의 분류 작업으로 취급될 수 있다. 사용자마다 스팸 메일과 정상 메일을 구분하는 특징의 분포가 다를 수 있다(예: 영어 사용자는 러시아어 메일을 스팸으로 간주할 수 있지만, 러시아어 사용자는 그렇지 않을 수 있음). 그러나 송금 관련 텍스트와 같은 공통점도 존재한다. 각 사용자의 스팸 분류 문제를 MTL로 공동 해결하면, 한 사용자에 대한 솔루션이 다른 사용자의 솔루션에 정보를 제공하여 전반적인 성능을 향상시킬 수 있다. 다른 예로는 다중 클래스 분류(multiclass classification)와 다중 레이블 분류(multi-label classification)가 있다.
MTL이 효과적인 이유는 관련 작업에서 좋은 성능을 요구하는 정규화(regularization)가 모든 복잡성을 균일하게 패널티하는 정규화보다 우수할 수 있기 때문이다. MTL은 작업들이 상당한 공통점을 공유하고 각 작업의 데이터가 다소 부족한 경우 특히 유용하다. 또한 관련이 없는 작업을 학습하는 데도 효과적임이 입증되었다.
작업 그룹화 및 중복
MTL 패러다임 내에서 정보는 일부 또는 모든 작업 간에 공유될 수 있다. 작업 관련성의 구조에 따라 정보를 선택적으로 공유할 수 있다. 작업은 그룹화되거나, 계층 구조를 가지거나, 일반적인 메트릭에 따라 관련될 수 있다. 공식적으로, 각 작업을 모델링하는 매개변수 벡터는 기본 기저 벡터(basis vectors)의 선형 결합으로 표현될 수 있다. 이 기저에서의 유사성은 작업 관련성을 나타내며, 예를 들어 희소성(sparsity)을 통해 작업 간에 0이 아닌 계수의 중복이 공통성을 나타낼 수 있다. 작업 그룹화는 기저 요소의 부분 집합으로 생성된 부분 공간에 작업이 위치하는 것에 해당하며, 그룹은 서로 분리되거나 중복될 수 있다. 작업 관련성은 사전에 부과되거나 데이터로부터 학습될 수 있다. 계층적 관련성은 명시적 학습 없이 암시적으로 활용될 수도 있으며, 예를 들어 작업 간 샘플 관련성을 학습하여 여러 도메인에 걸친 공동 학습을 효과적으로 수행할 수 있다.
관련 없는 작업 활용: 보조 학습
보조 학습(auxiliary learning)에서는 주요 작업 그룹과 관련이 없는 보조 작업 그룹을 함께 학습한다. 적절한 관련 없는 작업을 선택하면 동일한 입력 데이터를 공동으로 사용하는 학습이 표준 MTL보다 상당한 성능 향상을 제공할 수 있음이 입증되었다. 작업 관련성에 대한 사전 지식은 각 작업 그룹에 대해 더 희소하고 정보량이 많은 표현을 이끌어내며, 데이터 분포의 특이성을 걸러낼 수 있다. 방법에 따라 그룹 내에서는 저차원 공유 표현을 선호하고, 서로 다른 그룹의 작업 간에는 직교 표현을 장려하는 패널티를 부과하기도 한다. 관련 없는 보조 작업을 활용한 학습은 유용한 보조 작업을 찾는 문제와 모든 작업의 손실을 유용하게 결합하는 문제라는 두 가지 과제를 제기한다. 일부 방법은 훈련 중에 이러한 요소를 데이터로부터 학습한다.
지식 전이
MTL과 관련된 개념으로 지식 전이(knowledge transfer)가 있다. 전통적인 MTL은 여러 작업을 동시에 학습하며 공유 표현을 발전시키는 반면, 지식 전이는 순차적으로 공유 표현을 구축하는 방식을 의미한다. 대규모 기계 학습 프로젝트, 예를 들어 심층 합성곱 신경망(deep convolutional neural network)인 GoogLeNet(이미지 기반 객체 분류기)은 관련 작업을 학습하는 다른 알고리즘에 유용한 강건한 표현을 발전시킬 수 있다. 사전 훈련된 모델은 다른 학습 알고리즘의 전처리 단계에서 특징 추출기로 사용되거나, 유사한 구조의 모델을 초기화한 후 다른 분류 작업에 맞게 미세 조정(fine-tuning)하는 데 사용될 수 있다. 이러한 접근 방식은 딥 러닝 및 신경망 실무에서 흔히 사용되며, 특히 대규모 언어 모델 개발에서 두드러진다.
다중 비정상 작업
전통적으로 MTL과 지식 전이는 정상(stationary) 학습 환경에 적용되었다. 이를 비정상(non-stationary) 환경으로 확장한 것을 그룹 적응형 온라인 학습(GOAL)이라고 한다. 정보 공유는 지속적으로 변화하는 환경에서 작업하는 학습자에게 특히 유용할 수 있으며, 한 학습자가 다른 학습자의 이전 경험을 활용하여 빠르게 적응할 수 있다. 이러한 그룹 적응형 학습은 금융 시계열 예측, 콘텐츠 추천 시스템, 적응형 자율 에이전트를 위한 시각적 이해 등에 응용된다.
다중 작업 최적화
다중 작업 최적화는 최적화 과정 전체에 초점을 맞추며, 전이 학습과 MTL에서 영감을 받았다. 핵심 동기는 최적화 작업이 최적 솔루션이나 함수 랜드스케이프 특성 측면에서 관련되어 있다면, 한 작업에서의 탐색 진행 상황을 다른 작업으로 전이하여 탐색을 가속화할 수 있다는 것이다. 성공은 단순히 단순한 작업에서 복잡한 작업으로의 일방향 전이에 국한되지 않으며, 실제로는 양방향으로 관련성을 활용하려는 시도가 이루어진다.
방법 및 아키텍처
MTL의 핵심 과제는 여러 작업의 학습 신호를 단일 모델로 결합하는 방법이다. 이는 작업들이 얼마나 일치하거나 상충하는지에 따라 달라진다. 딥 러닝의 일반적인 아키텍처 접근 방식으로는 하드 매개변수 공유(hard parameter sharing)가 있는데, 이는 여러 작업이 은닉층을 공유하고 각 작업에 대해 별도의 출력층을 사용하는 방식이다. 반면 소프트 매개변수 공유(soft parameter sharing)는 각 작업이 자체 모델을 가지지만 유사성을 장려하는 정규화를 통해 매개변수가 서로 가까워지도록 유도한다. 트랜스포머 기반 모델에서는 사전 훈련된 모델을 여러 목적 함수로 동시에 미세 조정하는 다중 작업 미세 조정이 자주 사용되며, 때로는 작업별 헤드(head)를 추가하기도 한다. 데이터 증강, 드롭아웃, 배치 정규화와 같은 기법은 공유 표현을 정규화하는 데 도움이 될 수 있다. 아담 최적화기 및 SGD 변형과 같은 최적화 방법이 일반적으로 사용되며, 학습률 스케줄 조정을 통해 여러 작업 간의 손실 균형을 맞추기도 한다.
응용 및 연구
MTL은 다양한 분야에 적용되었다. 컴퓨터 비전에서는 GoogLeNet과 같은 모델과 잔차 네트워크 아키텍처가 객체 탐지 및 분할과 같은 관련 작업을 공동으로 학습하는 데 활용된다. 자연어 처리에서는 오픈AI, 앤트로픽, 구글 딥마인드와 같은 기관의 트랜스포머 모델이 다양한 목적을 위한 사전 훈련 과정에서 MTL을 사용한다. 산업계에서는 아마존 웹 서비스, 애저, 구글 클라우드와 같은 기업이 AI 플랫폼에서 MTL 기능을 제공한다. MIT 컴퓨터 과학 및 인공지능 연구소, 스탠포드 인공지능 연구소, 버클리 인공지능 연구소, 토론토 대학교와 같은 연구 기관도 기초 연구에 기여했다. 주목할 만한 연구자로는 마이클 조던, 아니마 아난드쿠마르, 리치 서튼 등이 있다. MTL은 커리큘럼 학습과도 교차하며, 여기서 작업은 난이도 순으로 배열된다. 또한 RLHF와 같은 인간 피드백 기반 학습 방법과도 관련이 있다.
과제 및 향후 방향
이러한 이점에도 불구하고 MTL은 부정적 전이(negative transfer)와 같은 과제에 직면한다. 이는 관련 없는 작업이 성능을 저하시킬 수 있는 현상이다. 또한 여러 작업의 손실 균형을 맞추는 문제도 중요하다. 다중 목적 최적화 기법은 이러한 절충을 처리하기 위해 개발되고 있다. 2020년대 초반부터 적응형 작업 가중치, 작업 그룹화 방법, 비정상 및 다중 에이전트 환경으로의 MTL 확장에 대한 연구가 계속되고 있다. 이 패러다임은 인공지능에서 일반화 성능과 효율성을 향상시키는 핵심 도구로 남아 있다.