전이 학습(Transfer learning, TL)은 기계 학습에서 한 작업에서 학습한 지식을 관련 작업의 성능을 향상시키기 위해 재사용하는 기법이다. 예를 들어, 이미지 분류에서 자동차 인식을 학습하면서 얻은 지식은 트럭 인식을 시도할 때 적용될 수 있다. 이 주제는 학습 전이에 대한 심리학 문헌과 관련이 있지만, 두 분야 간의 실질적인 연관성은 제한적이다. 이전에 학습한 작업에서 새로운 작업으로 정보를 재사용하거나 전이하는 것은 학습 효율성을 크게 향상시킬 잠재력이 있다. 전이 학습은 여러 목적 함수를 사용한 훈련을 활용하므로 비용 민감 기계 학습 및 다중 목적 최적화와 관련이 있다.
현대 실무에서 전이 학습의 지배적인 형태는 광범위하고 데이터가 풍부한 소스 작업에서 대규모 신경망을 사전 훈련한 다음, 데이터가 제한적인 더 좁은 대상 작업에 대해 미세 조정하는 것이다. 이 접근 방식은 딥 러닝, 특히 자연어 처리(대규모 언어 모델에서 볼 수 있음) 및 컴퓨터 비전에서 많은 성공을 뒷받침한다. '전이 학습 세부 사항'이라는 용어는 종종 이 미세 조정 과정에 관련된 실용적 및 이론적 고려 사항을 의미한다.
역사
1976년, Bozinovski와 Fulgosi는 신경망 훈련에서 전이 학습을 다루는 논문을 발표했다. 그 논문은 이 주제에 대한 수학적 및 기하학적 모델을 제시했다. 1981년, 컴퓨터 터미널의 문자를 나타내는 이미지 데이터 세트에 전이 학습을 적용하는 것을 고려한 보고서가 긍정적 및 부정적 전이 학습을 실험적으로 입증했다. 부정적 전이는 소스 지식이 대상 성능을 해칠 때 발생한다.
1992년, Lorien Pratt는 판별 기반 전이(DBT) 알고리즘을 공식화했다. 1998년까지 이 분야는 다중 작업 학습과 더 공식적인 이론적 기반을 포함하도록 발전했다. 전이 학습에 영향력 있는 출판물로는 1998년 책 Learning to Learn, 2009년 조사, 2019년 조사가 있다.
Andrew Ng는 2016년 NIPS 튜토리얼에서 전이 학습이 지도 학습 이후 기계 학습 상업적 성공의 다음 동력이 될 것이라고 말했다. 2020년 논문 'Rethinking Pre-Training and Self-Training'에서 Zoph 외는 사전 훈련이 일부 설정에서 정확도를 해칠 수 있다고 보고하고 대신 자기 훈련을 옹호하며 전이 학습의 미묘한 절충점을 강조했다.
정의
전이 학습의 정의는 도메인과 작업의 관점에서 주어진다. 도메인 D는 특징 공간 X와 주변 확률 분포 P(X)로 구성되며, 여기서 X = {x_1, ..., x_n} ∈ X이다. 특정 도메인 D = {X, P(X)}가 주어지면, 작업은 두 가지 구성 요소로 구성된다: 레이블 공간 Y와 목적 예측 함수 f: X → Y. 함수 f는 새 인스턴스 x의 레이블 f(x)를 예측한다. 이 작업은 T = {Y, f(x)}로 표시되며, 쌍 {x_i, y_i}로 구성된 훈련 데이터에서 학습된다.
소스 도메인 D_S와 학습 작업 T_S, 대상 도메인 D_T와 학습 작업 T_T가 주어지고, 여기서 D_S ≠ D_T 또는 T_S ≠ T_T일 때, 전이 학습은 D_S와 T_S의 지식을 사용하여 D_T에서 대상 예측 함수 f_T(·)의 학습을 개선하는 것을 목표로 한다. 핵심 가정은 소스 및 대상 작업이 공유 지식을 전이할 수 있을 만큼 충분히 관련이 있다는 것이다.
미세 조정 메커니즘
딥 러닝에서 전이 학습의 가장 일반적인 구현은 미세 조정이다. 모델은 먼저 크고 일반적인 데이터 세트(소스 작업)에서 사전 훈련된다. 그런 다음, 가중치는 대상 작업 훈련을 위한 초기화로 사용된다. 사전 훈련된 네트워크의 하위 레이어는 일반적으로 일반적인 특징을 학습하며, 학습된 표현을 보존하기 위해 종종 동결되거나 낮은 학습률로 조정되는 반면, 상위 레이어는 대상 데이터에 대해 재훈련된다.
미세 조정은 전체 네트워크 또는 레이어의 하위 집합에만 적용될 수 있다. 대상 데이터 세트가 작을 때, 실무자는 과적합을 피하기 위해 대부분의 레이어를 동결하고 최종 분류 헤드만 업데이트하는 경우가 많다. 더 큰 대상 데이터 세트의 경우 더 공격적인 미세 조정이 가능하다. 드롭아웃, 배치 정규화, 레이어 정규화와 같은 기법은 미세 조정 중에 모델을 정규화하기 위해 일반적으로 사용된다.
전이 학습 유형
전이 학습은 소스 및 대상 도메인과 작업 간의 일치 수준에 따라 분류될 수 있다. 귀납적 전이 학습은 도메인이 동일하더라도 소스 및 대상 작업이 다를 때 발생한다. 변환적 전이 학습은 도메인이 다르지만 작업이 동일할 때 발생한다. 비지도 전이 학습은 작업과 도메인이 모두 다르지만 레이블된 데이터를 사용할 수 없을 때 적용된다.
실무에서 대부분의 딥 러닝 응용 프로그램은 동일한 특징 공간을 가진 귀납적 전이 학습을 사용한다 - 예를 들어, 일반 텍스트에서 트랜스포머를 사전 훈련하고 감정 분석에 대해 미세 조정하는 경우. 여러 목적에 대해 동시에 모델을 훈련하는 다중 작업 학습은 밀접하게 관련되어 있으며 전이 학습과 수학적 기반을 공유한다.
응용 프로그램
전이 학습은 AI 응용 프로그램 전반에 걸쳐 널리 퍼져 있다. 컴퓨터 비전에서 ImageNet에서 사전 훈련된 모델은 의료 이미지 분석, 객체 감지 및 자율 주행을 위해 미세 조정되었다. 자연어 처리에서 OpenAI와 Google DeepMind는 연구자들이 질문 응답 또는 번역과 같은 특정 작업에 대해 미세 조정하는 대규모 사전 훈련 모델을 출시했다.
구체적인 예로는 텍스트 이해를 위한 BERT가 있으며, 이는 마스크된 언어 모델링에서 사전 훈련되고 감정 분류 또는 명명된 엔터티 인식을 위해 미세 조정되었다. 음성 인식에서 일반 오디오에서 사전 훈련된 모델은 음향 환경에 적응된다. 강화 학습에서 전이 학습은 이전 작업의 정책을 재사용하여 새로운 환경에서 학습을 가속화할 수 있다.
이론적 고려 사항
전이 학습의 효과는 소스 및 대상 분포 간의 유사성에 따라 달라진다. 핵심 이론적 결과는 대상 작업의 일반화 오류가 소스 작업의 오류에 두 도메인 간의 발산을 측정하는 항을 더한 값으로 제한된다는 것이다. 이 관계는 전이 학습을 적용할 시기에 대한 실용적인 결정을 안내한다.
소스 지식이 대상 작업에 대해 오해의 소지가 있을 때 부정적 전이가 발생할 수 있다. 예를 들어, 많은 클래스가 있는 이미지 분류에서 사전 훈련은 매우 다른 레이블 분포를 가진 대상 작업에 도움이 되지 않을 수 있다. 적대적 훈련과 같은 도메인 적응 기법은 도메인 이동을 최소화하는 것을 목표로 한다. 일반적으로 최근 연구는 전이 학습이 만병통치약이 아니며 신중한 평가가 필요하다는 점을 강조한다.
최적화 기법
대규모 사전 훈련 모델을 미세 조정하려면 특수 최적화가 필요하다. Adam 옵티마이저 및 그 변형은 표준 선택이며, 종종 처음부터 훈련할 때보다 낮은 초기 학습률을 사용한다. 그래디언트 클리핑은 미세 조정 중 폭발을 방지하기 위해 자주 사용된다. 커리큘럼 학습은 대상 데이터 세트가 난이도가 증가하는 순서로 제시되는 방식으로 적용될 수도 있다.
또 다른 접근 방식은 사전 훈련된 레이어에 대해 더 작은 학습률을 사용하고 새로 초기화된 레이어에 대해 더 높은 학습률을 사용하는 것이다. 또한 데이터 증대 기법(예: 무작위 자르기 또는 토큰 마스킹)은 작은 대상 데이터 세트에서 모델이 일반화하는 데 도움이 될 수 있다. 일부 방법은 미세 조정 후 모델 가지치기를 사용하여 정확도 손실 없이 모델 크기를 줄인다.
대규모 언어 모델과의 관계
대규모 언어 모델의 부상으로 전이 학습은 그 어느 때보다 중요해졌다. GPT-3 및 Claude와 같은 모델은 방대한 말뭉치에서 사전 훈련된 다음 미세 조정 또는 프롬프팅을 통해 다운스트림 작업에 적응된다. 일부 경우, 전이 학습은 모델이 일반화를 개선하기 위해 많은 작업에 대해 동시에 미세 조정되는 지시 튜닝을 통해 대규모로 수행된다.
인간 피드백 기반 강화 학습(RLHF)은 사전 훈련된 모델이 인간 선호도를 보상 신호로 사용하여 미세 조정되는 전이 학습의 한 형태이다. 이 접근 방식은 모델을 인간 가치에 맞추는 데 중요한 역할을 했다. Anthropic 및 OpenAI의 연구는 전이 학습이 안전 및 정렬과 어떻게 상호 작용하는지 보여준다.
과제 및 향후 방향
주요 과제는 AWS Trainium 또는 Google Cloud TPU와 같은 특수 하드웨어의 대규모 클러스터를 자주 요구하는 사전 훈련의 계산 비용이다. 어댑터 또는 LoRA와 같은 가중치의 작은 부분만 업데이트하는 매개변수 효율적인 방법을 포함한 효율적인 전이 학습에 대한 활발한 연구가 있다.
또 다른 우려는 망각이다 - 새로운 작업에 대해 미세 조정할 때 모델이 소스 작업의 지식을 잃을 수 있다. 지속 학습 접근 방식은 이를 완화하는 것을 목표로 한다. 2020년대 초반 현재, 전이 학습은 활발한 연구 영역으로 남아 있으며, Zoph 외가 강조한 바와 같이 사전 훈련이 도움이 되는 시기와 그렇지 않은 시기에 대한 미묘한 발견이 있다. 향후 작업은 이론적 보장과 부정적 전이를 피하는 더 나은 방법에 초점을 맞출 수 있다.