미세 조정은 일반적으로 사전 학습 중에 대규모의 범용 데이터셋으로 이미 학습된 모델을 가져와 더 작고 특정한 데이터셋으로 학습을 계속하여 특정 작업, 도메인 또는 스타일에 적응시키는 방법이다. 이 기법은 전이 학습의 전제에 기반한다. 즉, 이미 시각적 특징이나 텍스트의 언어적 패턴과 같은 광범위한 통계적 구조를 학습한 모델은 비슷한 품질의 모델을 처음부터 학습하는 것에 비해 특화에 필요한 추가 데이터와 계산이 상대적으로 적다.
역사
미세 조정은 2012년 ImageNet의 돌파구 이후 컴퓨터 비전에서 표준적인 방법이 되었는데, 연구자들은 ImageNet으로 학습된 합성곱 신경망이 마지막 층만 가볍게 재학습하여 더 작고 무관한 이미지 분류 작업에 잘 전이된다는 것을 발견했다. 자연어 처리에서는 2018년 BERT와 함께 이 기법이 새로운 중요성을 얻었으며, 단일 사전 학습 인코더를 감정 분석이나 질문 응답과 같은 여러 하위 작업에 적응시키는 "사전 학습 후 미세 조정" 패러다임이 수년간 지배적인 워크플로가 되었다. 대규모 대규모 언어 모델의 부상과 함께 미세 조정은 좁은 분류 작업에 모델을 적응시키는 것에서 지시 미세 조정으로 전환되었는데, 이는 단순히 다음 토큰을 예측하도록 학습된 기본 모델을 지시와 원하는 응답의 선별된 예시로 조정하여 유용한 어시스턴트처럼 행동하게 하는 단계로, ChatGPT와 같은 시스템을 학습하는 데 사용된 과정이다.
방법
전체 미세 조정은 모델의 모든 매개변수를 업데이트하며, 가장 큰 모델의 경우 모든 가중치에 대한 기울기와 옵티마이저 상태를 저장해야 하므로 상당한 계산과 메모리가 필요하다. 이러한 비용으로 인해 원래 모델의 대부분을 고정하고 소수의 추가 매개변수만 학습하는 매개변수 효율적 미세 조정 방법이 개발되었다. 가장 널리 채택된 방법은 LoRA로, 모델의 층에 작은 저랭크 행렬을 삽입하고 그것들만 학습하여 메모리 요구량을 크게 줄이면서도 많은 작업에서 전체 미세 조정에 가까운 결과를 달성한다. 다른 접근 방식으로는 어댑터 층, 프롬프트 튜닝, 프리픽스 튜닝이 있으며, 각각 유연성과 효율성 사이에서 서로 다른 절충을 한다.
지도 미세 조정(SFT)은 레이블이 지정된 입력-출력 쌍으로 모델을 학습시키며 기본 LLM을 지시를 따르는 어시스턴트로 적응시키는 표준적인 첫 단계이다. 이는 종종 RLHF나 직접 선호 최적화와 같은 선호 기반 방법으로 이어지며, 이는 단일 정답 레이블 대신 두 출력 중 어느 것이 더 나은지에 대한 인간의 판단을 사용하여 모델의 행동을 더욱 정제한다.
미세 조정과 다른 접근 방식의 비교
미세 조정은 모델이 더 정확하거나 특화된 출력을 생성하도록 하는 방법으로 검색 증강 생성과 자주 비교된다. 미세 조정은 모델의 내부 가중치를 변경하며 일관된 스타일, 형식 또는 특화된 기술을 가르치는 데 적합하다. 반면 검색은 모델을 변경하지 않고 추론 시점에 관련 사실을 제공하므로 원본 정보가 변경될 때 업데이트하기 쉽고 모델의 일반적인 능력을 덮어쓸 위험이 적다. 실제로 두 방법은 종종 결합되며, 미세 조정된 모델이 검색된 문서를 근거로 호출한다.
위험
좁은 데이터셋으로 미세 조정하면 적응 전에 가지고 있던 일반적인 능력을 모델이 잃는 파괴적 망각이 발생할 수 있으며, 작은 미세 조정 세트에 대한 과적합은 특히 예시 수가 모델 용량에 비해 적을 때 지속적인 위험이다. 필터링되지 않거나 제대로 선별되지 않은 데이터로 미세 조정하면 모델의 안전 학습이 약화될 수 있다는 것도 입증되었으며, 이러한 우려로 인해 제공업체는 가장 강력한 모델에 대한 미세 조정 접근을 제한하거나 모니터링하게 되었다.