사전학습은 현대 AI 모델 훈련의 첫 번째이자 일반적으로 가장 계산 비용이 많이 드는 단계로, 모델이 특정 하위 작업에 적응하기 전에 대규모 일반 말뭉치에서 일반적인 훈련 목표를 사용하여 광범위한 통계적 패턴을 학습하는 과정입니다. 대규모 언어 모델의 경우, 사전학습은 거의 항상 자기 지도 학습을 의미합니다. 모델은 방대한 양의 텍스트를 제공받고 주변 맥락이 주어졌을 때 토큰을 예측하도록 훈련되며, 가장 일반적으로 시퀀스의 다음 토큰을 예측하는데, 이 목표는 "정답"이 기존 텍스트의 다음 단어일 뿐이므로 인간이 제공하는 레이블이 필요 없습니다.
사전학습이 효과적인 이유
사전학습의 핵심 통찰은 방대하고 다양한 말뭉치에서 다음 토큰을 정확히 예측하는 것이 모델로 하여금 문법, 사실, 추론 패턴, 심지어 기초적인 세계 지식까지 암묵적으로 학습하도록 강제한다는 점입니다. 이는 이러한 모두가 예측 오류를 줄이는 데 유용하기 때문입니다. 이런 방식으로 훈련된 모델을 기본 모델 또는 기반 모델이라고 하며, 추가 적응 전에는 지시를 따르는 어시스턴트라기보다는 매우 뛰어난 텍스트 완성 엔진처럼 작동합니다. 스탠포드 연구자들이 2021년에 만든 기반 모델이라는 용어는 단일 사전학습 모델이 미세 조정이나 맥락 내 학습을 통해 많은 다양한 하위 응용 프로그램의 출발점이 될 수 있다는 사실을 반영합니다.
규모와 비용
사전학습은 스케일링 법칙에 의해 지배됩니다. 이는 모델의 손실이 훈련 계산량, 데이터, 매개변수가 함께 증가함에 따라 예측 가능하게 감소한다는 경험적 관계로, 2020년 OpenAI 연구자들이 확립하고 2022년 DeepMind의 Chinchilla 논문이 개선한 프레임워크를 따릅니다. Chinchilla 논문은 많은 초기 모델이 크기에 비해 훈련이 부족했으며 데이터와 매개변수가 함께 스케일링되어야 한다고 주장했습니다. 가장 큰 프론티어 모델의 사전학습은 수천 개의 GPU 또는 TPU가 수 주 또는 수 개월 동안 실행되는 것을 소비하며, 비용은 수천만 달러에서 수억 달러에 이르는 것으로 보고되며, Common Crawl 및 라이선스 또는 독점 데이터셋과 같은 출처에서 구축된 훈련 말뭉치가 필요합니다.
사전학습에서 사용 가능한 어시스턴트로
갓 사전학습된 기본 모델은 아직 대화형 어시스턴트로 적합하지 않습니다. 질문에 직접 답하거나 안전하지 않은 요청을 거절하기보다는 통계적으로 가능성이 높은 스타일로 프롬프트를 계속 이어갈 것입니다. 기본 모델을 ChatGPT나 Claude와 같은 제품으로 전환하려면 추가적인 후속 훈련 단계가 필요하며, 일반적으로 큐레이션된 지시-응답 쌍에 대한 지도 미세 조정 후 RLHF나 직접 선호 최적화와 같은 선호 정렬 단계가 이어집니다. 그럼에도 불구하고 사전학습은 모델의 원시 지식과 능력의 대부분을 제공하며, 후속 훈련은 주로 그 능력이 표현되고 통제되는 방식을 형성합니다.
추세와 열린 질문
사전학습이 점점 더 많은 양의 텍스트에 의존함에 따라 연구자들은 스케일링 법칙이 요구하는 수준에 비해 고품질의 인간 생성 텍스트 공급이 고갈되는 시점인 이른바 "데이터 벽"에 대한 우려를 제기해 왔으며, 이는 모델 자체가 생성한 합성 데이터와 텍스트와 함께 이미지, 오디오, 비디오를 통합하는 다중 모달 사전학습에 대한 관심을 증가시켰습니다. 사전학습 목표도 단순한 다음 토큰 예측을 넘어 다양화되었으며, 일부 접근 방식은 BERT에서 사용되는 잡음 제거, 마스크 토큰 예측, 또는 CLIP과 유사한 다중 모달 대비 목표를 통합합니다. 이러한 변형에도 불구하고 웹 규모 텍스트에 대한 다음 토큰 예측은 2020년대 중반 현재 배포된 대규모 언어 모델의 대부분을 뒷받침하는 지배적인 사전학습 방식으로 남아 있습니다.