GPT-1 논문, 제목 "Improving Language Understanding by Generative Pre-Training"은 2018년 6월 11일 OpenAI 연구자들에 의해 발표되었다. 이 논문은 최초의 생성적 사전 훈련 트랜스포머를 소개했으며, 이 모델은 트랜스포머 아키텍처와 두 단계 훈련 방식을 결합했다: 대규모 텍스트 말뭉치에 대한 비지도 사전 훈련, 이어서 특정 작업에 대한 지도 미세 조정. 이 연구는 단일 모델이 여러 자연어 처리 벤치마크에서 강력한 성능을 달성할 수 있음을 입증했으며, 작업별 아키텍처와 레이블된 데이터에 대한 기존의 의존 방식에 도전했다.
배경
2010년대 동안, 머신 러닝의 발전과 대규모 데이터셋의 가용성은 AI 붐을 가능하게 했다. 자연어 처리(NLP)의 지배적인 패러다임은 각 특정 작업에 대해 수동으로 레이블된 대량의 데이터로 모델을 훈련하는 것이었으며, 이는 비용이 많이 들고 시간이 많이 소요되었다. 2017년, 구글 연구자들은 "Attention Is All You Need" 논문에서 트랜스포머 아키텍처를 소개했는데, 이는 자기 주의 메커니즘에 의존하여 시퀀스를 병렬로 처리하여 토큰을 순차적으로 처리하는 순환 신경망(RNN)의 한계를 극복했다. 이 아키텍처는 이후 딥 러닝 및 NLP 연구의 기초가 되었다.
개발
GPT-1 모델은 1억 1,700만 개의 매개변수를 가진 디코더 전용 트랜스포머로, 다양한 장르의 미출판 도서 7,000권 이상을 포함한 BookCorpus 데이터셋으로 훈련되었다. 사전 훈련 목표는 표준 언어 모델링이었다: 시퀀스에서 다음 토큰을 예측하는 것. 이 비지도 단계 후, 모델은 작업별 입력 변환을 통해 다양한 형식에 적응시키며 지도 학습으로 개별 작업에 대해 미세 조정되었다. 논문은 이 접근 방식이 상식 추론, 질문 응답, 텍스트 함의를 포함한 12개 연구 작업 중 9개에서 최첨단 결과를 달성했으며, 종종 레이블된 데이터로 처음부터 훈련된 모델을 능가했음을 보여주었다.
영향
GPT-1의 성공은 생성 AI의 사전 훈련 및 미세 조정 패러다임을 확립했으며, 이는 이후 모델의 청사진이 되었다. 이는 직접적으로 2019년 2월 GPT-2의 개발로 이어졌으며, 모델을 15억 개의 매개변수로 확장하고 일관된 텍스트를 생성하는 능력을 입증했다. 이어서 2020년 5월 GPT-3가 1,750억 개의 매개변수로 출시되었으며, 퓨삿 러닝을 도입하여 프롬프트의 몇 가지 예제만으로 작업을 수행할 수 있게 했다. 이 계보는 인간 피드백 기반 강화 학습(RLHF)을 사용하여 출력을 사용자 의도에 맞추는 InstructGPT로 이어졌고, 결국 2022년 11월 출시된 ChatGPT가 이러한 모델을 광범위한 대중에게 제공했다.
유산
GPT-1 논문은 대규모 언어 모델 분야에 대한 기초적인 기여로 널리 인정받고 있다. 이는 다양한 텍스트에 대한 생성적 사전 훈련이 일반적인 언어 지식을 포착하고 하위 작업에 효과적으로 전이될 수 있음을 입증했다. 이 접근 방식은 OpenAI의 이후 모델뿐만 아니라 Google의 Gemini 및 Meta의 Llama와 같은 경쟁 시스템, 그리고 DeepSeek와 같은 오픈 소스 노력의 개발에도 영향을 미쳤다. 논문은 또한 생성 작업을 위한 트랜스포머의 잠재력을 강조하여 텍스트, 이미지, 오디오를 처리하고 생성하는 멀티모달 모델과 더 긴 시퀀스에 대한 계산 비용을 줄이는 희소 주의 메커니즘과 같은 효율성 개선의 길을 열었다.