GPT-1, 즉 Generative Pre-trained Transformer 1의 약칭은 2018년 OpenAI가 도입한 Large language model이다. 이는 Transformer (architecture) 구조에 생성적 사전 훈련을 처음 적용한 모델로, 현대 Generative AI 시스템 발전의 기초적인 단계를 마련했다. GPT-1은 대규모 레이블 없는 텍스트 말뭉치에서 사전 훈련된 모델이 광범위한 자연어 작업을 높은 정확도로 수행하도록 미세 조정될 수 있음을 입증했으며, 방대한 레이블 데이터의 필요성을 줄였다.
배경
2010년대에는 Machine learning의 발전, 더 강력한 컴퓨터, 그리고 디지털화된 콘텐츠의 성장이 Artificial intelligence 붐을 촉진했다. 생성적 사전 훈련(GP)의 개념은 기계 학습에서 자기 지도 학습의 한 형태로 이미 확립되어 있었다. GP에서는 모델이 먼저 대규모 레이블 없는 데이터셋에서 데이터 포인트를 생성하는 법을 학습하도록 훈련된 후, 더 작은 레이블 데이터셋을 사용하여 특정 작업에 적응한다. 2017년 Google 연구진이 발표한 논문 "Attention Is All You Need"에서 소개된 transformer 구조는 자연어 처리(NLP)에서 기존 순환 신경망(RNN)의 많은 성능 문제를 해결했다. 그 주의 메커니즘은 모델이 전체 시퀀스를 한 번에 처리할 수 있게 하여, 훨씬 더 크고 정교한 모델의 훈련을 가능하게 했다.
개발 및 출시
2018년 6월 11일, OpenAI 연구진은 논문 "Improving Language Understanding by Generative Pre-Training"을 발표하며 GPT-1을 소개했다. 이 모델은 transformer의 디코더 스택을 기반으로 했으며, 7,000권 이상의 미출판 도서로 구성된 다양한 말뭉치인 BookCorpus에서 사전 훈련되어 시퀀스의 다음 토큰을 예측했다. 사전 훈련 후, 모델은 질문 응답, 텍스트 함의, 감정 분류와 같은 특정 작업을 위해 레이블 데이터로 미세 조정되었다. 이 반지도 학습 접근법은 획기적이었는데, 이전의 최고 성능 NLP 모델은 대규모 수동 레이블 데이터에 크게 의존하는 지도 학습에 의존했으며, 이는 대규모 모델에 대해 엄청나게 비싸고 시간이 많이 소요되었기 때문이다.
GPT-1은 1억 1,700만 개의 매개변수를 가졌으며, 당시로서는 상당한 규모였고, GLUE(General Language Understanding Evaluation) 스위트를 포함한 여러 벤치마크에서 강력한 성능을 입증하여 많은 작업별 지도 모델을 능가했다. 그 성공은 생성적 사전 훈련 접근법의 효과성을 확립했으며, GPT-2와 GPT-3와 같은 더 큰 후속 모델의 개발로 이어졌다.
영향 및 유산
GPT-1의 출시는 대규모 언어 모델의 빠른 진화를 위한 토대를 마련했다. 2019년 2월 14일, OpenAI는 8백만 개의 웹 페이지로 구성된 40기가바이트 데이터셋인 WebText에서 훈련된 15억 개의 매개변수를 가진 직접적인 확장 모델인 GPT-2를 소개했다. GPT-2는 일관되고 맥락에 맞는 텍스트를 생성할 수 있었지만, OpenAI는 악의적 사용에 대한 우려로 인해 처음에는 출시를 단계적으로 진행했다. 2020년 5월 28일, GPT-3는 1,750억 개의 매개변수로 소개되어 퓨샷 및 제로샷 학습을 크게 발전시켰다. 이러한 모델들은 GPT-4와 같은 후속 모델과 함께 2022년 11월 30일에 출시된 ChatGPT와 같은 응용 프로그램을 구동했으며, 이는 전 세계적인 현상이 되었다.
GPT-1은 또한 더 넓은 AI 생태계에 영향을 미쳤다. 그 구조와 훈련 패러다임은 Google DeepMind, Anthropic, Meta AI를 포함한 다른 조직들에 의해 채택되고 적응되었다 (제공된 목록에는 없지만, 개념은 암시된다). 모델의 성공은 더 긴 시퀀스와 더 큰 규모를 처리하기 위해 희소 주의 메커니즘 및 메모리 효율적인 설계와 같은 더 효율적인 transformer 구조에 대한 연구를 촉진했다.
기술적 혁신
GPT-1은 몇 가지 주요 기술적 혁신을 도입했다. 다음 토큰을 예측하기 위해 마스크된 자기 주의를 가진 transformer 디코더를 사용하여, 모델이 레이블 없는 텍스트에서 맥락적 표현을 학습할 수 있게 했다. 사전 훈련 목표는 표준 언어 모델링 작업이었지만, 미세 조정 단계에서는 작업별 입력 변환을 사용하여 모델 구조를 변경하지 않고 다양한 하위 작업에 적응시켰다. 이 접근법은 GPT-1이 최소한의 작업별 엔지니어링으로 많은 NLP 벤치마크에서 최첨단 결과를 달성할 수 있게 했다.
또 다른 혁신은 BookCorpus와 같은 다양한 말뭉치를 사용한 것으로, 이는 길고 일관된 텍스트를 제공하여 모델이 장거리 의존성을 학습하는 데 도움이 되었다. 제한된 레이블 데이터로 작업 전반에 걸쳐 일반화할 수 있는 모델의 능력은 이전 방법과의 중요한 차이점이었으며, 미래 모델의 선례를 설정했다.
더 넓은 맥락
GPT-1은 종종 GPT 계열의 첫 번째 현대 Large language model로 간주되지만, 그 영향력은 OpenAI를 넘어선다. 이는 Deep learning 및 Natural language processing에서 표준 기술이 된 생성적 사전 훈련의 잠재력을 입증했다. 모델의 성공은 또한 모델 크기와 데이터 측면에서 확장의 중요성을 강조했으며, 광범위한 작업에 적응할 수 있는 기반 모델의 개발로 이어졌다. 오늘날 GPT 기반 시스템은 챗봇, 콘텐츠 생성, 코드 지원 및 기타 많은 응용 프로그램에서 사용되며, 멀티모달 기능과 추론 향상으로 계속 진화하고 있다.