GPT-1은 2018년 6월 11일 OpenAI가 출시한 최초의 생성형 사전 훈련 트랜스포머(GPT)로, 대규모 언어 모델의 한 유형이며 트랜스포머 아키텍처에 기반을 두었다. 이 모델은 레이블이 없는 텍스트에 대한 생성형 사전 훈련과 특정 언어 작업을 위한 판별적 미세 조정을 결합한 반지도 학습 방식을 도입하여 자연어 처리 및 인공지능 분야를 크게 발전시켰다.
배경
2010년대에는 머신 러닝 알고리즘의 개선, 더 강력한 컴퓨터, 그리고 증가된 디지털 데이터에 힘입은 AI 붐이 AI의 급속한 진전을 가능하게 했다. 생성형 사전 훈련은 자기 지도 학습의 한 형태로, 머신 러닝에서 오랫동안 확립된 방식이었다. 즉, 모델이 먼저 대규모 레이블 없는 데이터 세트에서 데이터 생성을 학습하도록 훈련된 후, 레이블이 있는 데이터로 특정 작업에 적응하는 방식이다. 2017년 Google 연구자들이 발표한 논문 "Attention Is All You Need"에서 소개된 트랜스포머 아키텍처는 어텐션 메커니즘을 사용하여 전체 시퀀스를 한 번에 처리함으로써 기존 순환 신경망의 성능 문제를 해결했고, 훨씬 더 크고 정교한 모델을 가능하게 했다.
역사
2018년 6월 11일, OpenAI는 논문 "Improving Language Understanding by Generative Pre-Training"을 발표하며 GPT-1을 소개했다. 이 모델은 디코더 부분만 사용하는 트랜스포머 기반 모델로, 다양한 텍스트 코퍼스인 BookCorpus에서 사전 훈련되어 다음 토큰을 예측한 후, 특정 작업을 위한 판별적 미세 조정을 거쳤다. 이 반지도 학습 방식은 획기적이었는데, 이전의 최고 성능 신경망 모델은 수동으로 레이블을 붙인 데이터에 의존하는 값비싼 지도 학습에 의존했기 때문이다. 2019년 2월 14일, OpenAI는 15억 개의 매개변수와 800만 개의 웹 페이지로 구성된 40기가바이트 데이터 세트를 갖춘 직접적인 확장판인 GPT-2를 출시했으며, 처음에는 오용 우려로 인해 단계적으로 공개되었다. 2020년 2월 10일, Microsoft는 170억 개의 매개변수를 가진 Turing Natural Language Generation을 소개하며 당시 가장 큰 언어 모델이라고 주장했다. 2020년 5월 28일, OpenAI는 1750억 개의 매개변수를 가진 GPT-3를 출시하여 퓨삿 및 제로샷 학습을 발전시켰다. GPT-3 이후, OpenAI는 인간 피드백 기반 강화 학습을 사용하여 InstructGPT를 만들었고, 이는 2022년 11월 30일에 GPT-3.5를 기반으로 출시된 ChatGPT로 이어졌으며, 이후 GPT-4(2023년 3월 14일 출시)로 발전했다. ChatGPT의 인기는 Google의 PaLM 및 Gemini, Meta AI의 Llama 등 경쟁 제품을 촉발했다.
기반 모델
기반 모델은 광범위한 데이터로 대규모 훈련된 AI 모델로, 다양한 하위 작업에 적응할 수 있다. 기반 GPT는 텍스트 외에도 이미지와 오디오 같은 양식을 사용할 수 있다. 일부 생성형 트랜스포머 기반 모델은 확산 및 병렬 디코딩을 포함한 텍스트-이미지 기술에 사용되며, 이미지 처리 시스템 개발을 위한 시각적 기반 모델 역할을 한다.
효율적인 트랜스포머 아키텍처
트랜스포머 모델의 계산 및 메모리 요구 사항은 크기와 입력 길이에 따라 크게 증가하는데, 표준 자기 어텐션은 이차 복잡성을 가지기 때문이다. 연구자들은 비용을 줄이고 더 긴 컨텍스트 윈도우를 지원하기 위해 희소 어텐션 메커니즘 및 메모리 효율적 아키텍처 같은 효율성 개선을 제안했다. BigBird, Reformer, FlashAttention 같은 모델은 구조화된 어텐션 패턴 또는 최적화된 계산을 보여주며, 대규모 언어 모델이 긴 시스를 효율적으로 처리할 수 있게 돕는다.
영향
GPT-1의 도입은 이후 GPT 모델의 기반을 마련했고 생성형 AI의 광범위한 발젂에 영항을 주었다. 그 반지도 학습 방삭은 레이블 데이터 의존도를 줄여 방대한 레이블 없는 코퍼스에서 훈련을 가능하게 했다. GPT-1과 그 후속 모델의 성공은 챗봇에서 콘텐츠 생선에 이르는 다양한 응용 분야에서 트랜스포머 기반 모델의 광범위한 채택을 이끌었고, 모델 스케일링, 정렬, 효율성에 관한 연구를 촉발했다.