GPT-3(Generative Pretrained Transformer 3)은 OpenAI가 개발하고 2020년 5월 논문 "Language Models are Few-Shot Learners"에서 소개한 대규모 언어 모델로, 2020년 나머지 기간 동안 API 접근이 더욱 확대되었다. 전작인 GPT-2와 마찬가지로 GPT-3는 트랜스포머 아키텍처를 기반으로 하며 자동회귀적 다음 토큰 예측 목표로 훈련되었지만, GPT-2 전체 모델보다 100배 이상 큰 1,750억 개의 매개변수로 대폭 확장되었고, Common Crawl, 서적, 위키백과 텍스트의 혼합 데이터로 훈련되었다.
퓨삿 러닝
GPT-3의 핵심 연구 기여는 충분히 큰 언어 모델이 기울기 기반 미세 조정 없이도 프롬프트에 몇 가지 예시만 주어지면 번역, 질문 응답, 산술, 간단한 추론을 포함한 광범위한 작업을 수행할 수 있음을 입증한 것이다. 주 저자 Tom Brown을 포함한 OpenAI 연구진이 퓨삿 러닝 및 더 일반적으로 맥락 내 학습으로 설명한 이 능력은 규모만으로도 작업별 훈련을 대체할 수 있음을 시사했으며, 이는 언어 모델링에서 스케일링 법칙에 대한 떠오르는 믿음을 강화하고 이후 해당 분야 전반의 연구 우선순위를 형성했다.
상업적 출시
OpenAI는 GPT-2에서 결국 했던 것처럼 GPT-3의 가중치를 공개적으로 배포하는 대신, 2020년 6월부터 비공개 베타를 시작으로 유료 API를 통해서만 GPT-3를 제공했다. 이 결정은 이후 업계 전반에 널리 채택된 비즈니스 모델을 확립했는데, 이는 최첨단 언어 모델을 로컬에서 다운로드하여 실행하는 대신 계량형 클라우드 서비스로 접근하는 방식이며, 이후 몇 년간 경쟁사들이 출시한 오픈 가중치 모델과 대조를 이룬다. API는 곧 GPT-3 위에 제품을 구축하는 스타트업 물결을 끌어들였으며, 초기 AI 글쓰기 도우미, 챗봇, 코드 생성 도구를 포함했고, 마이크로소프트는 OpenAI에 대한 더 넓은 투자의 일환으로 2020년 GPT-3의 기반 모델 가중치에 대한 독점 라이선스를 별도로 획득했다.
영향과 한계
GPT-3는 언어 모델이 질적으로 새로운 능력에 접근하고 있다는 증거로 주류 및 기술 언론에서 널리 보도되었으며, RLHF를 포함한 기술로 훈련된 지시 조정 변형의 개발에 직접적인 영향을 주었고, 이 작업은 GPT-3.5 변형을 기반으로 한 ChatGPT의 2022년 11월 출시로 이어졌다. GPT-3는 또한 유창하지만 사실적으로 부정확한 출력을 생성하는 경향으로 상당한 비판을 받았는데, 이는 이후 해당 분야에서 환각이라고 불리는 초기의 두드러진 사례였으며, 훈련 데이터에 존재하는 편향을 재현한다는 비판도 받았다. 후속 모델인 GPT-4는 2023년 3월에 다중 모드 입력을 포함한 상당히 확장된 능력으로 출시되었다.