배경
GPT-3의 개발은 2010년대의 기계 학습 발전에 뿌리를 두고 있으며, 개선된 알고리즘, 더 강력한 컴퓨터, 그리고 증가된 디지털 데이터에 힘입은 바가 크다. 2017년에 도입된 트랜스포머 아키텍처는 자연어 처리의 핵심 기반이 되었다. OpenAI의 첫 번째 생성형 사전 훈련 트랜스포머(GPT-1)는 2018년 6월에 출시되었고, GPT-2는 2019년 2월에 이어졌으며, 매개변수와 데이터셋 규모를 10배로 늘려 15억 개의 매개변수에 도달했다. 2020년 2월, 마이크로소프트는 170억 개의 매개변수를 가진 T-NLG(Turing Natural Language Generation)를 소개했는데, 이는 당시 가장 큰 언어 모델이었다.
훈련 및 역량
2020년 5월 28일, 31명의 OpenAI 연구원들이 작성한 arXiv 사전 인쇄본이 GPT-3를 설명했으며, GPT-2에 비해 용량이 두 자릿수 이상 증가했다. 훈련 데이터셋은 60%의 필터링된 Common Crawl(4,100억 개의 토큰), 22%의 WebText2, 8%의 Books1, 8%의 Books2, 그리고 3%의 Wikipedia로 구성되었다. GPT-3는 수천억 개의 단어로 훈련되었으며 CSS, JSX, Python과 같은 언어로 코드를 작성할 수 있었다. Lambda Labs는 훈련 비용을 약 460만 달러의 클라우드 컴퓨팅 비용과 단일 GPU 기준 355년에 해당하는 시간으로 추정했지만, 병렬 처리를 통해 실제 시간은 크게 단축되었다.
역량 및 한계
GPT-3는 광범위한 훈련 데이터 덕분에 특정 작업에 대한 미세 조정 없이도 다양한 작업을 수행할 수 있었다. 그러나 데이터에 내재된 편향으로 인해 유해하거나 편향된 언어를 생성할 수 있었다. 워싱턴 대학교의 연구에 따르면 GPT-3의 유해성은 GPT-2 및 CTRL과 유사한 수준이었다. OpenAI는 안전장치를 구현했고, 2021년 11월까지 API 접근이 제한되었다. 2022년 1월, InstructGPT 모델이 기본값이 되었으며, 사용자 의도에 더 잘 부합하고 덜 유해한 출력을 생성하도록 개선되었다.
영향 및 수용
GPT-3의 인간과 구별하기 어려운 일관된 텍스트 생성 능력은 기회와 우려를 동시에 불러일으켰다. 실험에서 80명의 미국인 참가자는 짧은 기사를 52%의 정확도로만 올바르게 판별했는데, 이는 무작위 추측과 거의 유사한 수준이었다. 원래 논문에서는 잘못된 정보, 스팸, 피싱에 악용될 가능성이 지적되었다. GPT-3는 인공지능 분야 전반에 영향을 미쳤으며, 대규모 언어 모델에 대한 추가 연구를 촉진했다.
상업화 및 라이선스
2020년 9월 22일, 마이크로소프트는 GPT-3에 대한 독점 라이선스를 발표하여 기저 모델에 대한 접근 권한을 확보했지만, 다른 사용자들은 여전히 공개 API를 사용할 수 있었다. 이 계약은 고급 AI 모델의 상업적 가치를 강조했으며 업계의 향후 파트너십에 선례를 남겼다. 이 라이선스 계약은 마이크로소프트의 OpenAI에 대한 더 광범위한 투자의 일부였으며, Azure와 같은 제품에 통합되었다.
유산
GPT-3의 출시는 자연어 처리의 발전을 가속화했으며 Anthropic 및 Google DeepMind를 포함한 다양한 조직의 후속 모델에 영감을 주었다. 그 아키텍처와 훈련 방식은 InstructGPT 및 기타 후속 모델과 같은 이후 개발의 기준이 되었다. 이 모델은 또한 AI 윤리, 안전, 콘텐츠 조정의 필요성에 대한 논의를 촉발하여 기계 학습 연구와 배포의 궤적을 형성했다.