Generative Pre-trained Transformer 2(GPT-2)는 대규모 언어 모델로, 오픈AI가 개발한 것으로 그들의 기초 GPT 모델 시리즈 중 두 번째 모델이다. 이 모델은 800만 개의 웹 페이지로 구성된 데이터셋으로 사전 훈련되었으며, 2019년 2월에 부분적으로 공개된 후 2019년 11월 5일에 15억 개의 매개변수를 가진 전체 모델이 공개되었다. GPT-2는 전작인 GPT-1을 직접 확장하여 만든 것으로, 매개변수 수와 훈련 데이터셋 크기 모두 10배로 증가했다. 이는 일반 목적의 학습자로서, 다양한 작업을 수행하는 능력은 시퀀스의 다음 항목을 정확히 예측하는 일반적인 능력에서 비롯되었으며, 이를 통해 텍스트 번역, 질문 응답, 구절 요약, 그리고 때로는 인간의 글과 구별하기 어려운 텍스트 출력을 생성할 수 있었지만, 긴 구절에서는 반복적이거나 무의미해질 수 있었다.
GPT-2는 전작 및 후속 모델과 마찬가지로 생성적 사전 훈련된 트랜스포머 아키텍처를 사용하며, 이전의 순환 및 합성곱 기반 아키텍처 대신 주의 메커니즘에 의존하는 깊은 신경망을 구현한다. 이를 통해 모델은 관련 입력 세그먼트에 선택적으로 집중할 수 있고 병렬화가 크게 증가하여, 기존의 RNN/CNN/LSTM 기반 모델의 이전 벤치마크를 능가했다. 이 모델은 이후 GPT-3와 GPT-4로 대체되었으며, 이들은 더 이상 오픈 소스가 아니다.
훈련
트랜스포머 아키텍처가 대규모 병렬화를 가능하게 했기 때문에, GPT 모델은 이전의 자연어 처리 모델보다 더 큰 말뭉치로 훈련될 수 있었다. GPT-1이 이 접근 방식의 실행 가능성을 입증한 반면, GPT-2는 매우 큰 말뭉치로 훈련된 네트워크의 창발적 속성을 탐구했다. 대규모 웹 크롤링 말뭉치인 CommonCrawl이 고려되었지만, 이해할 수 없는 콘텐츠가 많아 거부되었다. 대신 OpenAI는 WebText라는 새로운 말뭉치를 개발했는데, 이는 2017년 12월 이전에 최소 3 카르마를 받은 Reddit 게시물에 링크된 페이지만을 스크래핑하여 생성되었다. 말뭉치는 HTML을 일반 텍스트로 파싱하고, 중복 페이지를 제거하며, 과적합을 피하기 위해 위키백과 페이지를 제거하여 정리되었다.
훈련 비용에 대한 문서는 제한적이다. Andrej Karpathy의 진술에 따르면, GPT-2는 32개의 TPU v3 칩에서 168시간(7일) 동안 훈련되었으며, TPU v3당 시간당 약 8달러로 총 약 43,000달러의 컴퓨팅 비용이 들었다. 다른 출처에서는 훈련 비용이 시간당 약 256달러라고 언급한다. 유사한 모델인 BERT와 XLNet은 각각 6,912달러와 245,000달러의 자원을 소비했다.
공개
GPT-2는 2019년 2월 14일에 처음 발표되었다. 2019년 2월 The Verge의 James Vincent 기사는 생성된 글이 일반적으로 비인간적임을 쉽게 식별할 수 있지만, 언어 생성 프로그램의 가장 흥미로운 예 중 하나로 남아 있다고 언급했다. The Guardian은 그 출력을 그럴듯한 신문 산문으로 묘사했고, Vox의 Kelsey Piper는 그녀가 본 가장 멋진 AI 시스템 중 하나라고 말했다. The Verge는 텍스트 번역, 기사 요약, 퀴즈 질문 응답에서의 유연성을 강조했다. GPT-2 시리즈는 논문에 보고된 네 가지 모델을 포함했으며, 한 번에 모두 공개되지 않고 단계적으로 공개되었다.
제한 및 부분 공개
이전 OpenAI 모델과 달리, OpenAI는 처음에 악의적 사용의 위험을 이유로 GPT-2의 소스 코드 공개를 거부했다. 선택된 언론 매체에는 제한된 접근이 허용되었다. 한 가지 근거는 생성된 텍스트가 스패머가 필터를 우회하는 데 사용될 수 있다는 것이었다. OpenAI는 무한한 긍정적 또는 부정적 제품 리뷰를 생성하도록 미세 조정된 버전을 시연했다. 또 다른 근거는 외설적이거나 인종 차별적인 텍스트를 생성할 가능성이었다. Jeremy Howard와 같은 연구자들은 이 기술이 사회적 미디어를 그럴듯한 산문으로 채울 것이라고 경고했으며, Allen Institute for Artificial Intelligence는 신경 가짜 뉴스를 탐지하는 도구를 발표했다.
의견은 분분했다. 2019년 2월 The Verge 기사는 위협이 과장되었다고 주장했다. Caltech 교수이자 Nvidia의 머신 러닝 연구 책임자인 Anima Anandkumar는 GPT-2가 설명된 위협을 제기한다는 증거가 없으며 거부를 개방성의 반대라고 특징지었다. The Gradient는 공개 요청을 담은 공개 서한을 게시하여 위협을 인쇄기의 위협과 비교하고, 혼란을 일으킬 가능성에도 불구하고 사회를 파괴하지 않은 기술의 예로 Photoshop을 인용했다.
774M 공개
OpenAI는 완전히 훈련된 모델이나 말뭉치를 공개하지 않았지만, 방법에 대한 설명과 기반 기술의 무료 가용성 덕분에 다른 사람들이 복제할 수 있었다. 복제 중 하나인 OpenGPT-2는 2019년 8월에 공개되었으며, OpenWebText라는 자유 라이선스 버전의 WebText를 포함했고, 클라우드 컴퓨팅 비용은 약 50,000달러였다. 2019년 8월 20일, OpenAI는 전체 모델의 약 절반 크기인 7억 7,400만 개의 매개변수를 가진 부분 버전의 GPT-2를 공개했고, 2019년 11월 5일에 전체 15억 매개변수 버전이 공개되었다.
영향 및 유산
GPT-2의 단계적 공개는 인공지능 커뮤니티에서 AI 안전성과 개방성에 대한 논쟁을 촉발했다. 이는 대규모 심층 학습 모델이 명시적 훈련 없이도 여러 작업을 수행할 수 있음을 입증하여, 이후 생성형 AI 연구에 영향을 주었다. 이 모델의 아키텍처와 훈련 접근 방식은 GPT-3 및 그 이후의 발전을 위한 기초가 되었으며, 공개 전략은 오픈AI와 앤트로픽, 구글 딥마인드와 같은 다른 조직이 강력한 언어 모델을 배포하는 방식에 선례를 설정했다. GPT-2는 또한 오용 가능성을 강조하여 탐지 도구 개발과 책임 있는 AI 출판에 대한 논의로 이어졌다.
기술적 세부 사항
GPT-2 모델은 다중 헤드 주의와 위치 인코딩을 갖춘 디코더 전용 트랜스포머 아키텍처를 사용한다. Adam 옵티마이저와 학습률 스케줄 및 그래디언트 클리핑으로 훈련되었다. 모델 크기는 1억 1,700만 개에서 15억 개의 매개변수 범위였으며, 가장 큰 버전은 48개 레이어와 1600차원 임베딩을 사용했다. 추론 중에 GPT-2는 top-k 샘플링과 온도 스케일링을 사용하여 다양한 텍스트를 생성한다. 훈련 데이터인 WebText는 무차별적인 웹 스크래핑의 노이즈를 피하고 Reddit의 고품질, 인간 큐레이션 링크에 초점을 맞추도록 설계되었다.
수용 및 비판
초기 수용은 엇갈렸으며, 기술적 성과에 대한 찬사와 제한된 공개에 대한 비판이 있었다. 일부 연구자들은 안전성 우려가 과장되었다고 주장했고, 다른 연구자들은 신중한 접근을 지지했다. 최소한의 프롬프트에서 일관된 텍스트를 생성하는 모델의 능력은 머신 러닝에서 중요한 진전으로 여겨졌지만, 긴 출력에서의 반복과 같은 한계도 지적되었다. GPT-2의 공개는 이후 오픈 소스 노력과 AI 거버넌스에 대한 정책 논의에 영향을 주었으며, 인공지능 윤리의 더 넓은 분야에 기여했다.