GPT-2(Generative Pre-trained Transformer 2)는 2019년 2월 14일에 발표된 OpenAI가 개발한 대규모 언어 모델이다. 이는 OpenAI의 기초 GPT 시리즈 중 두 번째 모델로, GPT-1의 뒤를 잇고 GPT-3의 앞선다. GPT-2는 800만 개의 웹 페이지로 구성된 데이터셋으로 사전 훈련되었으며, 일관되고 맥락에 맞는 텍스트를 생성하는 능력은 생성형 인공지능 분야에서 중요한 진전으로 간주되었다. 이 모델은 처음에 부분 공개 중 보류되었으며, 15억 개의 매개변수를 가진 전체 버전은 2019년 11월 5일에야 공개되었다. 언어 번역, 질문 응답, 구절 요약 능력 덕분에 연구자와 평론가들은 이 모델이 유익한 용도와 스팸 생성이나 가짜 뉴스 제작과 같은 오용 가능성을 모두 지닌다고 강조했다.
아키텍처
전임자 GPT-1과 후속 모델들처럼, GPT-2는 딥러닝 트랜스포머 아키텍처를 사용하는데, 이는 어텐션 메커니즘을 구현하는 신경망 유형이다. 이 어텐션 메커니즘은 시퀀스-투-시퀀스 예측을 포함하는 작업의 성능을 향상시키는 것으로 입증되었다. 순환 또는 합성곱에 기반한 오래된 모델과 달리, 트랜스포머의 어텐션 메커니즘은 모델이 입력 텍스트를 병렬로 처리할 수 있게 하여 훈련 및 추론 속도를 크게 높일 수 있다. 모델의 아키텍처는 GPT-1의 최상위 규모로 설명되었으며, 매개변수 수(15억 개)와 훈련 데이터 크기가 10배 증가했다. 전용 하드웨어에서 달성된 이러한 병렬화는 이전에 가능했던 것보다 더 큰 말뭉치에 대한 훈련을 허용했으며, 이는 일반적인 머신러닝 작업을 처리하는 능력에 기여했다.
훈련
GPT-2는 WebText로 훈련되었는데, 이는 2017년 12월 이전에 최소 3 카르마를 받은 Reddit의 외부 링크에서 수집된 100기가바이트 이상의 텍스트 말뭉치이다. Reddit은 인간이 선별한 콘텐츠의 대리 지표로 사용되어 저품질 페이지를 걸러냈다. HTML은 일반 텍스트로 파싱되었고, 중복 링크는 제거되었으며, Wikipedia 페이지는 과적합을 방지하기 위해 훈련 세트에서 제외되었는데, 이러한 기사는 다른 많은 데이터셋에 자주 등장하기 때문이다. CommonCrawl은 크기에도 불구하고 포함된 이해 불가능한 콘텐츠의 양이 많아 거부되었다. GPT-2 훈련 인프라는 32개의 TPU v3 칩을 168시간 동안 사용했으며, 당시 프로젝트에 참여했던 연구자 Andrej Karpathy에 따르면 계산 비용은 약 43,000달러였다. 이는 트랜스포머의 효율성 덕분에 모델 크기에 비해 상대적으로 낮은 비용이었다. 그 결과 모델은 때때로 인간 출력과 구별할 수 없는 수준의 텍스트를 생성할 수 있었지만, 더 긴 구절에서는 반복적이거나 무의미해질 수 있었으며, 이는 이후 대규모 언어 모델이 개선하려고 한 한계였다.
부분 공개
OpenAI가 전체 모델을 즉시 공개하지 않기로 한 초기 결정은 모델이 스팸이나 허위 정보 생성과 같은 악의적인 목적으로 사용될 수 있다는 우려에 기반했다. 회사는 2019년 8월 20일에 원본의 약 절반 크기인 7억 7400만 개의 매개변수를 가진 부분 버전(774M 릴리스로도 알려짐)을 공개했다. 이 부분 공개는 연구자들이 오용을 완화하면서 모델의 행동을 이해할 수 있도록 하기 위한 것이었으며, OpenAI의 접근 방식은 위협이 과장되었다고 주장한 Anima Anandkumar를 포함한 일부 연구자들의 반발을 불러일으켰다. 그러나 다른 사람들은 모델이 사회적 미디어를 구별할 수 없는 산문으로 채우는 데 사용될 수 있다고 주장했으며, Allen Institute for Artificial Intelligence는 이에 대응하여 신경 가짜 뉴스 탐지기를 구축했다.
2019년 2월 The Verge 기사에서 James Vincent는 GPT-2의 출력이 종종 명백히 비인간적이지만 여전히 언어 생성 AI의 "가장 흥미로운 사례 중 하나"라고 썼다. 이 기사는 가짜 헤드라인으로 모델이 가짜 인용문과 통계로 기사의 나머지 부분을 작성할 수 있고, 적절한 프롬프트가 주어지면 소설까지 쓸 수 있음을 보여주었다. Vox의 Kelsey Piper는 "내가 본 가장 멋진 AI 시스템 중 하나가 나를 쫓아낼 수도 있다"고 썼지만, 그녀는 중립적인 렌즈를 통해 그 출력을 설명했다. The Guardian은 그 텍스트를 "그럴듯한 신문 산문"으로 묘사했다.
부분 공개에도 불구하고, OpenAI는 전체 모델의 코드와 말뭉치를 보유했다. 이는 다양한 제3자 출력으로 이어졌다. 2019년 8월, 자유 소프트웨어 복제판인 OpenGPT-2가 OpenWebText를 사용하여 제작되었으며, 계산 비용은 약 50,000달러였다. 이는 모델 초기 공개 이후 이어진 공개 연구 및 개발을 보여준다.
윤리적 및 사회적 영향
GPT-2의 전체 공개를 지연시키기로 한 결정은 인공지능 기술의 위험과 이점에 대한 공개 논쟁을 촉발했다. 일부 연구자들은 위협이 완화될 수 있다며 인지된 위험을 무시했지만, 다른 연구자들은 진정한 인간의 말을 압도할 수 있는 합성 텍스트의 홍수에 대해 경고했다. 긍정적 또는 부정적 제품 리뷰를 생성하도록 미세 조정된 모델의 부분 공개도 있었는데, 이는 가능한 스팸 잠재력을 보여주는 사례였다. 과대광고와 공개 정책에 대응하여, 한 연구자 그룹은 완전한 공개를 요청하는 공개 서한을 발표했으며, 언어 모델이 위협적으로 묘사된 것만큼 위험하지 않다고 주장하며, 오용되었지만 일상생활에 통합된 Photoshop과 인쇄기 같은 기술을 언급했다.
보류된 공개의 장기적 효과는 대규모 언어 모델과 그 능력에 대한 대중의 인식을 높인 것이었다. GPT-2는 결국 인공지능 안전에 초점을 맞추는 데 사용되었으며, 이후 오픈소스 모델에 영향을 미쳤다. 이후 GPT-3와 GPT-4로 대체되었으며, 2024년 기준으로 더 이상 오픈소스가 아닌 GPT-3와 GPT-4가 더 두드러지게 되었다. 이 사건은 강력한 AI 시스템을 개발할 때 투명성과 예방 조치의 균형을 맞추는 방법에 대한 중요한 고려 사항으로 작용했다.
유산
GPT-2는 딥러닝 분야에서 중요한 발전을 나타냈으며, 이후 언어 모델의 벤치마크가 되었다. 작업별 데이터가 아닌 시퀀스의 다음 항목 예측에 의존하는 범용 학습자로서의 능력은 이후 트랜스포머의 기본 단계였다. 모델의 매개변수 수와 훈련 말뭉치 크기는 신경망 모델 확장의 경로를 확립했다. 결과적으로 생성형 인공지능의 계산 요구가 증가했으며, GPT-2는 인공지능 역사에서 이정표로 간주된다. 그 훈련 원칙은 여러 분야에서 대규모 언어 모델의 개발과 아키텍처에 계속 영향을 미쳤으며, 모델은 창발성과 머신러닝을 이해하기 위한 잘 연구된 참조점으로 남아 있다.