Alec Radford는 OpenAI에서 근무하는 머신러닝 연구원으로, 현대 생성형 AI 분야에서 기술적으로 가장 영향력이 크면서도 대중에게는 잘 알려지지 않은 인물로 널리 평가받는다. 그는 OpenAI의 최초 생성형 사전 훈련 접근법과 2019년 후속 작업을 소개한 논문들의 제1 저자이며, 이후 연구소에서 가장 널리 재사용된 두 개의 오픈 모델을 주도하거나 공동으로 주도했다.
GPT 및 GPT-2
Radford는 2018년 논문 "Improving Language Understanding by Generative Pre-Training"의 제1 저자로, 이 논문은 GPT로 알려지게 된 모델을 소개하며 대규모 텍스트 말뭉치에 대한 비지도 사전 훈련 후 작업별 미세 조정이라는 방식을 확립했다. 그는 또한 2019년 후속 논문의 제1 저자로, GPT-2의 기반이 되었으며, 충분히 큰 자기회귀 모델이 다음 토큰 예측만으로 훈련되어도 작업별 훈련 데이터 없이 다양한 언어 작업을 수행할 수 있음을 입증했다. 이 결과는 이후 대규모 언어 모델 연구를 형성한 "비지도 멀티태스크 학습자"라는 프레임워크의 핵심이 되었으며, GPT-3와 같은 후속 모델에 영향을 미쳤다.
CLIP
2021년, Radford는 CLIP (대비 언어-이미지 사전 훈련) 논문의 주 저자로, 대규모 웹 스크래핑 데이터셋을 사용한 대비 학습 목적 함수를 통해 이미지와 텍스트 설명을 연관 짓는 모델을 소개했다. CLIP은 이후 텍스트-이미지 생성 붐의 기초 구성 요소가 되었으며, 그 이미지-텍스트 임베딩은 DALL-E의 초기 버전을 포함한 여러 시스템에서 생성 과정을 안내하는 데 사용되었고, 텍스트 이미지 연구 커뮤니티 전반에 널리 채택되었다.
Whisper
Radford는 또한 2022년 공개된 음성 인식 모델 Whisper의 제1 저자로, 대규모 약한 지도 멀티링궐 오디오 데이터로 훈련되었다. Whisper는 가중치가 공개된 상태로 출시되어 가장 널리 배포된 오픈 전사 시스템 중 하나가 되었으며, OpenAI 자체 제품을 넘어 다양한 제품에서 사용되고 있다.
프로필 및 영향력
Ilya Sutskever나 Sam Altman과 같은 일부 OpenAI 동료들과 달리, Radford는 해당 분야에서 가장 많이 인용된 논문들의 제1 저자임에도 불구하고 대중적·언론적 노출이 상대적으로 적다. 동료들과 외부 연구자들은 그의 GPT-2 및 CLIP 작업이 점점 더 전문화되는 아키텍처보다 규모 확장과 자기 지도 학습 목적 함수가 더 생산적인 방향임을 보여주는 전환점이었다고 반복적으로 지적해 왔다. 이러한 주장은 이후 Jared Kaplan을 포함한 동료들이 스케일링 법칙에 관한 연구에서 공식화했다.