Alec Radfordは、OpenAIに所属する機械学習研究者であり、現代の生成AIにおいて技術的に最も影響力がありながら、公にはあまり知られていない人物の一人として広く認識されている。彼は、OpenAIの当初の生成的プレトレーニング手法とその2019年の後継を紹介した論文の筆頭著者であり、その後、同研究所の最も広く再利用されたオープンモデルのうち2つを主導または共同主導した。
GPTとGPT-2
Radfordは、「Improving Language Understanding by Generative Pre-Training」（2018年）の筆頭著者であり、この論文は後にGPTとして知られるようになる手法を紹介し、大規模なテキストコーパスでの教師なしPretrainingと、それに続くタスク固有のファインチューニングというレシピを確立した。彼はまた、GPT-2の背後にある2019年の後続論文の筆頭著者でもあり、この論文は、次トークンの予測のみを学習した十分に大規模なAutoregressive modelが、タスク固有のトレーニングデータを一切使わずに多くの言語タスクを実行できることを実証した。この結果は、後の大規模言語モデル（GPT-3など）に関する研究を形作った「教師なしマルチタスク学習者」という枠組みの中心となった。
CLIP
2021年、RadfordはCLIP（Contrastive Language-Image Pre-training）の主著者の一人であり、これは大規模なウェブスクレイピングデータセットに対する対照的目的関数を用いて、画像とテキストの説明を関連付けるように訓練されたモデルである。CLIPは、その後のテキストから画像への生成ブームの基盤的構成要素となり、その画像とテキストの埋め込みは、初期バージョンのDALL-Eを含むシステムでの生成を導くために使用され、Text-to-image generation研究コミュニティ全体で広く採用された。
Whisper
Radfordはまた、Whisper（2022年）の筆頭著者でもあり、これは大量の弱教師付き多言語音声で訓練されたオープンな自動Speech recognitionモデルである。Whisperはその重みが公開された状態でリリースされ、OpenAI自体の外部の製品でも広く使用される、最も広く展開されたオープンな文字起こしシステムの一つとなった。
プロフィールと影響力
Ilya SutskeverやSam Altmanなどの一部のOpenAIの同僚とは異なり、Radfordは、この分野で最も引用されている論文のいくつかの筆頭著者であるにもかかわらず、公的およびメディアでの露出は比較的低く保っている。同僚や外部の研究者は、彼のGPT-2とCLIPの研究が、ますます専門化されたアーキテクチャではなく、スケールと自己教師あり目的関数がこの分野にとってより生産的な方向性であることを示す上で極めて重要だったと繰り返し指摘しており、このテーゼは後にJared Kaplanなどの同僚によるScaling lawsに関する研究で形式化された。