Alec Radford est un chercheur en apprentissage automatique chez OpenAI, largement considéré comme l'une des figures les plus techniquement influentes, bien que discrètes publiquement, de l'IA générative moderne. Il est le premier auteur des articles qui ont introduit l'approche originale de pré-entraînement génératif d'OpenAI et de son successeur de 2019, et il a ensuite dirigé ou co-dirigé deux des modèles ouverts les plus réutilisés du laboratoire.
GPT et GPT-2
Radford a été le premier auteur de « Improving Language Understanding by Generative Pre-Training » (2018), l'article qui a introduit ce qui est devenu connu sous le nom de GPT, établissant la recette du pré-entraînement non supervisé sur un grand corpus de texte, suivi d'un ajustement fin spécifique à la tâche. Il a également été le premier auteur de l'article de suivi de 2019 derrière GPT-2, qui a démontré qu'un modèle autorégressif suffisamment grand, entraîné uniquement à prédire le jeton suivant, pouvait effectuer de nombreuses tâches linguistiques sans aucune donnée d'entraînement spécifique à la tâche, un résultat central pour le cadre de « apprenant multitâche non supervisé » qui a façonné les travaux ultérieurs sur les grands modèles de langage tels que GPT-3.
CLIP
En 2021, Radford a été un auteur principal de CLIP (Contrastive Language-Image Pre-training), un modèle entraîné à associer des images et des descriptions textuelles à l'aide d'un objectif contrastif sur de grands ensembles de données extraits du web. CLIP est devenu un composant fondamental du boom de la génération texte-image qui a suivi, car ses plongements image-texte ont été utilisés pour guider la génération dans des systèmes, y compris les premières versions de DALL-E, et ont été largement adoptés dans la communauté de recherche en texte-image.
Whisper
Radford a également été le premier auteur de Whisper (2022), un modèle ouvert de reconnaissance vocale automatique entraîné sur une grande quantité d'audio multilingue faiblement supervisé. Whisper a été publié avec ses poids publics et est devenu l'un des systèmes de transcription ouverts les plus largement déployés, utilisé dans des produits bien au-delà d'OpenAI lui-même.
Profil et influence
Contrairement à certains collègues d'OpenAI comme Ilya Sutskever ou Sam Altman, Radford a maintenu un profil public et médiatique comparativement bas, malgré le fait d'être le premier auteur de plusieurs des articles les plus cités du domaine. Des collègues et des chercheurs externes ont souligné à plusieurs reprises que ses travaux sur GPT-2 et CLIP ont été essentiels pour montrer que l'échelle et les objectifs auto-supervisés, plutôt que des architectures de plus en plus spécialisées, étaient la direction la plus productive pour le domaine, une thèse formalisée plus tard dans les travaux sur les lois de mise à l'échelle par des collègues, y compris Jared Kaplan.