Alec Radford é um pesquisador de machine learning na OpenAI, amplamente reconhecido como uma das figuras mais tecnicamente influentes, embora publicamente discretas, na IA generativa moderna. Ele é o primeiro autor dos artigos que introduziram a abordagem original de pré-treinamento generativo da OpenAI e seu sucessor de 2019, e posteriormente liderou ou co-liderou dois dos modelos abertos mais amplamente reutilizados do laboratório.
GPT e GPT-2
Radford foi o primeiro autor de "Improving Language Understanding by Generative Pre-Training" (2018), o artigo que introduziu o que ficou conhecido como GPT, estabelecendo a receita de pré-treinamento não supervisionado em um grande corpus de texto, seguido de ajuste fino específico para a tarefa. Ele também foi o primeiro autor do artigo de acompanhamento de 2019 por trás do GPT-2, que demonstrou que um modelo autorregressivo suficientemente grande, treinado apenas para prever o próximo token, poderia executar muitas tarefas de linguagem sem nenhum dado de treinamento específico para a tarefa, um resultado central para a estruturação do "aprendiz multitarefa não supervisionado" que moldou trabalhos posteriores em grandes modelos de linguagem, como o GPT-3.
CLIP
Em 2021, Radford foi autor principal do CLIP (Contrastive Language-Image Pre-training), um modelo treinado para associar imagens e descrições textuais usando um objetivo contrastivo sobre grandes conjuntos de dados coletados da web. O CLIP tornou-se um componente fundamental do boom de texto-para-imagem que se seguiu, pois seus embeddings de imagem-texto foram usados para orientar a geração em sistemas, incluindo versões iniciais do DALL-E, e foram amplamente adotados pela comunidade de pesquisa em texto-para-imagem.
Whisper
Radford também foi o primeiro autor do Whisper (2022), um modelo aberto de reconhecimento de fala automático treinado em uma grande quantidade de áudio multilíngue fracamente supervisionado. O Whisper foi lançado com seus pesos públicos e tornou-se um dos sistemas abertos de transcrição mais amplamente implantados, usado em produtos muito além da própria OpenAI.
Perfil e influência
Diferentemente de alguns colegas da OpenAI, como Ilya Sutskever ou Sam Altman, Radford manteve um perfil público e midiático comparativamente baixo, apesar de ser o primeiro autor de vários dos artigos mais citados da área. Colegas e pesquisadores externos apontaram repetidamente seus trabalhos com GPT-2 e CLIP como fundamentais para mostrar que a escala e os objetivos autossupervisionados, em vez de arquiteturas cada vez mais especializadas, eram a direção mais produtiva para o campo, uma tese posteriormente formalizada em trabalhos sobre leis de escala por colegas, incluindo Jared Kaplan.