Alec Radford es un investigador de aprendizaje automático en OpenAI, ampliamente reconocido como una de las figuras técnicamente más influyentes, aunque de bajo perfil público, en la IA generativa moderna. Es el primer autor de los artículos que presentaron el enfoque original de preentrenamiento generativo de OpenAI y su sucesor de 2019, y más tarde lideró o colideró dos de los modelos abiertos más reutilizados del laboratorio.
GPT y GPT-2
Radford fue el primer autor de "Improving Language Understanding by Generative Pre-Training" (2018), el artículo que presentó lo que se conocería como GPT, estableciendo la receta del preentrenamiento no supervisado en un gran corpus de texto seguido de un ajuste fino específico para la tarea. También fue el primer autor del artículo de seguimiento de 2019 detrás de GPT-2, que demostró que un modelo autorregresivo lo suficientemente grande, entrenado solo para predecir el siguiente token, podía realizar muchas tareas de lenguaje sin datos de entrenamiento específicos de la tarea, un resultado central para el marco de "aprendiz multitarea no supervisado" que moldeó el trabajo posterior en grandes modelos de lenguaje como GPT-3.
CLIP
En 2021, Radford fue autor principal de CLIP (Contrastive Language-Image Pre-training), un modelo entrenado para asociar imágenes y descripciones de texto mediante un objetivo contrastivo sobre grandes conjuntos de datos extraídos de la web. CLIP se convirtió en un componente fundamental del auge del texto a imagen que siguió, ya que sus incrustaciones de imagen y texto se utilizaron para guiar la generación en sistemas como las primeras versiones de DALL-E y fueron ampliamente adoptadas en la comunidad de investigación de texto a imagen.
Whisper
Radford también fue el primer autor de Whisper (2022), un modelo abierto de reconocimiento de voz automático entrenado con una gran cantidad de audio multilingüe débilmente supervisado. Whisper se lanzó con sus pesos públicos y se convirtió en uno de los sistemas de transcripción abierta más utilizados, empleado en productos mucho más allá de la propia OpenAI.
Perfil e influencia
A diferencia de algunos colegas de OpenAI como Ilya Sutskever o Sam Altman, Radford ha mantenido un perfil público y mediático comparativamente bajo, a pesar de ser el primer autor de varios de los artículos más citados del campo. Colegas e investigadores externos han señalado repetidamente su trabajo en GPT-2 y CLIP como fundamental para demostrar que la escala y los objetivos autosupervisados, en lugar de arquitecturas cada vez más especializadas, eran la dirección más productiva para el campo, una tesis formalizada más tarde en el trabajo sobre leyes de escalado de colegas como Jared Kaplan.