Alec Radford ist ein Forscher im Bereich maschinelles Lernen bei OpenAI, der weithin als eine der technisch einflussreichsten, aber öffentlich zurückhaltendsten Persönlichkeiten der modernen generativen KI gilt. Er ist Erstautor der Arbeiten, die OpenAIs ursprünglichen generativen Pretraining-Ansatz und dessen Nachfolger von 2019 einführten, und leitete oder co-leitete später zwei der am weitesten wiederverwendeten offenen Modelle des Labors.
GPT und GPT-2
Radford war Erstautor von „Improving Language Understanding by Generative Pre-Training“ (2018), der Arbeit, die das einführte, was als GPT bekannt wurde, und das Rezept aus unüberwachtem Pretraining auf einem großen Textkorpus, gefolgt von aufgabenspezifischem Fine-Tuning, etablierte. Er war auch Erstautor der Folgearbeit von 2019 hinter GPT-2, die zeigte, dass ein ausreichend großes autoregressives Modell, das nur darauf trainiert wurde, das nächste Token vorherzusagen, viele Sprachaufgaben ohne aufgabenspezifische Trainingsdaten ausführen konnte - ein Ergebnis, das zentral für die Rahmung als „unüberwachter Multitask-Lerner“ war, die spätere Arbeiten zu großen Sprachmodellen wie GPT-3 prägte.
CLIP
Im Jahr 2021 war Radford ein Hauptautor von CLIP (Contrastive Language-Image Pre-training), einem Modell, das darauf trainiert wurde, Bilder und Textbeschreibungen mithilfe eines kontrastiven Ziels über große, aus dem Web gescrapte Datensätze zu verknüpfen. CLIP wurde zu einem grundlegenden Bestandteil des darauffolgenden Text-zu-Bild-Booms, da seine Bild-Text-Einbettungen zur Steuerung der Generierung in Systemen wie frühen Versionen von DALL-E verwendet und in der Text-zu-Bild-Forschungsgemeinschaft weitgehend übernommen wurden.
Whisper
Radford war auch Erstautor von Whisper (2022), einem offenen automatischen Spracherkennungs-Modell, das auf einer großen Menge schwach überwachter mehrsprachiger Audiodaten trainiert wurde. Whisper wurde mit öffentlichen Gewichten veröffentlicht und wurde zu einem der am weitesten verbreiteten offenen Transkriptionssysteme, das in Produkten weit außerhalb von OpenAI selbst eingesetzt wird.
Profil und Einfluss
Im Gegensatz zu einigen OpenAI-Kollegen wie Ilya Sutskever oder Sam Altman hat Radford trotz seiner Rolle als Erstautor mehrerer der am häufigsten zitierten Arbeiten des Feldes ein vergleichsweise geringes öffentliches und mediales Profil bewahrt. Kollegen und externe Forscher haben wiederholt auf seine GPT-2- und CLIP-Arbeiten als entscheidend hingewiesen, um zu zeigen, dass Skalierung und selbstüberwachte Ziele - und nicht zunehmend spezialisierte Architekturen - die produktivere Richtung für das Feld waren, eine These, die später in Arbeiten zu Skalierungsgesetzen von Kollegen wie Jared Kaplan formalisiert wurde.