Tom Brown ist ein Machine-Learning-Ingenieur und Forscher, bekannt als Hauptautor des 2020 erschienenen Papers, das GPT-3 einführte, sowie als einer der Mitbegründer von Anthropic im Jahr 2021.
GPT-3
Bevor er in der KI arbeitete, hatte Brown einen Hintergrund als Ingenieur und Unternehmer, einschließlich Arbeiten im Bereich Echtzeit-Video- und Effekttechnologie. Er trat OpenAI bei und wurde Erstautor von „Language Models are Few-Shot Learners" (2020), dem Paper, das GPT-3 vorstellte, ein autoregressives Modell mit 175 Milliarden Parametern, das auf einem breiten, webumfassenden Korpus trainiert wurde. Die zentrale Behauptung des Papers, dass ein ausreichend großes Sprachmodell neue Aufgaben allein anhand einer Handvoll Beispiele im Prompt ohne jegliche Gewichtsupdates ausführen könne, etablierte Few-Shot-Learning und In-Context-Learning als zentrale Rahmen für die Interaktion von Praktikern mit großen Modellen in der Zukunft, und das API-Zugriffsmodell von GPT-3 setzte die Vorlage, der später die gesamte Branche folgte.
Anthropic
Im Jahr 2021 verließ Brown OpenAI zusammen mit mehreren Kollegen, darunter die Geschwister Dario Amodei und Daniela Amodei, um Anthropic zu gründen, ein Unternehmen, das um die These organisiert ist, dass Grenzfähigkeiten der KI und Sicherheitsforschung gemeinsam verfolgt werden müssen, anstatt als getrennte Anliegen behandelt zu werden. Als Mitbegründer hat Brown an der Technik und Infrastruktur gearbeitet, die zum Trainieren der Claude-Modellfamilie von Anthropic erforderlich sind, ein Bereich, der mit der auf Ausrichtung fokussierten öffentlichen Kommunikation, die am stärksten mit der Führung von Anthropic assoziiert wird, verwandt, aber davon verschieden ist.
Bedeutung
Browns GPT-3-Paper gehört zu den am häufigsten zitierten Werken in der Deep-Learning-Literatur der 2020er Jahre und wird oft dafür verantwortlich gemacht, die Lesart „Maßstab ist das, was zählt" des Fortschritts bei Sprachmodellen populär gemacht zu haben, die auch der Scaling-Laws-Forschung von Kollegen wie Jared Kaplan zugrunde liegt. Die Demonstration des Papers, dass ein einzelnes, allgemeines Modell allein durch Prompting an neue Aufgaben angepasst werden konnte, ohne jedes erneute Training, wird oft als der Moment beschrieben, in dem Prompting selbst zu einer ernsthaften technischen Disziplin wurde, anstatt ein nachträglicher Gedanke zum Modelltraining zu sein.
Sein Wechsel von OpenAI zu Anthropic war Teil einer Kohortenabwanderung, zu der auch Chris Olah gehörte, und wird häufig als eines der klarsten Beispiele dafür angeführt, wie Forschermigration die Wettbewerbslandschaft unter Grenz-KI-Labors neu gestaltet. Wie bei OpenAI hat Brown bei Anthropic ein vergleichsweise geringes öffentliches Profil im Verhältnis zu den sichtbarsten Sprecherinnen und Sprechern bewahrt und sich auf die Ingenieursarbeit des Trainierens und Skalierens von Modellen konzentriert, anstatt auf öffentliche Kommunikation, eine Arbeitsteilung, die unter den technischen Mitbegründern von Grenzlabors üblich ist.