Tom Brown est un ingénieur en apprentissage automatique et chercheur, connu comme l'auteur principal de l'article de 2020 qui a introduit GPT-3, et comme l'un des cofondateurs d'Anthropic en 2021.
GPT-3
Avant de travailler dans l'IA, Brown avait un parcours d'ingénieur et d'entrepreneur, y compris des travaux liés à la vidéo en temps réel et aux technologies d'effets. Il a rejoint OpenAI et est devenu l'auteur principal de « Language Models are Few-Shot Learners » (2020), l'article qui a introduit GPT-3, un modèle autorégressif de 175 milliards de paramètres entraîné sur un corpus web à grande échelle. La thèse centrale de l'article, selon laquelle un modèle de langage suffisamment grand pouvait accomplir de nouvelles tâches à partir de seulement quelques exemples donnés dans l'invite sans aucune mise à jour des poids, a établi le apprentissage en quelques exemples et l'apprentissage contextuel comme des cadres centraux pour la manière dont les praticiens interagiraient avec les grands modèles à l'avenir, et le modèle d'accès par API de GPT-3 a défini le modèle suivi plus tard dans toute l'industrie.
Anthropic
En 2021, Brown a quitté OpenAI avec plusieurs collègues, dont les frère et sœur Dario Amodei et Daniela Amodei, pour fonder Anthropic, une entreprise organisée autour de la thèse selon laquelle les capacités de pointe de l'IA et la recherche sur la sécurité devaient être poursuivies ensemble plutôt que traitées comme des préoccupations distinctes. En tant que cofondateur, Brown a travaillé sur l'ingénierie et l'infrastructure nécessaires pour entraîner la famille de modèles Claude d'Anthropic, un domaine lié mais distinct de la communication publique axée sur l'alignement, la plus associée à la direction d'Anthropic.
Importance
L'article de Brown sur GPT-3 est parmi les travaux les plus cités dans la littérature sur l'apprentissage profond des années 2020 et est fréquemment crédité d'avoir popularisé la lecture « l'échelle est ce qui compte » des progrès des modèles de langage, qui sous-tend également la recherche sur les lois de mise à l'échelle menée par des collègues tels que Jared Kaplan. La démonstration de l'article selon laquelle un modèle unique et polyvalent pouvait être adapté à de nouvelles tâches uniquement par l'invite, sans aucun réentraînement, est souvent décrite comme le moment où l'invite elle-même est devenue une discipline technique sérieuse plutôt qu'une réflexion après coup sur l'entraînement des modèles.
Son passage d'OpenAI à Anthropic faisait partie d'un départ collectif qui incluait également Chris Olah, et il est fréquemment cité comme l'un des exemples les plus clairs de la migration des chercheurs remodelant le paysage concurrentiel parmi les laboratoires d'IA de pointe. Comme chez OpenAI, Brown a maintenu un profil public relativement bas chez Anthropic par rapport à ses porte-parole les plus visibles, se concentrant sur le travail d'ingénierie de l'entraînement et de la mise à l'échelle des modèles plutôt que sur la communication publique, une division du travail courante parmi les cofondateurs techniques des laboratoires de pointe.