Tom Brown es un ingeniero de aprendizaje automático e investigador conocido por ser el autor principal del artículo de 2020 que presentó GPT-3, y por ser uno de los cofundadores de Anthropic en 2021.
GPT-3
Antes de trabajar en IA, Brown tenía experiencia como ingeniero y emprendedor, incluyendo trabajo relacionado con tecnología de vídeo y efectos en tiempo real. Se unió a OpenAI y se convirtió en el primer autor de "Language Models are Few-Shot Learners" (2020), el artículo que presentó GPT-3, un modelo autorregresivo de 175 mil millones de parámetros entrenado con un corpus amplio a escala web. La afirmación central del artículo, de que un modelo de lenguaje suficientemente grande podía realizar nuevas tareas a partir de solo unos pocos ejemplos dados en el prompt sin ninguna actualización de pesos, estableció el aprendizaje con pocos ejemplos y el aprendizaje en contexto como marcos centrales para cómo los profesionales interactuarían con modelos grandes en el futuro, y el modelo de acceso mediante API de GPT-3 sentó el patrón que luego se siguió en toda la industria.
Anthropic
En 2021, Brown dejó OpenAI junto con varios colegas, incluidos los hermanos Dario Amodei y Daniela Amodei, para fundar Anthropic, una empresa organizada en torno a la tesis de que las capacidades de IA de frontera y la investigación en seguridad debían perseguirse juntas en lugar de tratarse como preocupaciones separadas. Como cofundador, Brown ha trabajado en la ingeniería y la infraestructura necesarias para entrenar la familia de modelos Claude de Anthropic, un área relacionada pero distinta de la comunicación pública centrada en la alineación que más se asocia con el liderazgo de Anthropic.
Importancia
El artículo de Brown sobre GPT-3 se encuentra entre los trabajos más citados en la literatura de aprendizaje profundo de la década de 2020 y con frecuencia se le atribuye la popularización de la lectura de que "la escala es lo que importa" en el progreso de los modelos de lenguaje, que también subyace a la investigación sobre leyes de escalado de colegas como Jared Kaplan. La demostración del artículo de que un único modelo de propósito general podía adaptarse a nuevas tareas puramente mediante prompts, sin ningún reentrenamiento, se describe a menudo como el momento en que el prompting en sí se convirtió en una disciplina técnica seria en lugar de un complemento al entrenamiento de modelos.
Su paso de OpenAI a Anthropic formó parte de una salida grupal que también incluyó a Chris Olah, y se cita con frecuencia como uno de los ejemplos más claros de cómo la migración de investigadores remodela el panorama competitivo entre los laboratorios de IA de frontera. Al igual que en OpenAI, Brown ha mantenido un perfil público comparativamente bajo en Anthropic en relación con sus portavoces más visibles, centrándose en el trabajo de ingeniería de entrenar y escalar modelos en lugar de la comunicación pública, una división de trabajo común entre los cofundadores técnicos de los laboratorios de frontera.