Tom Brown é um engenheiro de machine learning e pesquisador conhecido como autor principal do artigo de 2020 que introduziu o GPT-3, e como um dos cofundadores da Anthropic em 2021.
GPT-3
Antes de trabalhar em IA, Brown tinha formação como engenheiro e empreendedor, incluindo trabalho relacionado a tecnologia de vídeo em tempo real e efeitos visuais. Ele se juntou à OpenAI e tornou-se primeiro autor de "Language Models are Few-Shot Learners" (2020), o artigo que introduziu o GPT-3, um modelo autorregressivo de 175 bilhões de parâmetros treinado em um amplo corpus em escala web. A afirmação central do artigo, de que um modelo de linguagem suficientemente grande poderia executar novas tarefas a partir de apenas alguns exemplos fornecidos no prompt, sem qualquer atualização de pesos, estabeleceu o aprendizado de poucos exemplos e o aprendizado em contexto como estruturas centrais para como profissionais interagiriam com grandes modelos daí em diante, e o modelo de acesso via API do GPT-3 definiu o padrão posteriormente seguido em toda a indústria.
Anthropic
Em 2021, Brown deixou a OpenAI junto com vários colegas, incluindo os irmãos Dario Amodei e Daniela Amodei, para fundar a Anthropic, uma empresa organizada em torno da tese de que capacidades de IA de fronteira e pesquisa de segurança precisavam ser perseguidas em conjunto, em vez de tratadas como preocupações separadas. Como cofundador, Brown trabalhou na engenharia e infraestrutura necessárias para treinar a família de modelos Claude da Anthropic, uma área relacionada, mas distinta, da mensagem pública focada em alinhamento mais associada à liderança da Anthropic.
Significância
O artigo de Brown sobre o GPT-3 está entre os trabalhos mais citados na literatura de aprendizado profundo dos anos 2020 e é frequentemente creditado por popularizar a leitura de que "escala é o que importa" no progresso de modelos de linguagem, que também fundamenta a pesquisa sobre leis de escala de colegas como Jared Kaplan. A demonstração do artigo de que um único modelo de propósito geral poderia ser adaptado a novas tarefas puramente por meio de prompts, sem qualquer retreinamento, é frequentemente descrita como o momento em que o prompting em si se tornou uma disciplina técnica séria, em vez de um complemento ao treinamento de modelos.
Sua mudança da OpenAI para a Anthropic fez parte de uma saída em grupo que também incluiu Chris Olah, e é frequentemente citada como um dos exemplos mais claros de migração de pesquisadores remodelando o cenário competitivo entre os laboratórios de IA de fronteira. Como na OpenAI, Brown manteve um perfil público comparativamente baixo na Anthropic em relação aos seus porta-vozes mais visíveis, focando no trabalho de engenharia de treinar e escalar modelos em vez de comunicação pública, uma divisão de trabalho comum entre os cofundadores técnicos de laboratórios de fronteira.