汤姆·布朗是一位机器学习工程师和研究员,以作为2020年介绍GPT-3的论文的第一作者,以及2021年共同创立Anthropic的联合创始人之一而闻名。
GPT-3
在进入人工智能领域之前,布朗拥有工程师和企业家的背景,包括从事与实时视频和特效技术相关的工作。他加入了OpenAI,并成为“语言模型是少样本学习者”(2020年)论文的第一作者,该论文介绍了GPT-3,这是一个拥有1750亿参数的Autoregressive model,在广泛的网络规模语料库上进行训练。该论文的核心主张是,一个足够大的语言模型可以仅通过提示中给出的少量示例来执行新任务,而无需任何权重更新,这确立了Few-shot learning和In-context learning作为从业者未来与大型模型交互的核心框架,并且GPT-3的API访问模式为后来整个行业所遵循的模板设定了标准。
Anthropic
2021年,布朗与几位同事一起离开OpenAI,其中包括Dario Amodei和Daniela Amodei兄弟姐妹,共同创立了Anthropic,这家公司的核心理念是前沿人工智能能力和安全研究需要一起推进,而不是被视为独立的问题。作为联合创始人,布朗致力于训练Anthropic的Claude模型家族所需的工程和基础设施工作,这一领域与Anthropic领导层最常公开宣传的对齐焦点相关但又有区别。
意义
布朗的GPT-3论文是2020年代深度学习文献中被引用最多的作品之一,并经常被认为普及了“规模决定一切”的语言模型进展解读,这种解读也支撑了Jared Kaplan等同事的Scaling laws研究。该论文证明了一个单一的通用模型可以仅通过提示适应新任务,而无需任何重新训练,这通常被描述为提示本身成为一门严肃技术学科而非模型训练附属品的时刻。
他从OpenAI转向Anthropic是包括Chris Olah在内的一批人离职的一部分,并且经常被引用为研究人员流动重塑前沿人工智能实验室竞争格局的最清晰例子之一。与在OpenAI时一样,布朗在Anthropic相对于其最显眼的发言人保持了相对低调的公众形象,专注于训练和扩展模型的工程工作,而非公共沟通,这种分工在前沿实验室的技术联合创始人中很常见。