Ashish Vaswani是一位计算机科学家,也是论文《注意力即一切》(2017年)的第一作者,该论文由谷歌的七位合著者共同撰写,提出了Transformer (architecture)架构,这一架构构成了几乎所有现代大型语言模型的基础。
Transformer论文
Vaswani拥有南加州大学的计算机科学博士学位,在加入谷歌大脑之前,他曾在南加州大学从事统计机器翻译研究。作为Transformer论文的第一作者,他在提出序列转导模型可以完全摒弃循环和卷积,仅依靠自注意力机制并行建模序列中所有位置之间的关系方面发挥了核心作用。由此产生的架构在规模化训练效率上显著优于它所取代的循环网络,并直接促成了更大规模模型的预训练,为BERT、GPT系列以及此后OpenAI、Anthropic和谷歌深度思维发布的所有主要模型奠定了基础。
离开谷歌之后
Vaswani于2020年离开谷歌。2022年,他与Transformer论文的合著者Niki Parmar以及其他前谷歌和OpenAI研究人员共同创立了Adept AI,这家初创公司专注于构建能够在软件界面内执行操作的AI代理,是后来2024至2026年更广泛的AI代理和计算机使用浪潮的早期参与者。Adept的技术及部分团队在2024年通过一项许可和人才协议被亚马逊吸收,这一结构与大型实验室收购小型AI初创公司时采用的其他模式类似。
此后,Vaswani又共同创立了Essential AI,另一家专注于企业应用基础模型研究的初创公司,继续从事直接源自其最初Transformer工作的大规模预训练研究。
影响
作为该领域近期历史中被引用次数最多的论文的第一作者,Vaswani被广泛视为整个现代生成式AI产业的设计者之一。该论文的八位作者,包括Noam Shazeer和Aidan Gomez,最终都离开了谷歌,他们随后在初创公司和竞争实验室中的分散职业轨迹,经常被引为2017年后Transformer时代AI人才高度集中且流动性的象征。