雅各布·乌兹科赖特是一位计算机科学家和企业家，因其对深度学习和大型语言模型的基础性贡献而闻名。他最广为人知的身份是2017年论文《Attention Is All You Need》的合著者，该论文引入了Transformer (architecture)架构，这是一种神经网络设计，支撑着大多数现代生成式人工智能系统。2022年，他共同创立了Inceptive，一家将机器学习应用于RNA生物学和药物开发的公司。
乌兹科赖特的工作连接了人工智能研究与实际应用。他在谷歌（具体在Google Research和Google Brain）的研究专注于序列建模和注意力机制，这促成了彻底改变自然语言处理的Transformer架构。他后来的创业项目Inceptive将这些AI技术扩展到生物分子设计，反映了将机器学习应用于科学发现的更广泛趋势。
早年生活与教育
乌兹科赖特出生于德国，在学术环境中长大；他的父亲汉斯·乌兹科赖特是一位计算语言学家。他在多伦多大学攻读计算机科学本科，期间接触了早期的机器学习研究。后来，他在斯坦福大学人工智能实验室（斯坦福大学）获得计算机科学博士学位，博士研究专注于机器翻译和序列到序列模型。
在斯坦福期间，乌兹科赖特致力于改进神经机器翻译系统，这些系统当时正作为统计短语方法的替代方案而兴起。他的论文探索了在序列中建模长距离依赖的高效方法，这个问题后来成为Transformer架构的核心。
在谷歌的职业生涯
乌兹科赖特于2012年加入Google Research，最初从事自然语言理解和机器翻译工作。他成为Google Brain团队的一员，与利昂·琼斯、卢卡什·凯泽和尼基·帕尔马等研究人员合作。他在谷歌的早期工作涉及开发用于翻译的循环神经网络（RNN）模型，但他对它们的计算效率低下和难以并行化感到沮丧。
2017年，乌兹科赖特和他的同事发表了《Attention Is All You Need》，这篇论文提出完全用自注意力机制取代循环和卷积层。该论文还列出了巴雷特·佐夫等人作为贡献者，证明了Transformer可以在翻译任务上取得最先进的结果，同时训练速度显著更快。这项工作为后续模型如BERT和GPT奠定了基础，这些模型都基于Transformer的编码器-解码器结构。
在谷歌，乌兹科赖特继续致力于扩展Transformer并提高其效率。他为稀疏注意力和模型并行化研究做出了贡献，这使得训练更大的模型成为可能。他还致力于将Transformer应用于非文本领域，包括图像和音频处理，尽管他的主要关注点仍是序列建模。
Transformer论文及其影响
2017年的Transformer论文发表于NeurIPS会议，引入了几个关键创新：多头注意力、位置编码和完全基于注意力的架构。与之前按顺序处理序列的循环神经网络不同，Transformer并行处理所有标记，在台积电制造的GPU等现代硬件上实现了大幅加速。这种并行性对于训练随后的大规模模型至关重要。
该论文的影响立竿见影且深远。几年内，Transformer成为自然语言处理任务的默认架构，取代了RNN和卷积网络。它还影响了其他领域，包括计算机视觉（如Vision Transformers）和生物信息学。乌兹科赖特的具体贡献包括使用自注意力进行序列编码的想法，他在谷歌早期的内部研究中已经探索过这一点。
创立Inceptive
2022年，乌兹科赖特共同创立了Inceptive，目标是利用深度学习设计RNA分子，如mRNA疫苗和治疗药物。该公司应用类似Transformer的模型来预测RNA序列的结构和功能，从而能够创造新型生物制剂。Inceptive从包括安德森·霍洛维茨和英伟达在内的投资者那里获得了大量资金，反映了AI与生物技术日益交叉的趋势。
在Inceptive，乌兹科赖特担任首席执行官，领导一个由研究人员和工程师组成的团队。该公司的做法是在大型RNA序列及其属性数据集上训练模型，然后使用这些模型生成用于药物开发的候选分子。这项工作在疫苗、基因治疗和个性化医疗方面具有潜在应用。
其他贡献与认可
除了Transformer论文之外，乌兹科赖特还发表了大量关于机器学习和自然语言处理的论文。他曾受邀在主要会议上演讲，并担任NeurIPS和ICML的程序委员会成员。他的工作被引用数万次，使他成为该领域最具影响力的研究者之一。
乌兹科赖特还参与了使AI更高效和更易获取的努力。他曾谈到训练大型模型的环境成本，并倡导更高效的架构。他在稀疏注意力和专家混合模型方面的研究有助于降低计算需求。
个人生活与公众参与
乌兹科赖特以其协作和开放的研究方式而闻名。他在谷歌和Inceptive指导了许多初级研究人员。在采访中，他强调了跨学科工作的重要性，特别是将AI应用于生物学和医学。他在学术平台上保持活跃，偶尔撰写关于AI政策和伦理的文章。
尽管取得了成功，乌兹科赖特仍专注于科学挑战而非商业炒作。他对AI的未来表示谨慎乐观，既指出其潜力也指出其风险。他在Inceptive的工作反映了一种信念，即AI可以解决紧迫的全球健康问题。
遗产与未来方向
乌兹科赖特共同创造的Transformer架构已成为现代AI的支柱，为从OpenAI的GPT系列到Anthropic的Claude等系统提供动力。其影响超越了科技公司，延伸到学术研究和政府实验室。乌兹科赖特随后在RNA生物学方面的工作表明，AI驱动的设计可能改变医学的新前沿。
截至2024年，Inceptive继续开发其平台，并与制药行业建立了早期合作伙伴关系。乌兹科赖特的职业生涯体现了从基础研究到应用创新的轨迹，他的贡献很可能在未来几十年内被研究。
参见
参考文献
- Vaswani, A., et al. (2017). "Attention Is All You Need." NeurIPS.
- Inceptive官方网站和新闻稿。
- Google Research上雅各布·乌兹科赖特的出版物。