《注意力就是一切》是2017年发表的研究论文，它引入了Transformer架构，这是一种完全围绕注意力机制而非循环或卷积构建的神经网络设计。该论文于2017年6月12日作为arXiv预印本发布，并在同年晚些时候的NeurIPS会议上展示，由谷歌的八位研究人员撰写：阿希什·瓦斯瓦尼、诺姆·沙泽尔、艾丹·戈麦斯、伊利亚·波洛苏欣、雅各布·乌兹科雷特、利昂·琼斯、卢卡什·凯泽和尼基·帕尔马。它是计算机科学领域被引用最多的论文之一，被广泛认为是现代大型语言模型发展中最具影响力的单一出版物。
背景
在Transformer之前，用于机器翻译等任务的自然语言处理系统最先进的技术依赖于循环架构，通常是LSTM，这些架构按顺序处理文本，并辅以从早期序列到序列工作中借鉴的注意力层。顺序处理训练速度慢，且难以捕捉长距离依赖关系。作者提出完全用自注意力取代循环，让模型能够并行地评估序列中每个标记与其他所有标记的相关性，这加速了GPU上的训练，并改善了对长距离结构的建模。
架构与影响
论文的设计，，一个由自注意力和前馈层组成的编码器-解码器堆栈，并用位置编码替代循环，，成为了几乎所有后续主要模型的模板。BERT改编了编码器部分用于语言理解，而GPT风格的模型则采用了仅解码器的变体，通过下一个标记预测进行训练。该架构被证明异常易于扩展，直接推动了扩展定律研究，该研究显示数据、参数和计算量的增加会带来可预测的性能提升，后来它支撑了文本、视觉、音频和多模态领域的基础模型。
遗产
关于这篇论文，一个经常被提及的事实是，所有八位原始作者最终都离开了谷歌，创办或加入了其他人工智能公司。诺姆·沙泽尔在返回谷歌之前共同创立了Character.AI，而艾丹·戈麦斯则成为了Cohere的首席执行官。该论文的引用次数在发表后不到十年内增长到了数万次，截至2020年代中期，Transformer仍然是前沿模型背后的主导架构，尽管研究人员仍在继续探索诸如状态空间模型等替代方案，以在特定效率权衡方面取得突破。