注意力开销指的是自注意力机制产生的计算和内存成本，该机制是现代大多数Transformer架构的核心组件，并被用于大型语言模型中。在Transformer中，自注意力允许序列中的每个标记关注其他所有标记，使模型能够捕捉长距离依赖关系。然而，这带来了一定的代价：所需的时间和内存随序列长度二次增长。对于长度为n的序列，注意力矩阵为n x n，导致O(n^2)复杂度。这种二次方缩放是注意力开销的主要来源，并成为处理长文档、高分辨率图像或长格式音频的重大瓶颈，因为计算成本可能迅速变得过高。
注意力概念在神经机器翻译的背景下被引入，早期工作来自谷歌的Jakob Uszkoreit等人，但确立Transformer架构并使自注意力成为主导机制的，是2017年由Lukasz Kaiser、Niki Parmar及同事撰写的论文“Attention Is All You Need”。该论文表明，一个完全基于注意力机制的模型，无需循环或卷积层，即可在翻译任务中获得最先进的结果。这一突破导致Transformer的广泛采用，但也将注意力开销问题置于机器学习研究的前沿。
二次复杂度及其影响
标准自注意力的O(n^2)复杂度源于计算每对标记之间相似度得分。对于各有1,000个标记的序列，这涉及100万次两两相互作用；而对于10,000个标记，则变为1亿次。这种增长速率会迅速耗尽计算资源（FLOPs）和内存，因为注意力矩阵在训练和推理期间必须存储。内存占用尤其成问题，可能超过GPU上高带宽内存的容量，迫使模型使用较慢的内存或将序列分块处理。此开销直接影响模型的最大上下文长度，这是文档摘要、代码生成和多轮对话等应用的关键参数。
缓解注意力开销的策略
研究人员已开发多种技术来降低注意力开销。常见方法是稀疏注意力，其中每个标记只关注其他标记的子集，例如局部窗口或一组全局标记。Longformer和BigBird等模型使用此策略以实现线性复杂度。另一种方法是线性注意力，其通过核方法或低秩近似对公式进行重构正解，避免明确构建完整的n×n矩阵。此外，FlashAttention等技术通过分块计算和减少内存读写来优化实现，无需改变数学公式即可获得显著加速。这些方法对于将Transformer扩展到更长序列至关重要，目前在OpenAI和Google DeepMind等公司的生产系统中得到应用。
软硬件协同设计
注意力开销也推动了专用硬件的创新。Cerebras和Groq等公司设计了具有大容量片上内存和高带宽互连的芯片以加速Transformer推理，而NVIDIA则引入了张量核心并优化了cuDNN和TensorRT等库以加速注意力操作。AWS Trainium以及来自Amazon Web Services和Google Cloud的其他自定义加速器针对Transformer负载进行了优化。在软件方面，PyTorch和JAX等框架已集成融合的注意力内核，XFormers库提供了多种高效的注意力实现。这些软硬件协同优化旨在减少与注意力开销相关的实际时间和能耗，使得在真实应用中部署大型模型更加可行。
对模型开发与部署的影响
注意力开销不仅影响模型的架构，还影响模型的训练和服务的策略。在训练期间，二次内存成本限制了可用的批大小和序列长度，而这些都会影响模型质量、训练时间和资源使用。在推理期间，开销导致延迟和吞吐量挑战，尤其是在自回归生成中，每个新标记都需要对之前的标记进行完整的关注遍历。这推动了键值（KV）缓存等技术的发展，该技术可缓存注意力的键和值以避免或部分避免重新计算，以及推测解码，使用较小模型起草标记，然后由较大模型验证。这些优化对于提供响应式生成式AI服务至关重要，也是各大AI实验室和云提供商的研究重点。
未来方向
随着模型的规模和能力不断增长，注意力开销仍是一个关键挑战。研究人员正在探索超越标准注意力的新架构，例如基于状态空间的模型Mamba，它提供线性复杂度并在某些任务上显示出竞争性能。然而，注意力机制为许多问题提供了强大的归纳偏置，因此将注意力与其他机制结合的混合方法是一个活跃的研究领域。更高效的注意力算法的发展，加上硬件的持续进步，将对释放Transformer长上下文应用的潜在潜力至关重要。在MIT CSAIL和斯坦福AI实验室等机构正在开展的工作，持续探索的可能，旨在将注意力开销降低到不再成为限制因素。