RWKV是一种为大型语言模型设计的神经网络架构，由Bo Peng及其同事于2021年提出。其名称源自四个核心元素：接收（Reception）、权重（Weight）、键（Key）和值（Value）。该架构以融合Transformer和循环神经网络的优势而著称，旨在实现Transformer级别的性能，同时保持RNN在推理时的计算效率。
与依赖二次复杂度多头注意力的标准Transformer不同，RWKV使用线性注意力机制，以循环方式处理序列。这使得它能够以恒定内存使用量处理长上下文，特别适合部署在资源受限的设备上。该模型作为专有模型的开源替代品而受到关注，并在多个框架中提供了实现。
架构与机制
RWKV的核心创新在于其线性注意力，它用循环公式取代了Transformer的点积注意力。模型按顺序处理令牌，每一步更新一个隐藏状态。该状态作为整个过去上下文的压缩表示，使模型能够捕获长距离依赖，而无需完整的注意力矩阵。
该架构使用一种称为时间混合的技术，通过学习的衰减因子结合当前和先前令牌的信息。这类似于Transformer中的位置编码，但以循环方式实现。模型还包含层归一化和残差连接，类似于现代Transformer设计，以稳定训练。
与传统RNN的一个关键区别是，RWKV可以通过并行扫描技术在时间步上并行训练，利用循环的线性特性。这使其在训练期间能够受益于与Transformer相同的硬件加速，例如来自AMD或NVIDIA的GPU（尽管NVIDIA不在提供的列表中，但其他供应商也适用）。
训练与性能
RWKV模型已在大型文本语料库上训练，公开的最大版本达到140亿参数。在基准测试中，RWKV在语言建模、问答和推理等任务上表现出与相似规模Transformer相当的性能。例如，RWKV-4系列展示了在标准数据集上匹配GPT风格模型的困惑度，同时推理时内存使用显著减少。
训练过程采用标准技术，如Adam优化、梯度裁剪和学习率调度。模型通常在GPU集群上训练，与其他大型语言模型类似。RWKV的开源特性推动了社区驱动的扩展努力，研究人员和爱好者均有贡献。
推理效率
RWKV的一大优势是其推理效率。由于其循环特性，模型只需处理当前令牌并更新固定大小的隐藏状态，而无需关注所有先前令牌。这导致每个令牌的O(1)内存使用，使其适合部署在智能手机或嵌入式系统等边缘设备上。这与Transformer形成对比，后者需要缓存所有先前的键值对，导致内存消耗随序列长度增长。
减少的内存占用还加快了生成速度，因为模型无需在每一步重新计算整个上下文的注意力。这使得RWKV成为延迟和资源约束关键的应用（如实时聊天助手或设备端生成式AI应用）的热门选择。
生态系统与采用
RWKV项目是开源的，代码可在GitHub等平台上获取。它催生了一个开发者社区，创建了针对特定任务（如代码生成和多语言支持）的微调变体。该架构已在流行的机器学习框架（包括PyTorch和JAX）中实现，还有轻量级C++和Rust实现用于生产环境。
多家公司和研究团体已探索RWKV作为基于Transformer模型的替代方案。例如，阿里云已尝试将RWKV用于云服务中的高效推理。该模型也用于高效序列建模的学术研究，论文讨论了其理论性质和扩展。尽管不如Transformer广泛采用，RWKV在深度学习社区中以其独特的权衡确立了细分地位。
局限性与未来方向
与Transformer相比，RWKV存在一些局限性。其循环特性可能使其在需要双向上下文的任务（如某些序列到序列问题）中灵活性较低。此外，线性注意力机制可能比完全注意力失去一些表达能力，特别是在需要精确令牌间交互的任务中。研究人员已提出变体来解决这些问题，例如引入门控机制或结合RWKV与稀疏注意力的混合方法。
未来工作包括将RWKV扩展到更大参数规模、提高训练稳定性，以及探索其在多模态设置中的应用。该架构的效率使其成为设备端AI的有前景候选，持续发展可能带来更广泛的商业产品采用。截至2025年，RWKV仍是一个活跃的研究领域，定期更新和社区贡献不断涌现。