Tensor2Tensor（简称 T2T）是一个用于深度学习模型开发的开源软件库，特别专注于序列到序列任务，如机器翻译、文本摘要和图像描述。它由 Google Brain 的研究人员开发，并于 2017 年 6 月发布。T2T 提供了数据集、模型架构和训练工具的模块化框架，使研究人员能够使用标准化组件试验最先进的神经网络。该库基于 TensorFlow 构建，旨在通过支持在不同模型和任务之间轻松复制和比较结果来加速研究。
T2T 因其对 Transformer 架构的实现而受到广泛关注，该架构在 2017 年 Ashish Vaswani、Noam Shazeer、Niki Parmar、Jakob Uszkoreit、Llion Jones、Aidan N. Gomez、Łukasz Kaiser 和 Illia Polosukhin 发表的论文《Attention Is All You Need》中提出。Transformer 完全依赖注意力机制，摒弃了循环结构，成为后续许多大型语言模型（包括 BERT 和 GPT 系列）的基础。T2T 的模块化设计使实现和训练此类模型变得简单，促进了 Transformer 在研究社区的迅速采用。
特点与设计
T2T 围绕三个主要抽象来组织其功能：问题、模型和超参数集。问题封装了数据集及其预处理，包括分词、批处理和输入/输出格式化。T2T 包含数十个内置问题，如 WMT 英德翻译、LM1B 语言建模以及 CIFAR-10 等图像分类任务。模型定义了神经网络架构，可选方案包括 Transformer、基于 LSTM 的序列到序列模型和卷积网络。超参数集提供了不同模型大小和训练方案下预定义的配置，使用户可以通过单个命令在设置之间切换。
该库还包括一个数据生成管道，支持高效的输入流水线、并行处理和动态批处理。它与 TensorFlow 的 tf.data API 集成，并提供了跨多个 GPU 和 TPU 进行分布式训练的实用工具。T2T 是首批支持张量处理单元（TPU）训练的库之一，这对于将 Transformer 模型扩展到大型数据集至关重要。
影响与遗留
T2T 是后来框架（如 Trax 和 TensorFlow Model Garden）的先驱。其对可复现研究和标准化组件的关注影响了后续库的设计，包括 Hugging Face 的 Transformers 库。T2T 中的许多思想和代码模式被纳入这些较新的工具，这些工具此后已成为训练和部署大型语言模型的事实标准。
该库于 2021 年正式弃用，Google Brain 团队引导用户迁移到 Trax 或 TensorFlow Model Garden。尽管已停止维护，T2T 在历史上仍具有重要意义，是现代人工智能和机器学习研究发展的关键里程碑。
参见
- Transformer
- TensorFlow
- Google Brain
- 序列到序列
- 注意力机制
参考文献
- Vaswani, A., 等人。（2017年）。《Attention Is All You Need。》神经信息处理系统进展。
- Google Brain。（2017年）。《Tensor2Tensor：深度学习模型库》。GitHub 仓库。
- Kaiser, Ł., 等人。（2018年）。《Tensor2Tensor 用于神经机器翻译》。AMTA 论文集。