Tensor2Tensor（缩写为 T2T）是一个用于深度学习模型开发的开源软件库，特别专注于序列到序列任务，例如机器翻译、文本摘要和图像描述。它由谷歌大脑的研究人员开发，并于2017年6月发布。T2T 提供了数据集、模型架构和训练工具的模块化框架，使研究人员能够使用标准化组件来试验最先进的神经网络。该库基于 TensorFlow 构建，旨在通过支持不同模型和任务之间的轻松复现与结果比较来加速研究。
T2T 因其对 Transformer 架构的实现而受到广泛关注，该架构由 Ashish Vaswani、Noam Shazeer、Niki Parmar、Jakob Uszkoreit、Llion Jones、Aidan N. Gomez、Łukasz Kaiser 和 Illia Polosukhin 在2017年的论文《Attention Is All You Need》中提出。Transformer 完全依赖注意力机制，摒弃了循环结构，成为后来许多 大型语言模型（包括 BERT 和 GPT 系列）的基础。T2T 的模块化设计使得实现和训练此类模型变得简单直接，促进了 Transformer 在研究社区的迅速采用。
特性与设计
T2T 围绕三个主要抽象来组织其功能：问题（problems）、模型（models） 和 超参数集（hyperparameter sets）。一个问题封装了数据集及其预处理流程，包括分词、批处理和输入/输出格式化。T2T 包含数十个内置问题，例如 WMT 英德翻译、LM1B 语言建模以及 CIFAR-10 图像分类等。一个模型定义了神经网络架构，可选方案包括 Transformer、基于 LSTM 的序列到序列模型以及卷积网络。超参数集为不同的模型规模和训练配置提供了预定义设置，使用户能够通过单一命令在不同配置之间切换。
该库还包含一个数据生成流水线，支持高效的输入流水线处理、并行处理和动态批处理。它与 TensorFlow 的 tf.data API 集成，并提供了在多 GPU 和 TPU 上进行分布式训练的工具。T2T 是最早支持张量处理单元（TPU）训练的库之一，这对于将 Transformer 模型扩展到大规模数据集至关重要。
影响与遗产
T2T 是 Trax 和 TensorFlow Model Garden 等后续框架的前身。它对可复现研究和标准化组件的重视影响了后续库的设计，包括 Hugging Face 的 Transformers 库。T2T 中的许多思想和代码模式被整合到这些较新的工具中，而这些工具如今已成为训练和部署大型语言模型的事实标准。
该库于2021年正式弃用，谷歌大脑团队引导用户迁移到 Trax 或 TensorFlow Model Garden。尽管已停止维护，T2T 作为现代 人工智能 和 机器学习 研究发展中的一个关键里程碑，仍然具有重要的历史意义。
参见
参考文献
- Vaswani, A., et al. (2017). "Attention Is All You Need." Advances in Neural Information Processing Systems.
- Google Brain. (2017). "Tensor2Tensor: A Library for Deep Learning Models." GitHub repository.
- Kaiser, Ł., et al. (2018). "Tensor2Tensor for Neural Machine Translation." Proceedings of AMTA.