Tensor2Tensor（简称T2T）是一个用于深度学习模型开发的开源软件库，特别专注于序列到序列任务，如机器翻译、文本摘要和图像描述。它由谷歌大脑的研究人员开发，并于2017年6月发布。T2T提供了一个模块化的框架，涵盖数据集、模型架构和训练工具，使研究人员能够使用标准化组件来试验最先进的神经网络。该库基于TensorFlow构建，旨在通过简化不同模型和任务的结果复现与比较来加速研究。
T2T因其对Transformer架构的实现而广受关注，该架构在2017年论文《Attention Is All You Need》中由Ashish Vaswani、Noam Shazeer、Niki Parmar、Jakob Uszkoreit、Llion Jones、Aidan N. Gomez、Łukasz Kaiser和Illia Polosukhin提出。Transformer完全依赖注意力机制，摒弃了循环结构，成为后来许多大语言模型（包括BERT和GPT系列）的基础。T2T的模块化设计使得实现和训练此类模型变得简单直接，推动了Transformer在研究社区的迅速普及。
特性
T2T围绕三个核心抽象组织其功能：问题（problems）、模型（models）和超参数集（hyperparameter sets）。一个问题封装了数据集及其预处理流程，包括分词、批处理和输入/输出格式化。T2T内置了数十个问题，例如WMT英德翻译、LM1B语言建模以及CIFAR-10图像分类等任务。一个模型定义了神经网络架构，可选方案包括Transformer、基于LSTM的序列到序列模型以及卷积网络。超参数集则为不同的模型规模和训练配置提供了预定义参数，使用户只需一条命令即可切换设置。
该库还包含一个数据生成流水线，支持高效的输入管道、并行处理和动态批处理。它与TensorFlow的tf.data API集成，并为多GPU和TPU上的分布式训练提供了实用工具。T2T是最早支持Tensor处理单元（TPU）训练的库之一，这对于将Transformer模型扩展到大规模至关重要。
影响与遗产
T2T是Trax和TensorFlow Model Garden等后续框架的先驱。它对可复现研究和标准化组件的重视影响了后续库的设计，包括Hugging Face的Transformers库。T2T中的许多思想和代码模式被整合到这些新工具中，后者如今已成为训练和部署大语言模型的事实标准。
该库于2021年正式弃用，谷歌大脑团队引导用户迁移至Trax或TensorFlow Model Garden。尽管已停止维护，T2T作为现代人工智能和机器学习研究发展中的一个关键里程碑，仍具有重要的历史意义。
参见
参考文献
- Vaswani, A., et al. (2017). "Attention Is All You Need." Advances in Neural Information Processing Systems.
- Google Brain. (2017). "Tensor2Tensor: A Library for Deep Learning Models." GitHub repository.
- Kaiser, Ł., et al. (2018). "Tensor2Tensor for Neural Machine Translation." Proceedings of AMTA.