Theano是一个Python库和优化编译器，用于操作和评估数学表达式，尤其是矩阵值表达式。Theano中的计算使用类似NumPy的语法表达，并可编译为在CPU或GPU架构上高效运行。它是深度学习研究领域最早被广泛采用的工具之一，在现代框架如TensorFlow和PyTorch兴起之前，为构建和训练神经网络提供了基础。
该项目起源于一个开源计划，主要由蒙特利尔学习算法研究所（MILA）在蒙特利尔大学开发。该软件的名称引用了古代哲学家西奥阿诺（Theano），她长期与黄金分割的发展相关联。其设计强调符号图构建，允许研究人员抽象地定义数学运算，然后将其编译为优化的原生代码，这一特性对机器学习实验至关重要。
发展历史
Theano的开发历时十余年，其初始版本发布于2007年。在其鼎盛时期，它成为学术界人工智能研究的标准工具，尤其是在多伦多大学和MILA社区中。该库通过反向模式自动微分计算梯度的能力，在推进深度学习技术方面发挥了重要作用，包括对Transformer及其他架构的早期研究。
2017年9月28日，Pascal Lamblin发布了MILA负责人Yoshua Bengio的消息，宣布在1.0版本发布后将停止重大开发，原因是来自强势工业参与者的竞争。Theano 1.0.0随后于2017年11月15日发布，标志着MILA积极介入的结束。这一决定反映了该领域向拥有更广泛生态系统支持的行业框架的整体转变。
2018年5月17日，Chris Fonnesbeck代表PyMC开发团队撰文表示，一旦MILA开发团队退出，PyMC开发者将正式接管Theano的维护工作。这一过渡确保了该库对现有用户的持续可用性。2021年1月29日，PyMC团队开始使用Aesara这一名称作为Theano的分支，在保留核心功能的同时引入了新身份。后来，在2022年11月29日，PyMC开发团队宣布将Aesara项目分叉为PyTensor，进一步演进代码库。
核心特性
Theano的主要创新在于其符号计算模型。用户将数学表达式定义为计算图，然后由该库进行优化和编译。这种方法提供了多项优势：用于基于梯度的优化的自动微分、通过CUDA支持实现GPU加速，以及通过代数简化提升数值稳定性。这些特性使其特别适合训练神经网络，因为反向传播需要高效的梯度计算。
该库类似NumPy的语法降低了熟悉科学Python的研究人员的入门门槛，支持快速原型设计新模型。其优化编译器可以融合操作、减少内存使用并生成平台特定代码，其性能往往优于朴素实现。这种性能优势对于将实验从小型原型扩展到更大的机器学习任务至关重要。
示例应用
典型的Theano使用涉及定义标量或矩阵变量及操作。例如，一个包含两个双精度标量的简单加法图可以编译为Python函数以供重复调用。矩阵乘法作为深度学习中线性代数的基石，实现起来直接了当，并可利用GPU硬件获得显著加速。
梯度计算是另一个标志性用例。通过调用theano.tensor.grad，研究人员可以自动推导成本函数相对于模型参数的导数，这一过程对于通过随机梯度下降进行训练至关重要。该功能消除了手动推导导数的需要，加速了研究迭代。
更高级的示例包括构建具有单隐藏层的简单神经网络，其中Theano的符号图无缝处理前向传播和反向传播。广播机制也得到支持，允许不同形状的数组之间无需显式重塑即可进行操作，从而简化了批处理和特征级操作的代码。
遗产与影响
Theano的影响力超越了其自身生命周期。它直接启发了后续框架的设计，包括TensorFlow，后者采用了类似的基于图的计算模型。许多在Theano上接受训练的研究人员转向了这些后继者，并带去了其概念基础。该库还为可微分编程的更广泛生态系统做出了贡献，这一范式如今已成为现代生成式AI系统的核心。
尽管Theano已停止开发，但其代码库通过PyTensor得以延续，后者继续服务于PyMC概率编程社区。其在推动早期深度学习突破方面的历史作用，包括对大语言模型及其他先进架构的研究，奠定了其作为该领域基础工具的地位。从学术到工业开发的转变促成了其退役，这也反映了2010年代末人工智能研究更广泛的商业化趋势。
参见
- 深度学习软件比较
- 机器学习软件比较
- 可微分编程