TensorFlow 是一个用于机器学习和人工智能的软件库，主要用于神经网络的训练和推理。它是继 PyTorch 等框架之后最流行的深度学习框架之一。TensorFlow 以 Apache 2.0 许可证作为自由开源软件发布，由 Google Brain 团队为 Google 内部的研究和生产使用而开发。初始版本于 2015 年发布，更新版本 TensorFlow 2.0 于 2019 年 9 月发布。TensorFlow 支持多种编程语言，包括 Python、JavaScript、C++ 和 Java，从而促进了其在多个领域的应用。
历史
DistBelief
从 2011 年开始，Google Brain 构建了 DistBelief，这是一个基于深度神经网络的专有机器学习系统。随着该系统在 Google 众多研究团队和商业产品（如 Google 搜索和 Google 照片）中的使用迅速增长，其使用范围不断扩大。为了简化和加速后续开发，Google 对其进行了重构，从而产生了 TensorFlow。
TensorFlow
TensorFlow 是 Google Brain 的第二代系统。1.0.0 版本于 2017 年 2 月 11 日发布。虽然参考实现运行在单台设备上，但 TensorFlow 可以在多个 CPU 和 GPU 上运行（并可选用 CUDA 和 SYCL 扩展以支持通用图形处理单元计算）。TensorFlow 可用于 64 位 Linux、macOS、Windows 以及包括 Android 和 iOS 在内的移动计算平台。其灵活的架构使得计算能够轻松部署在各种平台（CPU、GPU、TPU）上，从桌面计算机到服务器集群，再到移动和边缘设备。
TensorFlow 计算以有状态数据流图的形式表示。TensorFlow 这个名称源于此类神经网络对多维数据数组（称为张量）所执行的操作。在 2016 年 6 月的 Google I/O 大会上，Jeff Dean 表示 GitHub 上有 1,500 个仓库提到了 TensorFlow，其中只有 5 个来自 Google。
2018 年 3 月，Google 宣布推出 TensorFlow.js 1.0 版本，用于 JavaScript 中的机器学习。2019 年 1 月，Google 宣布推出 TensorFlow 2.0，并于 2019 年 9 月正式发布。2019 年 5 月，Google 宣布推出 TensorFlow Graphics，用于计算机图形学中的深度学习。
Tensor Processing Unit (TPU)
2016 年 5 月，Google 宣布推出其张量处理单元（TPU），这是一种专为机器学习而构建并针对 TensorFlow 进行优化的专用集成电路（ASIC）。TPU 是一种可编程的 AI 加速器，旨在提供高吞吐量的低精度算术运算（例如 8 位），并面向模型的推理而非训练。Google 表示，他们已在数据中心运行 TPU 超过一年，并发现其每瓦特性能比传统处理器高出数量级。
2017 年 5 月，Google 宣布推出第二代 TPU，并可在 Google Compute Engine 中使用。第二代 TPU 提供高达 180 teraflops 的性能，当组织成 64 个 TPU 的集群时，可提供高达 11.5 petaflops 的性能。2018 年 5 月，Google 宣布推出第三代 TPU，提供高达 420 teraflops 的性能，并配备 128 GB 高带宽内存（HBM）。Cloud TPU v3 Pods 提供超过 100 petaflops 的性能和 32 TB HBM。2018 年 2 月，Google 宣布在 Google Cloud Platform 上以测试版形式提供 TPU。
Edge TPU
2018 年 7 月，Google 宣布推出 Edge TPU，这是一种专为在小型客户端设备（如智能手机）上运行 TensorFlow Lite 机器学习模型而设计的专用集成电路（ASIC）。Edge TPU 是 Google 边缘计算解决方案的一部分，旨在在设备本地执行推理，从而减少延迟并保护隐私。
TensorFlow Lite
2017 年 5 月，Google 宣布推出 TensorFlow Lite，这是一个用于移动和嵌入式设备机器学习模型的软件栈。2017 年 11 月，Google 提供了 TensorFlow Lite 的开发者预览版。2019 年 1 月，Google 发布了移动 GPU 推理引擎的开发者预览版，支持在 Android 设备上使用 OpenGL ES 3.1 Compute Shaders，在 iOS 设备上使用 Metal Compute Shaders。2019 年 5 月，Google 宣布 TensorFlow Lite Micro（也称为 TensorFlow Lite for Microcontrollers）与 ARM 的 uTensor 合并。2024 年，TensorFlow Lite 更名为 LiteRT。
TensorFlow 2.0
随着 TensorFlow 在研究论文中的市场份额逐渐被 PyTorch 超越，TensorFlow 团队于 2019 年 9 月发布了新的大版本。TensorFlow 2.0 引入了多项重大变化，其中最显著的是默认启用 eager execution，将自动微分方案从静态计算图改为“Define-by-Run”模式，该模式最初由 Chainer 推广，后被 PyTorch 采用。其他主要变化包括移除了多个旧 API、实现了不同 TensorFlow 版本之间训练模型的跨版本兼容性，以及显著提升了 GPU 上的性能。
特性
自动微分
自动微分是计算模型相对于其每个参数的梯度（导数）的过程。TensorFlow 能够自动计算梯度，这对于使用反向传播算法优化模型至关重要。为此，框架必须跟踪模型中输入张量所执行的操作顺序，然后相对于适当的参数计算梯度。
Eager Execution
TensorFlow 包含“eager execution”模式，这意味着操作会立即求值，而不是被添加到稍后执行的计算图中。由于代码是逐步执行的，因此可以逐行检查，这使得调试更加容易。这种执行范式被认为更直观，也更易于调试，因为其行为是透明的。
分布式计算
在 eager execution 和 graph execution 两种模式下，TensorFlow 都提供了 API，用于将计算分布到多个设备上，并支持各种分布式训练策略。分布式计算通常可以显著加速大型模型的训练和评估过程，是 AI 领域的常见实践。
损失函数
为了训练和评估模型，TensorFlow 提供了一组损失函数（也称为代价函数）。一些常用的损失函数包括均方误差、分类交叉熵和合页损失。这些函数用于衡量模型预测值与真实输出之间的差异，从而指导训练过程中的参数优化。
影响与应用
TensorFlow 已成为机器学习领域的基础工具，使研究人员和开发者能够大规模地构建和部署深度学习模型。它与 Google Cloud 的集成以及对神经网络架构的支持，使其成为学术界和工业界的标准选择。TensorFlow 的发布推动了人工智能技术的广泛采用，并影响了后续的框架和工具。截至 2024 年，TensorFlow 仍被广泛使用，尽管在研究领域面临来自 PyTorch 的竞争。其持续发展仍在解决性能、可用性和部署方面的挑战，以确保其在不断发展的 AI 领域中的相关性。