LeNet是一系列卷积神经网络（CNN）架构，由AT&T贝尔实验室的一个研究小组于1988年至1998年间创建，核心人物是杨立昆（Yann LeCun）。这些网络专为读取小型灰度手写数字和字母图像而设计，并曾用于ATM机读取支票。卷积神经网络是一种前馈神经网络，其人工神经元能够对覆盖范围内周围细胞的一部分做出响应，并且在大规模图像处理中表现良好。LeNet-5是最早的卷积神经网络之一，在深度学习的发展过程中具有重要的历史意义。一般来说，当提到LeNet而不带数字时，指的是1998年的版本LeNet-5，这是最著名的版本。
发展历史
1988年10月，LeCun加入了位于新泽西州霍姆德尔（Holmdel）的AT&T贝尔实验室自适应系统研究部门，该部门由Lawrence D. Jackel领导。1988年11月下旬，John S. Denker等人发表了一种用于识别手写邮政编码的神经网络设计，但其前几层连接是手工调整的。
1989年，贝尔实验室的Yann LeCun等人首次将反向传播算法应用于实际应用，他们认为通过提供任务领域的约束，可以大大增强网络学习泛化的能力。他们结合了由反向传播算法训练的卷积神经网络来读取手写数字，并成功应用于识别美国邮政服务提供的手写邮政编码数字。这就是后来被称为LeNet-1的原型。同年，LeCun在另一篇论文中描述了一个小型手写数字识别问题，表明即使该问题线性可分，单层网络的泛化能力也很差。当在多层的、受约束的网络中使用平移不变特征检测器时，模型可以表现得非常好。他认为这些结果证明了最小化神经网络中自由参数的数量可以增强其泛化能力。
1989年，他们介绍LeNet-1的论文再次描述了反向传播网络在手写数字识别中的应用。他们对数据进行了最少的预处理，模型针对任务精心设计并高度受限。输入数据是包含数字的图像，在美国邮政服务提供的邮政编码数字数据上的测试结果表明，该模型的错误率仅为1%，拒绝率约为9%。
他们的研究持续了接下来的四年，1994年开发了MNIST数据库，LeNet-1对于该数据库来说太小，因此在其上训练了一个新的LeNet-4。一年后，AT&T贝尔实验室团队在一篇论文中回顾了手写字符识别的各种方法，使用标准手写数字来确定基准任务。这些模型进行了比较，结果表明最新的网络优于其他模型。
到1998年，Yann LeCun、Leon Bottou、Yoshua Bengio和Patrick Haffner能够提供神经网络实际应用的例子，例如两个在线识别手写字符的系统以及能够每天读取数百万张支票的模型，其中包括对LeNet-5的描述。这项研究取得了巨大成功，并激发了学者们对神经网络研究的兴趣。虽然当今性能最佳的神经网络架构与LeNet不同，但该网络是大量神经网络架构的起点，也为该领域带来了灵感。
架构
LeNet具有现代卷积神经网络的几个常见特征，例如卷积层、池化层和全连接层。每个卷积层包含三个部分：卷积、池化和非线性激活函数。它使用卷积来提取空间特征（卷积最初被称为感受野）、子采样平均池化、tanh激活函数、在最后几层使用全连接层进行分类，以及层间的稀疏连接以减少计算复杂度。
1989年，LeCun等人发表了一份包含“Net-1”到“Net-5”的报告。此后直到1998年有许多后续改进，命名不一致。一般来说，当人们提到“LeNet”时，指的是1998年的LeNet，也称为“LeNet-5”。LeNet-1、4和5已被提及，但LeNet-2和LeNet-3可能指什么尚不清楚。
1988年网络
LeCun研究小组发表的第一篇神经网络是在1988年。它是一种混合方法。第一阶段对输入图像进行缩放、去倾斜和骨架化。第二阶段是一个包含18个手工设计核的卷积层。第三阶段是一个带有一个隐藏层的全连接网络。数据集是从实际美国邮件中提取的手写数字图像集合，这与著名的1989年报告中使用的数据集相同。
Net-1至Net-5
Net-1至Net-5发表于1989年的一份报告中。它们的所有最后一层都是全连接的。原始论文没有解释填充策略。所有单元都有独立的偏置，包括卷积层的输出单元。
- Net-1：无隐藏层。全连接。(16×16) → 10。
- Net-2：一个带12个隐藏单元的全连接隐藏层。(16×16) → 12 → 10。
- Net-3：两个卷积隐藏层。(16×16) → (8×8) → (4×4) → 10。两者都是局部连接层，输入形状为3×3，步长为2。
- Net-4：两个隐藏层，第一个是卷积层，第二个是局部连接层。(16×16) → (8×8×2) → (4×4) → 10。卷积层有2个形状为3×3、步长为2的核。局部连接层的输入形状为3×3，步长为2。
遗产
LeNet的影响超出了其直接应用范围。它证明了反向传播在训练深度网络中的有效性，并引入了后来成为标准CNN架构的关键概念。LeNet在手写数字识别上的成功激发了人们对神经网络的兴趣，并为后续机器学习和人工智能的发展奠定了基础。其原理反映在现代架构中，尽管它们已经发生了显著演变。1994年为训练LeNet-4而开发的MNIST数据集仍然是该领域的标准基准。LeNet在ATM机中用于支票读取的实际部署展示了神经网络在现实世界中的可行性，为深度学习技术的更广泛采用做出了贡献。