लेनेट

LeNet是1988年至1998年间，由AT&T贝尔实验室的一个研究小组围绕Yann LeCun创建的一系列卷积神经网络（CNN）架构。这些网络旨在读取手写数字和小写字母的小型灰度图像，并曾用于ATM机读取支票。卷积神经网络是一种前馈神经网络，其人工神经元能够对覆盖范围内周围细胞的部分做出响应，并在大规模图像处理中表现良好。LeNet-5是最早的卷积神经网络之一，在深度学习的发展过程中具有重要的历史意义。通常，当提到LeNet而未加数字时，指的是1998年的版本LeNet-5，这是最著名的版本。

发展历史

1988年10月，LeCun加入了位于新泽西州霍姆德尔AT&T贝尔实验室的自适应系统研究部门，该部门由Lawrence D. Jackel领导。1988年11月下旬，John S. Denker等人发表了一种用于识别手写邮政编码的神经网络设计，但其前几层连接是手工调整的。

1989年，贝尔实验室的Yann LeCun等人首次将反向传播算法应用于实际应用中，他们认为通过提供任务领域的约束，可以大大增强网络学习泛化的能力。他们结合了由反向传播算法训练的卷积神经网络来读取手写数字，并成功应用于识别美国邮政服务提供的手写邮政编码数字。这是后来被称为LeNet-1的雏形。同年，LeCun在另一篇论文中描述了一个小型手写数字识别问题，表明即使问题可以线性分离，单层网络的泛化能力也很差。当在多层的受限网络上使用平移不变特征检测器时，模型可以表现得非常好。他认为这些结果证明了最小化神经网络中自由参数的数量可以增强其泛化能力。

1989年，他们介绍LeNet-1的论文再次描述了反向传播网络在手写数字识别中的应用。他们对数据进行了最少的预处理，模型针对任务进行了精心设计并高度受限。输入数据由包含数字的图像组成，在美国邮政服务提供的邮政编码数字数据上的测试结果显示，模型的错误率仅为1%，拒绝率约为9%。

他们的研究在接下来的四年中继续进行，1994年开发了MNIST数据库，对于该数据库，LeNet-1太小，因此在其上训练了一个新的LeNet-4。一年后，AT&T贝尔实验室的集体在一篇论文中回顾了手写字符识别的各种方法，使用标准手写数字来识别基准任务。对这些模型进行了比较，结果表明最新的网络优于其他模型。

到1998年，Yann LeCun、Leon Bottou、Yoshua Bengio和Patrick Haffner能够提供神经网络实际应用的示例，例如两个用于在线识别手写字符的系统以及能够每天读取数百万张支票的模型，其中包括对LeNet-5的描述。该研究取得了巨大成功，引起了学者们对神经网络研究的兴趣。虽然当今性能最佳的神经网络架构与LeNet不同，但该网络是大量神经网络架构的起点，也为该领域带来了灵感。

架构

LeNet具有现代卷积神经网络的几个常见特征，如卷积层、池化层和全连接层。每个卷积层包括三个部分：卷积、池化和非线性激活函数。它使用卷积来提取空间特征（卷积最初被称为感受野），子采样平均池化，tanh激活函数，最后几层使用全连接层进行分类，以及层之间的稀疏连接以减少计算复杂度。

1989年，LeCun等人发表了一份包含“Net-1”到“Net-5”的报告。到1998年有许多后续改进，命名不一致。通常，当人们提到“LeNet”时，指的是1998年的LeNet，也称为“LeNet-5”。LeNet-1、4和5已被提及，但LeNet-2和LeNet-3可能指什么尚不清楚。

1988年网络

LeCun研究小组发表的第一篇神经网络是在1988年。它是一种混合方法。第一阶段对输入图像进行缩放、去倾斜和骨架化。第二阶段是一个具有18个手工设计内核的卷积层。第三阶段是一个具有一个隐藏层的全连接网络。数据集是从实际美国邮件中提取的手写数字图像集合，这与1989年著名报告中使用的数据集相同。

Net-1至Net-5

Net-1至Net-5发表在1989年的一份报告中。它们的所有最后一层都是全连接的。原始论文没有解释填充策略。所有单元都有独立的偏置，包括卷积层的输出单元。

• Net-1：无隐藏层。全连接。(16×16) → 10。
• Net-2：一个具有12个隐藏单元的隐藏全连接层。(16×16) → 12 → 10。
• Net-3：两个隐藏卷积层。(16×16) → (8×8) → (4×4) → 10。两者都是局部连接层，输入形状为3×3，步长为2。
• Net-4：两个隐藏层，第一个是卷积，第二个是局部连接。(16×16) → (8×8×2) → (4×4) → 10。卷积层有2个形状为3×3、步长为2的内核。局部连接层的输入形状为3×3，步长为2。

遗产

LeNet的影响超出了其直接应用。它证明了反向传播在训练深度网络中的有效性，并引入了后来成为标准CNN的关键架构概念。LeNet在手写数字读取方面的成功激发了人们对神经网络的兴趣，并为后续机器学习和人工智能的发展奠定了基础。其原理反映在现代架构中，尽管它们已经显著演变。1994年为训练LeNet-4而开发的MNIST数据集仍然是该领域的标准基准。LeNet在ATM机中用于支票读取的实际部署展示了神经网络的现实可行性，为深度学习技术的更广泛采用做出了贡献。