LeNet-5是一种卷积神经网络架构，由AT&T贝尔实验室的一个研究团队开发，该团队以Yann LeCun为核心，于1998年发表。它是LeNet系列中最著名的版本，专为读取手写数字和小型灰度图像而设计。LeNet-5在历史上具有重要意义，因为它是最早的卷积神经网络之一，对深度学习的发展做出了基础性贡献，并影响了众多现代架构。
卷积神经网络是一种前馈神经网络，其人工神经元能够对覆盖范围内周围细胞的部分区域做出响应，在大规模图像处理中表现优异。LeNet-5通过使用卷积层提取空间特征、池化层进行下采样以及全连接层进行分类，体现了这一特点。它在实际应用中的成功，例如每天读取数百万张支票，证明了神经网络在现实任务中的可行性。
发展历史
LeNet的起源可追溯至1988年，当时Yann LeCun加入了位于新泽西州霍姆德尔镇的AT&T贝尔实验室自适应系统研究部门，该部门由Lawrence D. Jackel领导。1988年11月下旬，John S. Denker及其同事发表了一种用于识别手写邮政编码的神经网络设计，但其早期层是手工调整的。1989年，LeCun及其团队首次将反向传播算法应用于实际场景，将卷积神经网络与反向传播相结合来读取手写数字。这个原型后来被称为LeNet-1，成功应用于识别美国邮政服务的手写邮政编码，错误率仅为1%，拒绝率约为9%。
在接下来的四年里，研究持续进行，并于1994年开发了MNIST数据库。LeNet-1对于这个新数据集来说规模过小，因此催生了LeNet-4的创建。到1998年，Yann LeCun、Leon Bottou、Yoshua Bengio和Patrick Haffner在一篇论文中描述了LeNet-5，该论文还展示了实际应用，包括识别手写字符的系统以及每天能读取数百万张支票的模型。这项工作引发了人们对神经网络研究的广泛兴趣，尽管现代架构有所不同，但LeNet成为许多后续设计的起点。
架构
LeNet-5融合了现代卷积神经网络中常见的几种设计元素，包括卷积层、池化层和全连接层。每个卷积层包含三个部分：卷积、池化和非线性激活函数，通常使用tanh函数。网络利用卷积提取空间特征，并采用感受野的概念，同时使用平均池化进行下采样。最后几层是全连接层，用于分类，层间的稀疏连接降低了计算复杂度。
LeCun等人1989年的报告介绍了标记为Net-1到Net-5的网络，经过各种改进后形成了1998年的LeNet-5。命名并不一致，且不清楚LeNet-2和LeNet-3可能指代什么。LeNet-1、LeNet-4和LeNet-5有详细记录，但中间版本并未明确。
早期原型
LeCun团队于1988年发表的第一种神经网络是一种混合方法。其第一阶段对输入图像进行缩放、去倾斜和骨架化处理。第二阶段使用一个包含18个手工设计核的卷积层，第三阶段是一个带有一个隐藏层的全连接网络。数据集由从实际美国邮件中提取的手写数字图像组成，与著名的1989年报告使用的数据集相同。
Net-1至Net-5
1989年的报告详细描述了Net-1到Net-5，所有这些网络都具有全连接的最后一层。原始论文未解释填充策略，且所有单元都有独立的偏置，包括卷积层的输出单元。
- Net-1：无隐藏层，全连接，将(16×16)映射到10个输出。
- Net-2：一个全连接隐藏层，包含12个隐藏单元，将(16×16)映射到12再到10。
- Net-3：两个隐藏卷积层，将(16×16)映射到(8×8)再到(4×4)再到10，使用局部连接层，输入形状为3×3，步长为2。
- Net-4：两个隐藏层，第一层为卷积层，第二层为局部连接层，将(16×16)映射到(8×8×2)再到(4×4)再到10，卷积层有2个形状为3×3、步长为2的核。
- Net-5：最终版本LeNet-5，将这些概念细化为一个更深的架构，包含多个卷积层和池化层，最终以全连接层进行分类。
影响与遗产
LeNet-5的设计原则，如卷积特征提取和下采样，成为深度学习的基础。它证明了最小化神经网络中自由参数的数量可以增强泛化能力，这是后来架构的一个关键见解。该网络在ATM机读取手写支票和邮政编码方面的成功，影响了学术研究和商业应用。尽管现代神经网络已显著发展，但LeNet-5仍是一个历史里程碑，常被视为当代Deep learning模型的先驱，并推动了Neural network方法在Machine learning和Artificial intelligence中的更广泛采用。