LeNet-5は、AT&Tベル研究所の研究グループがヤン・ルカン（Yann LeCun）を中心に開発し、1998年に発表した畳み込みニューラルネットワークのアーキテクチャである。これはLeNetシリーズの中で最もよく知られたバージョンであり、手書きの数字や文字の小さなグレースケール画像を読み取るために設計された。LeNet-5は、初期の畳み込みニューラルネットワークの一つとして歴史的に重要であり、深層学習の発展への基礎的な貢献として、多くの現代的なアーキテクチャに影響を与えた。
畳み込みニューラルネットワークは、人工ニューロンがカバー範囲内の周囲の細胞の一部に応答できるフィードフォワードニューラルネットワークの一種であり、大規模な画像処理で優れた性能を発揮する。LeNet-5は、畳み込み層を用いて空間的特徴を抽出し、プーリング層でサブサンプリングを行い、全結合層で分類するという手法を体現している。1日に数百万枚の小切手を読み取るなどの実用的な応用での成功は、現実世界のタスクにおけるニューラルネットワークの実現可能性を示した。
開発の歴史
LeNetの起源は1988年に遡り、ヤン・ルカンがニュージャージー州ホルムデルにあるAT&Tベル研究所の適応システム研究部門（ローレンス・D・ジャッケルが率いていた）に加わったことに始まる。1988年11月下旬、ジョン・S・デンカーらは手書き郵便番号を認識するためのニューラルネットワーク設計を発表したが、その初期層は手動で調整されていた。1989年、ルカンとそのチームは初めてバックプロパゲーションアルゴリズムを実用的な応用に適用し、畳み込みニューラルネットワークとバックプロパゲーションを組み合わせて手書き数字を読み取った。後にLeNet-1と呼ばれるこのプロトタイプは、米国郵政公社の手書き郵便番号の識別に成功し、約9%の拒否率でわずか1%のエラー率を達成した。
その後4年間にわたり研究は継続され、1994年にはMNISTデータベースが開発された。LeNet-1はこの新しいデータセットには小さすぎたため、LeNet-4の作成が促された。1998年までに、ヤン・ルカン、レオン・ボトゥー、ヨシュア・ベンジオ、パトリック・ハフナーは、LeNet-5を記述した論文を発表し、手書き文字認識システムや1日に数百万枚の小切手を読み取るモデルなどの実用的な応用も示した。この研究はニューラルネットワーク研究への広範な関心を呼び起こし、現代のアーキテクチャは異なるものの、LeNetはその後の多くの設計の出発点となった。
アーキテクチャ
LeNet-5は、畳み込み層、プーリング層、全結合層など、現代の畳み込みニューラルネットワークに共通するいくつかのモチーフを取り入れている。各畳み込み層は、畳み込み、プーリング、非線形活性化関数（通常はtanh関数）の3つの部分で構成される。ネットワークは、受容野の概念を用いて畳み込みにより空間的特徴を抽出し、サブサンプリングには平均プーリングを採用している。最終層は分類のための全結合層であり、層間のスパース接続により計算複雑性を低減している。
1989年のルカンらの報告書では、Net-1からNet-5と名付けられたネットワークが紹介され、様々な改良を経て1998年のLeNet-5に至った。命名は一貫性がなく、LeNet-2やLeNet-3が何を指すかは不明である。LeNet-1、LeNet-4、LeNet-5は十分に文書化されているが、中間バージョンはそうではない。
初期プロトタイプ
1988年にルカングループが発表した最初のニューラルネットワークはハイブリッドアプローチであった。その最初の段階では、入力画像のスケーリング、傾き補正、骨格化が行われた。第2段階では、18個の手設計カーネルを持つ畳み込み層が使用され、第3段階は1つの隠れ層を持つ全結合ネットワークであった。データセットは実際の米国郵便から抽出された手書き数字画像で構成され、有名な1989年の報告書で使用されたのと同じデータセットであった。
Net-1からNet-5
1989年の報告書では、Net-1からNet-5が詳細に記述されており、すべて全結合の最終層を持つ。元の論文ではパディング戦略は説明されておらず、すべてのセルは畳み込み層の出力セルを含めて独立したバイアスを持つ。
- Net-1: 隠れ層なし、全結合、(16×16)から10出力へのマッピング。
- Net-2: 12個の隠れユニットを持つ1つの全結合隠れ層、(16×16)から12から10へのマッピング。
- Net-3: 2つの隠れ畳み込み層、(16×16)から(8×8)から(4×4)から10へのマッピング、3×3の入力形状とストライド2の局所結合層を使用。
- Net-4: 2つの隠れ層、最初は畳み込み層、2番目は局所結合層、(16×16)から(8×8×2)から(4×4)から10へのマッピング、畳み込み層は形状3×3、ストライド2の2つのカーネルを持つ。
- Net-5: 最終バージョンであるLeNet-5は、これらの概念をより深いアーキテクチャに洗練し、複数の畳み込み層とプーリング層を持ち、分類のための全結合層で頂点に達する。
影響と遺産
LeNet-5の設計原則、例えば畳み込み特徴抽出とサブサンプリングは、深層学習の基礎となった。これは、ニューラルネットワーク内の自由パラメータの数を最小化することで汎化を向上できることを実証し、後のアーキテクチャにとって重要な洞察となった。ATMでの手書き小切手の読み取りや郵便番号の認識におけるネットワークの成功は、学術研究と商業応用の両方に影響を与えた。現代のニューラルネットワークは大きく進化しているが、LeNet-5は歴史的なマイルストーンとして残り、現代の深層学習モデルの先駆者として、またニューラルネットワークアプローチの機械学習や人工知能における広範な採用の触媒としてしばしば引用される。