ネオコグニトロンは、1979年に福島邦彦によって提案された階層的で多層の人工ニューラルネットワークである。これは、日本語の手書き文字認識などのパターン認識タスクのために設計され、畳み込みニューラルネットワーク（CNN）の直接的な着想源として広く認識されている。このモデルは、視覚野に関する神経生理学的知見に基づいており、局所特徴抽出や位置ずれへの耐性といった、現代のコンピュータビジョンにおいて中心的な役割を果たす概念を導入した。
ネオコグニトロンの起源は、福島による初期の研究に遡る。1969年、彼は哺乳類の視覚で観察される畳み込みに基づく手設計のカーネルを持つ類似のアーキテクチャを発表した。彼はこれを1975年にコグニトロンへと洗練させ、さらに1979年にネオコグニトロンへと発展させた。ネオコグニトロンでは、すべての畳み込みカーネルが教師なし学習を通じて学習され、彼はこれを「教師なし学習による自己組織化」と表現した。この進化は、手動で指定された特徴から学習された表現への移行を示すものであった。
生物学的着想
ネオコグニトロンは、1959年にデイビッド・ヒューベルとトーステン・ウィーゼルによって提案された視覚系のモデルに着想を得ている。彼らの猫の線条皮質に関する研究は、2種類の細胞を特定した。すなわち、方向性のあるエッジやバーに反応する単純細胞と、同様の特徴に反応するがより大きな空間的不変性を持つ複雑細胞である。彼らはまた、パターン認識のためのこれらの細胞タイプのカスケードモデルを提案した。ネオコグニトロンは、このカスケードの考え方の自然な拡張であり、視覚経路における階層的処理を模倣した層状アーキテクチャを実装している。
アーキテクチャとメカニズム
ネオコグニトロンは複数の細胞層で構成され、最も重要なものはS細胞とC細胞である。S細胞は、受容野からエッジやコーナーなどの局所特徴を抽出する。C細胞は、S細胞によって検出された特徴における局所的なずれなどの小さな変形を許容する。信号がネットワークを伝播するにつれて、局所特徴は徐々に複雑で全体的な表現へと統合され、最終的に高次層での分類を可能にする。この局所特徴統合の原理は、畳み込みニューラルネットワーク、SIFT法、HoG法などの他のモデルにも見られる。
ネオコグニトロンの顕著な特徴は、教師なしで学習できることである。畳み込みカーネルは競合学習プロセスを通じて自己組織化され、ラベル付きデータなしで入力パターンから関連する特徴を発見できる。これは、現代のCNNで使用される後の教師あり学習手法とは対照的である。
変種と拡張
さまざまなタスクに対処するために、多種多様なネオコグニトロンが開発されてきた。一部の変種は、後方信号を使用して選択的注意を達成し、モデルが特定の物体や領域に焦点を当てることを可能にすることで、同じ入力内の複数のパターンを検出できる。他の拡張には、学習則、スケーリング、回転不変性の改善が組み込まれているが、コアとなるアーキテクチャは階層的で生物学的に着想を得たままである。
遺産と影響
ネオコグニトロンは、人工知能と機械学習における基礎的なモデルと見なされている。その階層的で畳み込み的な設計は、現代のコンピュータビジョンと深層学習の基盤となったCNNの発展に直接影響を与えた。ネオコグニトロン自体は今日ではあまり使用されていないが、その原理、すなわち局所受容野、重み共有、階層的特徴抽出は、事実上すべての現代の畳み込みアーキテクチャに組み込まれている。このモデルはまた、生物学的視覚が計算モデルにどのように情報を与えることができるかについてのより広い理解にも貢献した。