Das Neocognitron ist ein hierarchisches, mehrschichtiges künstliches neuronales Netz, das 1979 von Kunihiko Fukushima vorgeschlagen wurde. Es wurde für Mustererkennungsaufgaben wie die Erkennung japanischer handgeschriebener Zeichen entwickelt und gilt weithin als direkte Inspiration für Convolutional Neural Networks (CNNs). Das Modell basiert auf neurophysiologischen Erkenntnissen über den visuellen Kortex und führte Schlüsselkonzepte wie lokale Merkmalsextraktion und Toleranz gegenüber Positionsverschiebungen ein, die in der modernen Computer Vision weiterhin zentral sind.
Die Ursprünge des Neocognitrons gehen auf frühere Arbeiten von Fukushima zurück. 1969 veröffentlichte er eine ähnliche Architektur mit handentworfenen Kernen, die auf im Säugetiersehen beobachteten Faltungen basierten. Er verfeinerte diese 1975 zum Cognitron und 1979 zum Neocognitron, das alle Faltungskerne durch unüberwachtes Lernen erlernte, was er als „selbstorganisiert durch ‚Lernen ohne Lehrer'“ beschrieb. Diese Entwicklung markierte einen Wandel von manuell spezifizierten Merkmalen zu gelernten Repräsentationen.
Biologische Inspiration
Das Neocognitron wurde durch das Modell des visuellen Systems inspiriert, das David Hubel und Torsten Wiesel 1959 vorschlugen. Ihre Forschung am Striatum-Kortex der Katze identifizierte zwei Zelltypen: einfache Zellen, die auf orientierte Kanten und Balken reagieren, und komplexe Zellen, die auf ähnliche Merkmale, aber mit größerer räumlicher Invarianz reagieren. Sie schlugen auch ein kaskadierendes Modell dieser Zelltypen für die Mustererkennung vor. Das Neocognitron ist eine natürliche Erweiterung dieser Kaskadenidee und implementiert eine geschichtete Architektur, die die hierarchische Verarbeitung im visuellen Pfad nachahmt.
Architektur und Mechanismen
Das Neocognitron besteht aus mehreren Zellschichten, wobei die wichtigsten S-Zellen und C-Zellen sind. S-Zellen extrahieren lokale Merkmale wie Kanten oder Ecken aus ihren rezeptiven Feldern. C-Zellen tolerieren kleine Verformungen wie lokale Verschiebungen in den von S-Zellen erkannten Merkmalen. Während Signale durch das Netzwerk propagieren, werden lokale Merkmale schrittweise zu komplexeren und globaleren Repräsentationen integriert, was letztlich die Klassifikation in den höheren Schichten ermöglicht. Dieses Prinzip der lokalen Merkmalsintegration findet sich auch in anderen Modellen, einschließlich Convolutional Neural Networks, der SIFT-Methode und der HoG-Methode.
Ein bemerkenswertes Merkmal des Neocognitrons ist seine Fähigkeit, ohne Überwachung zu lernen. Die Faltungskerne werden durch einen kompetitiven Lernprozess selbstorganisiert, sodass das Netzwerk relevante Merkmale aus Eingabemustern ohne beschriftete Daten entdecken kann. Dies steht im Gegensatz zu späteren überwachten Trainingsmethoden, die in modernen CNNs verwendet werden.
Varianten und Erweiterungen
Es wurden verschiedene Arten von Neocognitrons entwickelt, um unterschiedliche Aufgaben zu bewältigen. Einige Varianten können mehrere Muster in derselben Eingabe erkennen, indem sie Rückwärtssignale verwenden, um selektive Aufmerksamkeit zu erreichen, sodass das Modell sich auf bestimmte Objekte oder Regionen konzentrieren kann. Andere Erweiterungen haben Verbesserungen bei Lernregeln, Skalierung und Rotationsinvarianz integriert, obwohl die Kernarchitektur hierarchisch und biologisch inspiriert bleibt.
Vermächtnis und Einfluss
Das Neocognitron gilt als grundlegendes Modell in künstlicher Intelligenz und maschinellem Lernen. Sein hierarchisches, faltungsbasiertes Design beeinflusste direkt die Entwicklung von CNNs, die zu einem Eckpfeiler der modernen Computer Vision und des Deep Learning wurden. Obwohl das Neocognitron selbst heute weniger häufig verwendet wird, sind seine Prinzipien - lokale rezeptive Felder, geteilte Gewichte und hierarchische Merkmalsextraktion - in praktisch allen zeitgenössischen Faltungsarchitekturen eingebettet. Das Modell trug auch zum breiteren Verständnis bei, wie biologisches Sehen computergestützte Modelle informieren kann.