Kunihiko Fukushima ist ein japanischer Informatiker, dessen 1980 veröffentlichtes Neokognitron weithin als direkter konzeptioneller Vorfahre des modernen Convolutional Neural Network (CNN) gilt, der Architektur, die den meisten heutigen Computer-Vision-Systemen zugrunde liegt.
Das Neokognitron
Fukushima wurde 1936 geboren und verbrachte einen Großteil seiner Karriere in den Wissenschafts- und Technikforschungslaboren von NHK in Japan, bevor er spätere akademische Positionen, unter anderem an der Universität Osaka, übernahm. Aufbauend auf den neurophysiologischen Erkenntnissen von David Hubel und Torsten Wiesel über einfache und komplexe Zellen im visuellen Kortex von Katzen entwarf Fukushima ein mehrschichtiges neuronales Netz, bei dem abwechselnde Schichten von merkmalserkennenden „S-Zellen" und positionsunabhängigen „C-Zellen" es dem Netz ermöglichten, handgeschriebene Zeichen und einfache Formen unabhängig von kleinen Verschiebungen oder Verzerrungen im Eingabebild zu erkennen. Diese hierarchische Struktur, in der jede Schicht abstraktere Merkmale aus der darunterliegenden Schicht aufbaute und Pooling-Operationen ein gewisses Maß an Translationsinvarianz boten, nahm das Faltungs- und Pooling-Design vorweg, das später in CNNs verwendet wurde.
Das Neokognitron wurde mit einer unüberwachten, schichtweisen Lernregel trainiert und nicht mit End-to-End-Backpropagation, die für mehrschichtige Netze noch nicht populär war. Es ließ sich nicht so effizient trainieren oder so weit skalieren wie spätere Architekturen, aber seine strukturellen Ideen erwiesen sich als beständig.
Einfluss
Yann LeCun hat wiederholt das Neokognitron als direkten Einfluss auf LeNet und die breitere CNN-Familie, die er in den späten 1980er und 1990er Jahren bei Bell Labs entwickelte, gewürdigt, insbesondere die Idee lokaler rezeptiver Felder und Pooling. Diese Linie führt über die CNNs, die im AlexNet-Ergebnis von 2012 verwendet wurden, das den Mainstream-Umbruch hin zum Deep Learning auslöste, und setzt sich in den Architekturen fort, die heute in der modernen Computer-Vision und Teilen von Multimodal-KI-Systemen eingesetzt werden. Fukushima hat Anerkennung erhalten, darunter den IEEE Neural Networks Pioneer Award und den Bower Award and Prize for Achievement in Science 2021, und bleibt eines der klarsten Beispiele des Feldes dafür, wie biologisch inspirierte Informatik direkt eine dominante Ingenieursarchitektur geprägt hat, lange bevor die in der frühen Perzeptron-Forschung identifizierten Einschränkungen durch spätere gradientenbasierte Trainingsmethoden vollständig gelöst wurden. Anders als viele Forscher, die später auf seinen Ideen aufbauten, arbeitete Fukushima weitgehend in japanischen Industrie- und akademischen Laboren und nicht in den amerikanischen Universitäts- und Unternehmenslabornetzwerken, die die meisten späteren gefeierten Durchbrüche des Feldes hervorbrachten, eine Tatsache, die oft erwähnt wird, wenn seine im Vergleich dazu begrenzte öffentliche Anerkennung außerhalb von Fachkreisen diskutiert wird.