Das Perzeptron ist ein Algorithmus für das überwachte Lernen von binären Klassifikatoren, der 1958 von Frank Rosenblatt eingeführt wurde. Es handelt sich um eine Art linearer Klassifikator, der Vorhersagen auf der Grundlage einer linearen Prädiktorfunktion trifft, die eine Reihe von Gewichten mit einem Merkmalsvektor kombiniert. Das Perzeptron wurde das erste neuronale Netzwerkmodell, das breite Aufmerksamkeit erlangte, und legte den Grundstein für modernes maschinelles Lernen und tiefes Lernen, trotz seiner frühen Einschränkungen.
Ursprünge und frühe Entwicklung
Das Konzept des künstlichen Neurons geht auf das Jahr 1943 zurück, als Warren McCulloch und Walter Pitts "A Logical Calculus of the Ideas Immanent in Nervous Activity" veröffentlichten. 1957 simulierte Frank Rosenblatt, der am Cornell Aeronautical Laboratory arbeitete, das Perzeptron auf einem IBM 704. Er war mehr an Hardware-Implementierungen interessiert und sicherte sich Mittel von der Information Systems Branch des United States Office of Naval Research und dem Rome Air Development Center, um einen maßgeschneiderten Analogcomputer zu bauen, den Mark I Perceptron. Rosenblatt beschrieb das Perzeptron in einem Artikel von 1958 und organisierte es in drei Arten von Einheiten: sensorische (S), Assoziations- (A) und Antwort-Einheiten (R). Er präsentierte seine Arbeit auf dem ersten internationalen Symposium über KI, "Mechanisation of Thought Processes", im November 1958.
Mark I Perceptron Maschine
Der Mark I Perceptron wurde zwischen Juni und Dezember 1959 gebaut und am 23. Juni 1960 öffentlich vorgeführt. Er hatte drei Schichten: ein Array von 400 Fotozellen, die in einem 20x20-Raster angeordnet waren (S-Einheiten), eine versteckte Schicht von 512 Assoziationseinheiten (A-Einheiten) und eine Ausgabeschicht von acht Antworteinheiten (R-Einheiten). Rosenblatt nannte dies das Alpha-Perzeptron. Die S-Einheiten waren über eine Stecktafel zufällig mit den A-Einheiten verbunden, um eine absichtliche Verzerrung zu vermeiden, was Rosenblatts Überzeugung widerspiegelte, dass die Netzhaut zufällig mit dem visuellen Kortex verbunden ist. Die A-zu-R-Verbindungen hatten einstellbare Gewichte, die in Potentiometern kodiert waren und während des Lernens durch Elektromotoren aktualisiert wurden. Die Maschine befindet sich heute im Smithsonian National Museum of American History.
In einer Pressekonferenz von 1958, die von der US-Marine organisiert wurde, machte Rosenblatt kühne Behauptungen, was dazu führte, dass The New York Times das Perzeptron als "den Embryo eines elektronischen Computers [beschrieb], von dem die Marine erwartet, dass er gehen, sprechen, sehen, schreiben, sich reproduzieren und sich seiner Existenz bewusst sein kann". Dies verursachte Kontroversen in der aufkeimenden KI-Gemeinschaft. Von 1960 bis 1964 untersuchte die Photo Division der CIA den Mark I zur Erkennung militärisch interessanter Silhouettenziele in Luftbildern.
Prinzipien der Neurodynamik (1962)
Rosenblatt beschrieb seine Experimente mit Perzeptron-Varianten in seinem Buch "Principles of Neurodynamics" von 1962, das auf einem Bericht von 1961 basierte. Zu den Varianten gehörten Kreuzkopplung (Verbindungen innerhalb derselben Schicht), Rückkopplung (Verbindungen von späteren zu früheren Schichten), vierschichtige Perzeptronen mit einstellbaren Gewichten in den letzten beiden Schichten, zeitverzögerte Einheiten für sequenzielle Daten und Audioanalyse. Die Maschine wurde 1967 im Rahmen einer Regierungsübertragung an das Smithsonian verschifft.
Einschränkungen und die Kritik von 1969
Einschichtige Perzeptronen können nur linear trennbare Muster lernen. Für eine Klassifizierungsaufgabe mit einer Schritt-Aktivierungsfunktion erzeugt ein einzelner Knoten eine einzelne Trennlinie; mehr Knoten erzeugen mehr Linien, können sie aber nicht zu komplexen Klassifikationen kombinieren. Eine zweite Schicht von Perzeptronen oder linearen Knoten kann viele nicht trennbare Probleme lösen. 1969 zeigten Marvin Minsky und Seymour Papert in ihrem Buch "Perceptrons", dass einschichtige Perzeptronen eine XOR-Funktion nicht lernen konnten, ein Ergebnis, das oft falsch interpretiert wurde als Beweis dafür, dass neuronale Netzwerke grundlegend eingeschränkt seien. Dies trug zu einer Stagnation in der Forschung zu neuronalen Netzwerken über viele Jahre bei, bis die Erkenntnis reifte, dass mehrschichtige Perzeptronen (mit zwei oder mehr Schichten) eine größere Verarbeitungsleistung boten.
Vermächtnis und Einfluss
Die Einführung des Perzeptrons markierte einen entscheidenden Moment in der Geschichte der künstlichen Intelligenz und etablierte das neuronale Netzwerk-Paradigma. Trotz seiner frühen Rückschläge bilden die Prinzipien des Perzeptrons die Grundlage moderner Deep-Learning-Architekturen, einschließlich Transformer-Modellen, die in großen Sprachmodellen verwendet werden. Rosenblatts Arbeit beeinflusste spätere Entwicklungen an Institutionen wie MIT CSAIL und Stanford AI Lab, und ihr Vermächtnis besteht in der zeitgenössischen KI-Forschung und ihren Anwendungen fort.