Ein Multilayer-Perzeptron (MLP) ist eine Art von vorwärtsgerichteten neuronalen Netz, das aus vollständig verbundenen Neuronen besteht, die in Schichten organisiert sind, mit nichtlinearen Aktivierungsfunktionen. Im Gegensatz zu einschichtigen Perzeptronen, die nur linear separierbare Daten klassifizieren können, können MLPs Daten unterscheiden, die nicht linear separierbar sind, was sie zu einer grundlegenden Architektur im Deep Learning macht. Moderne MLPs werden mit Backpropagation trainiert und werden oft umgangssprachlich als "Vanilla"-neuronale Netze bezeichnet.
Das MLP entstand aus Bemühungen, die Grenzen des einschichtigen Perzeptrons zu überwinden, das eine Heaviside-Sprungfunktion als Aktivierung verwendete. Backpropagation erfordert jedoch kontinuierliche Aktivierungsfunktionen wie Sigmoid oder Rectified Linear Unit (ReLU). MLPs bilden die Grundlage des Deep Learning und sind in einer Vielzahl von Bereichen anwendbar, darunter Bilderkennung, Verarbeitung natürlicher Sprache und Zeitreihenprognose.
Historische Entwicklung
Das Konzept künstlicher Neuronen geht auf das Jahr 1943 zurück, als Warren McCulloch und Walter Pitts ein binäres Neuron als logisches Modell biologischer neuronaler Netze vorschlugen. 1958 führte Frank Rosenblatt das Modell des mehrschichtigen Perzeptrons ein, das eine Eingabeschicht, eine versteckte Schicht mit randomisierten Gewichten, die nicht lernten, und eine Ausgabeschicht mit lernbaren Verbindungen hatte. Rosenblatts Buch Principles of Neurodynamics von 1962 beschrieb Varianten mit bis zu zwei trainierbaren Schichten durch "Rückwärtspropagierung von Fehlern", aber dies war nicht der moderne Backpropagation-Algorithmus, und es gab damals keine allgemeine Methode zum Trainieren mehrerer Schichten.
1965 veröffentlichten Alexey Grigorevich Ivakhnenko und Valentin Lapa die Group Method of Data Handling, eine der ersten Deep-Learning-Methoden, die 1971 zum Trainieren eines achtschichtigen neuronalen Netzes verwendet wurde. 1967 berichtete Shun'ichi Amari über das erste mehrschichtige neuronale Netz, das mit stochastischem Gradientenabstieg trainiert wurde und in der Lage war, nicht linear separierbare Musterklassen zu klassifizieren; sein Student Saito führte Computerexperimente mit einem fünfschichtigen Feedforward-Netz mit zwei lernenden Schichten durch.
Backpropagation wurde in den frühen 1970er Jahren mehrfach unabhängig entwickelt. Die früheste veröffentlichte Instanz war die Masterarbeit von Seppo Linnainmaa im Jahr 1970. Paul Werbos entwickelte sie 1971 unabhängig, hatte jedoch bis 1982 Schwierigkeiten, sie zu veröffentlichen. 1986 popularisierten David E. Rumelhart und Kollegen die Backpropagation, was zu einer breiten Übernahme führte. Das Interesse an Backpropagation-Netzen erwachte 2003 aufgrund von Deep-Learning-Erfolgen bei der Sprachmodellierung durch Yoshua Bengio und Koautoren erneut.
Architektur und Aktivierungsfunktionen
Ein MLP besteht aus drei oder mehr Schichten: einer Eingabeschicht, einer Ausgabeschicht und einer oder mehreren versteckten Schichten. Jeder Knoten in einer Schicht verbindet sich mit einem bestimmten Gewicht mit jedem Knoten in der folgenden Schicht, was das Netz vollständig verbunden macht. Wenn alle Neuronen lineare Aktivierungsfunktionen verwenden würden, zeigt die lineare Algebra, dass jede Anzahl von Schichten auf ein zweischichtiges Eingabe-Ausgabe-Modell reduziert werden könnte. Daher verwenden MLPs nichtlineare Aktivierungsfunktionen, die entwickelt wurden, um die Feuerungsfrequenz biologischer Neuronen zu modellieren.
Historisch gesehen waren zwei häufige Aktivierungsfunktionen Sigmoide: der hyperbolische Tangens, der von -1 bis 1 reicht, und die logistische Funktion, die von 0 bis 1 reicht. In jüngerer Zeit ist die Rectified Linear Unit (ReLU) im Deep Learning vorherrschend geworden, da sie hilft, numerische Probleme im Zusammenhang mit Sigmoiden zu überwinden. Andere Alternativen umfassen Softplus und radiale Basisfunktionen, die in Netzen mit radialen Basisfunktionen verwendet werden.
Lernen durch Backpropagation
Das Lernen in einem MLP erfolgt durch Anpassen der Verbindungsgewichte nach der Verarbeitung jedes Datenpunkts, basierend auf dem Fehler zwischen der Ausgabe und dem erwarteten Ergebnis. Dies ist überwachtes Lernen, das durch Backpropagation durchgeführt wird, eine Verallgemeinerung des Least-Mean-Squares-Algorithmus, der in linearen Perzeptronen verwendet wird. Der Fehler für einen Ausgabeknoten j beim n-ten Trainingsbeispiel ist definiert als e_j(n) = d_j(n) - y_j(n), wobei d_j(n) das gewünschte Ziel und y_j(n) die tatsächliche Ausgabe ist. Der Algorithmus propagiert diesen Fehler rückwärts durch das Netz, um die Gewichte zu aktualisieren, typischerweise unter Verwendung von Optimierungsmethoden wie dem stochastischen Gradientenabstieg.
Moderne Varianten und Auswirkungen
Im Jahr 2021 entwarfen Forscher MLP-Mixer, eine einfache Architektur, die zwei tiefe MLPs mit Skip-Verbindungen und Schichtnormalisierungen kombiniert. Seine Realisierungen mit 19 bis 431 Millionen Parametern schnitten bei ImageNet und ähnlichen Bildklassifizierungsaufgaben vergleichbar mit Vision-Transformatoren ähnlicher Größe ab. Dies zeigte, dass MLPs im modernen Deep Learning wettbewerbsfähig bleiben, trotz des Aufstiegs von Transformer (architecture)-Modellen. MLPs sind auch integraler Bestandteil vieler Neural network-Systeme, einschließlich Komponenten von Large language model-Architekturen und Deep learning-Frameworks. Ihre Einfachheit und Effektivität machen sie zu einer Standard-Baseline in der Machine learning-Forschung und -Anwendung.
Einschränkungen und Erweiterungen
Obwohl MLPs leistungsfähig sind, haben sie Einschränkungen. Sie sind vollständig verbunden, was zu vielen Parametern und Rechenkosten für hochdimensionale Eingaben wie Bilder führt. Sie erfassen auch nicht inhärent räumliche oder sequenzielle Strukturen, was Architekturen wie Residual Network (ResNet) und Sequence-to-Sequence (Seq2Seq)-Modelle motivierte. Techniken wie Dropout, Batch Normalization und Layer Normalization werden oft angewendet, um die Trainingsstabilität und Generalisierung zu verbessern. Trotz dieser Herausforderungen bleiben MLPs ein grundlegender Baustein in der Artificial intelligence und beeinflussen weiterhin das Design komplexerer Architekturen.