ADALINE (Adaptive Linear Neuron, später Adaptive Linear Element) ist ein frühes einschichtiges künstliches neuronales Netz und der Name des physischen Geräts, das es implementierte. Es wurde 1960 von Professor Bernard Widrow und seinem Doktoranden Marcian Hoff an der Stanford University entwickelt. Es basiert auf dem Perzeptron und besteht aus Gewichten, einem Bias und einer Summationsfunktion. Die Gewichte und Biase wurden durch Rheostate (wie beim „knubbeligen ADALINE“) und später durch Memistoren implementiert. Es fand umfangreiche Anwendung in der adaptiven Signalverarbeitung, insbesondere bei der adaptiven Rauschfilterung.
Der Unterschied zwischen ADALINE und dem Standard-Perzeptron (nach Rosenblatt) liegt in der Art des Lernens. Die Gewichte der ADALINE-Einheiten werden angepasst, um ein Lehrersignal zu erreichen, bevor die Heaviside-Funktion angewendet wird, während die Gewichte des Standard-Perzeptrons angepasst werden, um die korrekte Ausgabe nach der Anwendung der Heaviside-Funktion zu erreichen. Ein mehrschichtiges Netzwerk aus ADALINE-Einheiten ist als MADALINE bekannt.
Architektur und Funktionsweise
ADALINE ist ein einschichtiges neuronales Netz mit mehreren Knoten, wobei jeder Knoten mehrere Eingaben akzeptiert und eine Ausgabe erzeugt. Gegeben den Eingabevektor x, den Gewichtsvektor w, die Anzahl der Eingaben N und einen Bias b, wird die Ausgabe o als gewichtete Summe berechnet: o = sum_{n=1}^{N} x_n w_n + b. Wenn wir weiterhin annehmen, dass x_0 = 1 und w_0 = b, dann reduziert sich die Ausgabe auf o = sum_{n=0}^{N} x_n w_n.
Die lineare Summationsfunktion des Netzwerks unterscheidet es von späteren Modellen, die nichtlineare Aktivierungsfunktionen innerhalb einzelner Einheiten einführten. Die physische Implementierung verwendete einstellbare Widerstände (Rheostate) für die Gewichte, was eine Echtzeitanpassung während des Trainings ermöglichte. Spätere Versionen verwendeten Memistoren, eine Art Widerstand mit Gedächtnis, die eine kompaktere und stabilere Gewichtsspeicherung ermöglichten.
Lernregel
Die von ADALINE verwendete Lernregel ist der LMS-Algorithmus („Least Mean Squares“), ein Spezialfall des Gradientenabstiegs. Gegeben eine Lernrate eta, die Modellausgabe o und das gewünschte Ziel y, ist das Quadrat des Fehlers definiert als E = (y - o)^2. Der LMS-Algorithmus aktualisiert die Gewichte wie folgt: w <- w + eta (y - o) x. Diese Aktualisierungsregel minimiert E, das Quadrat des Fehlers, und ist tatsächlich die stochastische Gradientenabstiegs-Aktualisierung für die lineare Regression.
Dieser Ansatz war eine bedeutende Abweichung von der Fehlerkorrekturregel des Perzeptrons, die die Gewichte basierend auf der binären Ausgabe nach der Schwellenwertbildung anpasste. Durch die Minimierung des kontinuierlichen Fehlers vor der Anwendung der Heaviside-Funktion konnte ADALINE eine glattere Konvergenz und eine bessere Leistung in verrauschten Umgebungen erzielen, was es besonders für adaptive Filteranwendungen geeignet machte.
MADALINE
MADALINE (Many ADALINE) ist eine dreischichtige (Eingabe, verborgen, Ausgabe), vollständig verbundene, vorwärtsgerichtete neuronale Netzwerkarchitektur zur Klassifikation, die ADALINE-Einheiten in ihren verborgenen und Ausgabeschichten verwendet. Ihre Aktivierungsfunktion ist die Signumfunktion. Das dreischichtige Netzwerk verwendet Memistoren. Da die Signumfunktion nicht differenzierbar ist, kann Backpropagation nicht zum Trainieren von MADALINE-Netzwerken verwendet werden. Daher wurden drei verschiedene Trainingsalgorithmen vorgeschlagen, die als Regel I, Regel II und Regel III bezeichnet werden.
Trotz vieler Versuche gelang es Forschern nie, mehr als eine einzelne Gewichtsschicht in einem MADALINE-Modell zu trainieren. Dies blieb so, bis Widrow den Backpropagation-Algorithmus auf einer Konferenz 1985 in Snowbird, Utah, sah.
MADALINE-Regel 1 (MRI), die auf 1962 zurückgeht, besteht aus zwei Schichten: Die erste besteht aus ADALINE-Einheiten; die zweite Schicht hat zwei Einheiten. Eine ist eine Mehrheitsentscheidungs-Einheit, die alle Ausgaben aufnimmt und +1 ausgibt, wenn es mehr positive als negative gibt, und umgekehrt. Eine andere ist ein „Job-Zuweiser“: Wenn die gewünschte Ausgabe von der Mehrheitsentscheidungs-Ausgabe abweicht, berechnet er die minimale Anzahl von ADALINE-Einheiten, die ihre Ausgaben ändern müssen, wählt diejenigen aus, die am nächsten daran sind, negativ zu sein, und aktualisiert ihre Gewichte gemäß der ADALINE-Lernregel. Dies wurde als eine Form des „Prinzips der minimalen Störung“ angesehen.
Die größte gebaute MADALINE-Maschine hatte 1000 Gewichte, die jeweils durch einen Memistor implementiert waren. Sie wurde 1963 gebaut und verwendete MRI zum Lernen. Einige MADALINE-Maschinen wurden demonstriert, um Aufgaben wie das Balancieren eines invertierten Pendels, Wettervorhersage und Spracherkennung auszuführen.
MADALINE-Regel 2 (MRII), die 1988 beschrieben wurde, verbesserte Regel I. Der Trainingsalgorithmus von Regel II basiert auf einem Prinzip namens „minimale Störung“. Er läuft über Trainingsbeispiele, und für jedes Beispiel findet er die Einheit in der verborgenen Schicht mit dem geringsten Vertrauen in ihre Vorhersage, dreht vorläufig das Vorzeichen der Einheit um, akzeptiert oder lehnt die Änderung basierend darauf ab, ob der Fehler des Netzwerks reduziert wird, und stoppt, wenn der Fehler null ist. Zusätzlich, wenn das Umdrehen der Vorzeichen einzelner Einheiten den Fehler für ein bestimmtes Beispiel nicht auf null bringt, beginnt der Trainingsalgorithmus, die Vorzeichen von Paaren von Einheiten umzudrehen, dann von Tripeln von Einheiten usw.
MADALINE-Regel 3 wurde auf ein modifiziertes Netzwerk mit Sigmoid-Aktivierungen anstelle der Signumfunktion angewendet; es wurde später festgestellt, dass sie äquivalent zu Backpropagation ist.
Vermächtnis und Einfluss
ADALINE und sein Nachfolger MADALINE waren grundlegend für die Entwicklung von neuronalen Netzen und maschinellem Lernen. Der von Widrow eingeführte LMS-Algorithmus wurde zu einem Eckpfeiler der adaptiven Signalverarbeitung und beeinflusste spätere Entwicklungen im Deep Learning. Das Konzept der Minimierung des kontinuierlichen Fehlers vor der Schwellenwertbildung nahm moderne Ansätze zum Training neuronaler Netze mit differenzierbaren Verlustfunktionen vorweg.
Obwohl ADALINE selbst auf lineare Probleme beschränkt war, wurden seine Prinzipien der Gewichtsanpassung und Fehlerminimierung in komplexere Architekturen übernommen. Die Arbeit am Stanford AI Lab in den 1960er Jahren half, das Feld der künstlichen neuronalen Netze zu etablieren, neben Beiträgen von Xerox PARC und anderen Forschungseinrichtungen. Das Prinzip der minimalen Störung tauchte später in verschiedenen Formen in Online-Lernalgorithmen wieder auf.
Die physische Implementierung von ADALINE mit Rheostaten und Memistoren demonstrierte auch die Machbarkeit von Analogrechnern für neuronale Netze, ein Konzept, das in moderner neuromorpher Hardware erneutes Interesse gefunden hat. Widrows Beiträge werden als wegweisend in der Geschichte der künstlichen Intelligenz anerkannt, die frühe Perzeptron-Forschung und spätere Transformer-basierte Modelle überbrücken.