Ein radial-basisfunktions-Netzwerk (RBF-Netzwerk) ist ein künstliches neuronales Netzwerk, das radiale Basisfunktionen als Aktivierungsfunktionen verwendet. Die Ausgabe des Netzwerks ist eine lineare Kombination radialer Basisfunktionen der Eingaben und der Neuronparameter. RBF-Netzwerke haben viele Anwendungen, darunter Funktionsapproximation, Zeitreihenvorhersage, Klassifikation und Systemsteuerung. Sie wurden erstmals in einem Artikel von Broomhead und Lowe aus dem Jahr 1988 formuliert, beide Forscher an der Royal Signals and Radar Establishment.
RBF-Netzwerke sind eine Art von neuralem Netzwerk, die sich von häufigeren Feedforward-Netzwerken in ihrer verborgenen Schichtstruktur und ihrem Trainingsansatz unterscheiden. Sie sind eng mit maschinellem Lernen-Methoden wie Kernel-Regression und Gaußprozessmodellen verwandt und wurden in Bereichen von künstlicher Intelligenz bis zur Regelungstechnik angewendet.
Netzwerkarchitektur
RBF-Netzwerke haben typischerweise drei Schichten: eine Eingabeschicht, eine verborgene Schicht mit einer nichtlinearen radialen Basisfunktionsaktivierung und eine lineare Ausgabeschicht. Die Eingabe ist ein Vektor reeller Zahlen, und die Ausgabe ist eine skalare Funktion dieser Eingabe. Die Ausgabe wird als gewichtete Summe radialer Basisfunktionen berechnet, die jeweils an einem bestimmten Punkt im Eingaberaum zentriert sind.
Jedes verborgene Neuron hat einen Zentrumsvektor und einen Breitenparameter. Die Aktivierung eines Neurons hängt nur von der Distanz zwischen der Eingabe und seinem Zentrum ab, was die Funktion radialsymmetrisch macht. Die euklidische Distanz wird üblicherweise verwendet, obwohl die Mahalanobis-Distanz für die Mustererkennung besser abschneiden kann. Die häufigste radiale Basisfunktion ist die Gauß-Funktion, die glatt auf Null abfällt, wenn die Distanz vom Zentrum zunimmt. Diese Lokalität bedeutet, dass die Änderung der Parameter eines Neurons wenig Einfluss auf Eingaben hat, die weit von seinem Zentrum entfernt sind.
Unter milden Bedingungen an die Aktivierungsfunktion sind RBF-Netzwerke universelle Approximatoren auf kompakten Teilmengen des Eingaberaums. Mit genügend verborgenen Neuronen können sie jede stetige Funktion auf einer abgeschlossenen und beschränkten Menge mit beliebiger Genauigkeit approximieren.
Die Netzwerkparameter (Gewichte, Zentren und Breiten) werden bestimmt, um die Anpassung zwischen der Netzwerkausgabe und den Trainingsdaten zu optimieren.
Normalisierung
RBF-Netzwerke können normalisiert werden, in diesem Fall ist die Ausgabe ein gewichteter Durchschnitt der Neuronausgaben anstelle einer einfachen Summe. Diese normalisierte Architektur stellt sicher, dass die Ausgabe innerhalb eines begrenzten Bereichs liegt und kann die numerische Stabilität verbessern. Die Normalisierung ist besonders nützlich, wenn das Netzwerk für Wahrscheinlichkeitsschätzung verwendet wird oder wenn sich die Eingabeverteilung ändert.
Trainingsmethoden
Das Training eines RBF-Netzwerks umfasst typischerweise zwei Phasen. Zuerst werden die Zentren und Breiten der verborgenen Neuronen ausgewählt, oft unter Verwendung unüberwachter Methoden wie k-Means-Clustering oder Zufallsstichproben aus den Trainingsdaten. Zweitens werden die Ausgabegewichte gelernt, normalerweise durch Lösen eines linearen Problems der kleinsten Quadrate, was schnell ist und eine eindeutige Lösung hat.
Dieser zweistufige Ansatz steht im Gegensatz zum gradientenbasierten Training in tiefem Lernen-Netzwerken, bei dem alle Parameter gleichzeitig angepasst werden. RBF-Netzwerke können auch mit Gradientenabstieg trainiert werden, aber die lineare Ausgabeschicht macht die Gewichtsschätzung besonders effizient.
Anwendungen
RBF-Netzwerke werden in einer Vielzahl von Aufgaben verwendet. Bei der Funktionsapproximation können sie komplexe nichtlineare Beziehungen modellieren. Bei der Zeitreihenvorhersage wurden sie auf Finanz- und meteorologische Daten angewendet. Bei der Klassifikation dienen sie als eine Art von maschinellem Lernen-Klassifikator, insbesondere bei Mustererkennungsproblemen. Sie werden auch in der Systemsteuerung verwendet, wo ihr schnelles Training und ihre glatten Ausgaben vorteilhaft sind.
Im Vergleich zu tiefem Lernen-Modellen sind RBF-Netzwerke oft einfacher und benötigen weniger Daten, aber sie können mit hochdimensionalen Eingaben aufgrund des Fluchs der Dimensionalität kämpfen. Sie wurden in Bereichen wie Amazon Web Services für bestimmte Vorhersageaufgaben verwendet, obwohl groß angelegte moderne Anwendungen oft tiefere Architekturen bevorzugen.
Einschränkungen und Erweiterungen
Eine Einschränkung von RBF-Netzwerken ist, dass die Anzahl der verborgenen Neuronen exponentiell mit der Eingabedimension wachsen kann, was sie für sehr hochdimensionale Probleme unpraktisch macht. Erweiterungen umfassen adaptive Auswahl von Zentren, Verwendung verschiedener Basisfunktionen und hybride Ansätze, die RBF-Schichten mit anderen Netzwerktypen kombinieren.
Trotz des Aufstiegs von Transformer-basierten Modellen in generativer KI bleiben RBF-Netzwerke ein grundlegendes Werkzeug im neuronalen Netzwerk-Werkzeugkasten, geschätzt für ihre theoretische Klarheit und einfache Trainierbarkeit.