Eine selbstorganisierende Karte (SOM), auch bekannt als selbstorganisierende Merkmalskarte (SOFM) oder Kohonen-Karte, ist eine unüberwachte Technik des maschinellen Lernens, die verwendet wird, um eine niedrigdimensionale (typischerweise zweidimensionale) Darstellung eines höherdimensionalen Datensatzes zu erzeugen, während die topologische Struktur der Daten erhalten bleibt. Beispielsweise kann ein Datensatz mit p Variablen, die in n Beobachtungen gemessen werden, als Cluster von Beobachtungen mit ähnlichen Werten dargestellt werden, die dann als zweidimensionale Karte visualisiert werden, auf der nahe beieinanderliegende Cluster ähnlichere Werte aufweisen als weiter entfernte. Dies erleichtert die Visualisierung und Analyse hochdimensionaler Daten.
Die SOM ist eine Art künstliches neuronales Netz, wird jedoch durch kompetitives Lernen trainiert und nicht durch fehlerkorrigierendes Lernen wie Backpropagation mit Gradientenabstieg. Sie wurde in den 1980er Jahren vom finnischen Professor Teuvo Kohonen eingeführt und basiert auf biologischen Modellen neuronaler Systeme aus den 1970er Jahren sowie auf Morphogenesemodellen, die bis auf Alan Turing in den 1950er Jahren zurückgehen. SOMs erzeugen interne Repräsentationen, die an den kortikalen Homunkulus erinnern, eine verzerrte neurologische Karte des menschlichen Körpers, die auf Gehirnregionen basiert, die der sensorischen Verarbeitung gewidmet sind.
Training und Zuordnung
SOMs arbeiten in zwei Modi: Training und Zuordnung. Beim Training wird ein Eingabedatensatz (der Eingaberaum) verwendet, um eine niedrigdimensionale Darstellung (den Kartenraum) zu erzeugen. Die Zuordnung klassifiziert anschließend zusätzliche Eingabedaten mithilfe der erzeugten Karte. Das Ziel des Trainings besteht darin, einen Eingaberaum mit p Dimensionen als einen Kartenraum mit n Dimensionen darzustellen, wobei p > n. Der Kartenraum besteht aus Knoten oder Neuronen, die in einem hexagonalen oder rechteckigen Gitter angeordnet sind, typischerweise zweidimensional. Die Anzahl und Anordnung der Knoten wird im Voraus basierend auf den Analysezielen festgelegt.
Jeder Knoten ist mit einem Gewichtsvektor verbunden, der seine Position im Eingaberaum darstellt. Während die Knoten im Kartenraum fest bleiben, bewegt das Training die Gewichtsvektoren in Richtung der Eingabedaten, indem eine Distanzmetrik wie die euklidische Distanz reduziert wird, ohne die vom Kartenraum induzierte Topologie zu beeinträchtigen. Nach dem Training klassifiziert die Karte zusätzliche Beobachtungen, indem sie den Knoten mit dem Gewichtsvektor findet, der dem Eingabevektor am nächsten liegt.
Lernalgorithmus
Das Lernziel besteht darin, verschiedene Teile des Netzwerks dazu zu bringen, ähnlich auf bestimmte Eingabemuster zu reagieren, was teilweise dadurch motiviert ist, wie sensorische Informationen in getrennten Teilen der Großhirnrinde verarbeitet werden. Die Neuronengewichte werden entweder auf kleine Zufallswerte initialisiert oder gleichmäßig aus dem Unterraum abgetastet, der von den beiden größten Hauptkomponenten-Eigenvektoren aufgespannt wird. Die letztere Alternative beschleunigt das Lernen, da die anfänglichen Gewichte bereits die endgültigen SOM-Gewichte annähern.
Dem Netzwerk werden viele Beispielvektoren zugeführt, die erwartete Eingaben darstellen, üblicherweise mehrmals als Iterationen verabreicht. Das Training verwendet kompetitives Lernen: Wenn ein Trainingsbeispiel zugeführt wird, wird seine euklidische Distanz zu allen Gewichtsvektoren berechnet, und das Neuron mit dem ähnlichsten Gewichtsvektor ist die beste Übereinstimmungseinheit (BMU). Die BMU und nahegelegene Neuronen im SOM-Gitter passen ihre Gewichte in Richtung des Eingabevektors an, wobei die Größe der Änderung mit der Zeit und der Gitterdistanz zur BMU abnimmt.
Die Aktualisierungsformel für ein Neuron v mit Gewichtsvektor Wv(s) lautet Wv(s+1) = Wv(s) + θ(u,v,s) · α(s) · (D(t) - Wv(s)), wobei s der Schrittindex ist, t ein Index in die Trainingsstichprobe, u der BMU-Index für den Eingabevektor D(t), α(s) ein monoton abnehmender Lernkoeffizient und θ(u,v,s) die Nachbarschaftsfunktion ist, die die Distanz zwischen den Neuronen u und v bei Schritt s angibt. Die Trainingsstichprobe kann systematisch durchsucht, zufällig über Bootstrap-Stichproben gezogen oder mit anderen Methoden wie Jackknifing behandelt werden.
Die Nachbarschaftsfunktion hängt von der Gitterdistanz zwischen der BMU und dem Neuron v ab. In ihrer einfachsten Form ist sie 1 für Neuronen, die nahe genug an der BMU liegen, und 0 für andere, aber Gauß- und Mexican-Hat-Funktionen sind üblich. Die Nachbarschaft schrumpft mit der Zeit: Breite Nachbarschaften ermöglichen globale Selbstorganisation, während schmale es den Gewichten erlauben, zu lokalen Schätzungen zu konvergieren. Der Lernkoeffizient und die Nachbarschaftsfunktion nehmen stetig oder in schrittweiser Weise alle T Schritte ab.
Anwendungen und Bedeutung
SOMs werden zur Visualisierung, Clusterung und Dimensionsreduktion in Bereichen wie Datenanalyse, Mustererkennung und Bioinformatik eingesetzt. Sie zeichnen sich durch die Erhaltung topologischer Beziehungen aus, was sie für explorative Datenanalysen nützlich macht, bei denen das Verständnis der Struktur entscheidend ist. Im Gegensatz zu überwachten Methoden benötigen SOMs keine beschrifteten Daten, was sie in unüberwachten Lern-Szenarien wertvoll macht.
SOMs wurden in verschiedenen Bereichen angewendet, von Spracherkennung und Bildanalyse bis hin zu Finanzdatenanalyse und medizinischer Diagnostik. Ihre Fähigkeit, intuitive Karten komplexer Daten zu erstellen, hat sie zu einem festen Bestandteil von Datenvisualisierungswerkzeugen gemacht. Die Technik bleibt in der modernen KI-Forschung relevant und wird oft als Basislinie zum Vergleich komplexerer Architekturen wie Deep-Learning-Modelle verwendet.
Beziehung zu anderen neuronalen Netzen
SOMs unterscheiden sich grundlegend von Feedforward-Netzen, die mit Backpropagation trainiert werden, wie Transformatoren, die in großen Sprachmodellen verwendet werden. Während SOMs kompetitives Lernen verwenden und Topologie bewahren, basieren Transformatoren auf Fehlerkorrektur und Aufmerksamkeitsmechanismen. SOMs unterscheiden sich auch von Residualnetzen und U-Nets, die überwacht sind und gradientenbasierte Optimierung verwenden. SOMs teilen jedoch das Paradigma neuronaler Netze der verteilten Verarbeitung und adaptiven Gewichte und können in größere Systeme zur Vorverarbeitung oder Merkmalsextraktion integriert werden.
Einschränkungen und Erweiterungen
SOMs haben Einschränkungen, einschließlich Empfindlichkeit gegenüber Initialisierung und Parameterwahl, und sie skalieren möglicherweise nicht gut auf extrem hochdimensionale Daten. Varianten wie wachsende SOMs und hierarchische SOMs beheben einige Probleme, indem sie die Kartengröße dynamisch anpassen. Trotz dieser Herausforderungen bleiben SOMs ein grundlegendes Werkzeug im unüberwachten Lernen, wobei laufende Forschung ihre Verwendung in hybriden Modellen mit modernen Techniken untersucht.