Eine generative topografische Karte (GTM) ist ein nichtlineares Latent-Variable-Modell, das einen probabilistischen Rahmen für die Visualisierung hochdimensionaler Daten auf einer niedrigdimensionalen Mannigfaltigkeit bietet. Es wurde 1998 von Christopher Bishop, Markus Svensén und Christopher K. I. Williams als prinzipielle Alternative zu selbstorganisierenden Karten (SOMs) eingeführt und adressiert mehrere deren Einschränkungen, darunter das Fehlen einer probabilistischen Grundlage und das Fehlen einer klar definierten Zielfunktion.
Die GTM modelliert die Verteilung beobachteter Daten als eine Mischung von Gauß-Komponenten, die an Punkten auf einer niedrigdimensionalen Mannigfaltigkeit zentriert sind, welche in den Datenraum eingebettet ist. Die Mannigfaltigkeit wird durch eine glatte, nichtlineare Abbildung von einem latenten Raum (typischerweise einem zweidimensionalen Gitter) auf den Datenraum definiert, implementiert über ein Radialbasis-Funktions-Netzwerk (RBF). Diese Abbildung wird durch Maximieren der Likelihood der Daten unter dem Modell gelernt, typischerweise über den Erwartungs-Maximierungs-Algorithmus (EM).
Modellformulierung
Die GTM nimmt an, dass jeder beobachtete Datenpunkt $\mathbf{x}$ erzeugt wird, indem zuerst eine latente Variable $\mathbf{z}$ aus einem uniformen Gitter von Punkten im latenten Raum ausgewählt wird, dann wird $\mathbf{z}$ durch eine nichtlineare Funktion $\mathbf{y}(\mathbf{z}; \mathbf{W})$ (parametrisiert durch Gewichte $\mathbf{W}$) auf einen Punkt im Datenraum abgebildet, und schließlich wird Gaußsches Rauschen mit Varianz $\beta^{-1}$ hinzugefügt. Die Likelihood eines einzelnen Datenpunkts ist gegeben durch:
$$p(\mathbf{x}|\mathbf{W}, \beta) = \frac{1}{K} \sum_{k=1}^{K} \mathcal{N}(\mathbf{x} | \mathbf{y}(\mathbf{z}_k; \mathbf{W}), \beta^{-1} \mathbf{I})$$
wobei $K$ die Anzahl der latenten Gitterpunkte ist und $\mathbf{I}$ die Einheitsmatrix darstellt. Die Abbildung $\mathbf{y}(\mathbf{z}; \mathbf{W})$ ist eine Linearkombination von Basisfunktionen, typischerweise Gauß-Funktionen, mit Gewichten $\mathbf{W}$. Das Training beinhaltet die Maximierung der Log-Likelihood über den Datensatz mittels EM, wobei die Posterior-Verteilungen über latente Punkte (E-Schritt) abwechselnd berechnet und die Gewichte sowie die Rauschvarianz aktualisiert werden (M-Schritt).
Beziehung zu selbstorganisierenden Karten
Die GTM wurde als generatives Gegenstück zur selbstorganisierenden Karte (SOM) entwickelt, die von Teuvo Kohonen in den 1980er Jahren eingeführt wurde. Anders als SOMs, die einer heuristischen Aktualisierungsregel folgen und keine probabilistische Interpretation besitzen, bietet die GTM eine klar definierte Likelihood-Funktion, die prinzipiellen Modellvergleich, die Handhabung fehlender Daten und die Integration in breitere probabilistische Rahmenwerke ermöglicht. Zudem erzeugt die GTM eine glatte, kontinuierliche Abbildung vom latenten Raum auf den Datenraum, während SOMs eine diskrete, stückweise konstanten Abbildung liefern. Allerdings ist die GTM rechenintensiver, da sie das Evaluieren der Abbildung und der Gauß-Dichten für alle latenten Punkte während des Trainings erfordert.
Anwendungen
Die GTM wurde in verschiedenen Bereichen angewendet, darunter:
- Datenvisualisierung: Abbildung hochdimensionaler Daten (z. B. Genexpressionsprofile, Sensorwerte) auf einer zweidimensionalen Karte zur explorativen Analyse.
- Dichteschätzung: Modellierung der zugrunde liegenden Wahrscheinlichkeitsverteilung der Daten, die für die Erkennung von Anomalien oder generatives Sampling genutzt werden kann.
- Imputation fehlender Daten: Ausnutzung der latenten Variablenstruktur zur Inferenz fehlender Werte in teilweise beobachteten Daten.
- Zeitreihenanalyse: Erweiterung des modells, um temporale Abhängigkeiten zu erfassen, wie in der generativen topografischen Kartierung für Zeitreihen (GTM-TS).
Im Kontext der modernen maschinellen Lernens und generativen KI gilt die GTM als ratenschriftlichen Beispiel für ein generatives Modell, das früher als tiefgenerative Ansätze wie Variations-Autoencoder und generative gegenläufige Netze entstand. Seine probabilistische Formulierung steht im Einklang mit den Prinzipien von tiefem Lernen, die die latente Repräsentationen erlernen, auch wenn es in der Regel flache Architekturen verwendet.
Erweiterungen und Varianten
Mehrere Erweiterungen der GTM wurden vorgeschlagen, darunter:
- Hierarchische GTM: Ein mehrstufiges Modell, das Strukturen auf mehreren Skalen erfasst.
- Bayessche GTM: Einführung von Prioren über die Gewichte zur Regularisierung des Modells und zur Bereitstellung von Unsicherheitenschätzungen.
- Diskriminative GTM: Anpassung des Modells für Klassifikationsaufgaben, indem Klassifikations-Labels in das Trainingsziel aufgenommen werden.
- Inkrementelle GTM: Aktualisierung des Modells im Hinblick auf neue Daten, geeignet für Anwendungen mit Streaming.
Diese Varianten wurden in Forschungskontexten untersucht, oft von Gruppen an Institutionen wie Nokia Bell Labs und Xerox PARC, obwohl die Kern- GTM bleibt ein fundamentales Werkzeug im unüberwachten Lernen.
Einschränkungen und Vermächtnis
Die Hauptbeschränkungen der GTM umfassen den hohen Rechenaufwand, die Notwendigkeit, die Anzahl der latenten Punkte und Basisfunktionen zu wählen, sowie die Annahme von Gauß-Rauschen, die nicht für alle Datentypen zutreffen mag. Trotzdem beeinflusste sie spätere Arbeiten zur probabilistischen Dimensionsamodie-Repräsentation, einschließlich des für Gaussian-Prozess- Latent-Variable-Modell (GPLVM), das 2005 von Neil Lawrence eingeführt wurde. Die GTM wird auch in Lehrbüchern für Mustererkennung und neuralen Netzwerken zitiert, insbesondere von Christopher Bishop, der das Originalpapier mitverfasste.
In der breiteren Landschaft der künstlichen Intelligenz repräsentiert die GTM eine Brücke zwischen klassischen statistischen Modellierungen und modernen generativen Ansätzen. Obwohl sie in der Praxis weitgehend durch tiefgenerative Modelle überholt wurde, bleibt sie ein treffendes pädagogisches Beispiel und ein Vergleichsmaßstab für die Entwicklung neuer Latent-Variablen-Modelle. Ihr Schwerpunkt auf probabilistischer Interpretation und expliz iteriating latenter Struktur beeinflusst weiterhin Forschung in unüberwachtem Lernen und Representation-Lernen.
Siehe auch
- selbst-organisierende Karte
- latent variable model - Latent-Variable-Modell
- Gaussian-Prozess-Latent-Variable-Modell
- variationaler Autoencoder