Im maschinellen Lernen ist die Kernel-Einbettung von Verteilungen (auch Kernel-Mittelwert oder Mean Map genannt) eine Klasse nichtparametrischer Methoden, die eine Wahrscheinlichkeitsverteilung als ein Element eines reproduzierenden Kernel-Hilbert-Raums (RKHS) darstellt. Dieser Ansatz verallgemeinert die Merkmalsabbildung, die in klassischen Kernel-Methoden verwendet wird: Anstatt einzelne Datenpunkte abzubilden, werden ganze Verteilungen in einen unendlichdimensionalen Merkmalsraum abgebildet. Die Einbettung kann alle statistischen Merkmale beliebiger Verteilungen bewahren und ermöglicht es Praktikern, Verteilungen mithilfe von Hilbert-Raum-Operationen wie inneren Produkten, Abständen, Projektionen, linearen Transformationen und Spektralanalysen zu vergleichen und zu manipulieren.
Das Framework ist äußerst allgemein und gilt für Verteilungen über beliebige Räume, für die eine sinnvolle Kernelfunktion definiert werden kann. Kernel wurden für Vektoren im euklidischen Raum, diskrete Kategorien, Zeichenketten, Graphen, Bilder, Zeitreihen, Mannigfaltigkeiten, dynamische Systeme und andere strukturierte Objekte vorgeschlagen. Die theoretischen Grundlagen wurden hauptsächlich von Alex Smola, Le Song, Arthur Gretton und Bernhard Schölkopf entwickelt. Dieser Ansatz bietet eine prinzipielle Alternative zu informationstheoretischen Methoden, die oft Dichteschätzung oder parametrische Annahmen erfordern, die in hochdimensionalen Umgebungen unpraktikabel sind.
Motivation und Vorteile
Traditionelle Methoden zur Analyse von Verteilungen stützen sich oft auf informationstheoretische Größen wie Entropie, gegenseitige Information oder Kullback-Leibler-Divergenz. Die Schätzung dieser Größen erfordert typischerweise Dichteschätzung oder ausgefeilte Raumpartitionierungs- und Bias-Korrekturstrategien, die in hohen Dimensionen versagen. Parametrische Modelle wie Gaußsche Mischmodelle erlegen Annahmen auf, die möglicherweise unbegründet sind, während nichtparametrische Methoden wie Kernel-Dichteschätzung oder Darstellungen durch charakteristische Funktionen ebenfalls mit hochdimensionalen Daten zu kämpfen haben.
Kernel-Einbettungen umgehen diese Probleme. Sie ermöglichen die Modellierung von Daten ohne restriktive Annahmen über die Form von Verteilungen oder Beziehungen zwischen Variablen. Keine Zwischenschätzung der Dichte ist erforderlich. Praktiker können festlegen, welche Eigenschaften einer Verteilung am relevantesten sind, indem sie einen geeigneten Kernel wählen und Vorwissen einbeziehen. Wenn ein charakteristischer Kernel verwendet wird, bewahrt die Einbettung alle Informationen über die Verteilung eindeutig, und Berechnungen im potenziell unendlichdimensionalen RKHS reduzieren sich auf einfache Gram-Matrix-Operationen. Darüber hinaus konvergiert der empirische Kernel-Mittelwert, der aus Stichproben geschätzt wird, mit Raten, die unabhängig von der Dimensionalität der Daten sind, zur wahren Einbettung. Lernalgorithmen, die auf diesem Framework basieren, zeigen gute Generalisierung und endliche Stichprobenkonvergenz und sind oft einfacher und effektiver als informationstheoretische Methoden.
Definitionen
Sei \(X\) eine Zufallsvariable mit Definitionsbereich \(\Omega\) und Verteilung \(P\). Gegeben einen symmetrischen, positiv definiten Kernel \(k: \Omega \times \Omega \to \mathbb{R}\), garantiert der Satz von Moore-Aronszajn die Existenz eines eindeutigen RKHS \(\mathcal{H}\) auf \(\Omega\), eines Hilbert-Raums von Funktionen \(f: \Omega \to \mathbb{R}\) mit innerem Produkt \(\langle \cdot, \cdot \rangle_{\mathcal{H}}\) und Norm \(\|\cdot\|_{\mathcal{H}}\), für den \(k\) ein reproduzierender Kernel ist. Dies bedeutet, dass für jedes \(x \in \Omega\) die Funktion \(k(x, \cdot)\) die reproduzierende Eigenschaft erfüllt: \(\langle f, k(x, \cdot) \rangle_{\mathcal{H}} = f(x)\) für alle \(f \in \mathcal{H}\).
Die Abbildung \(x \mapsto k(x, \cdot)\) kann als implizite Merkmalsabbildung \(\varphi: \Omega \to \mathcal{H}\) betrachtet werden, sodass \(k(x, x') = \langle \varphi(x), \varphi(x') \rangle_{\mathcal{H}}\). Die Kernel-Einbettung der Verteilung \(P\) ist dann definiert als der Erwartungswert \(\mu_P := \mathbb{E}_{X \sim P}[\varphi(X)]\), der ein Element des RKHS ist. In der Praxis, gegeben Stichproben \(x_1, \dots, x_n\) aus \(P\), ist die empirische Einbettung der Durchschnitt \(\hat{\mu}_P = \frac{1}{n} \sum_{i=1}^n \varphi(x_i)\).
Schlüsseleigenschaften und Operationen
Die Einbettung ermöglicht verschiedene Operationen auf Verteilungen. Das innere Produkt zwischen zwei Einbettungen, \(\langle \mu_P, \mu_Q \rangle_{\mathcal{H}}\), kann als Erwartungswert von Kernel-Auswertungen berechnet werden, der oft aus Stichproben geschätzt wird. Der Abstand zwischen Verteilungen, bekannt als Maximum Mean Discrepancy (MMD), ist gegeben durch \(\|\mu_P - \mu_Q\|_{\mathcal{H}}\). Dieser Abstand ist genau dann null, wenn \(P = Q\) und der Kernel charakteristisch ist, was ihn zu einer Metrik auf dem Raum der Wahrscheinlichkeitsverteilungen macht. Andere Operationen umfassen Projektionen auf Unterräume des RKHS und Spektralanalyse von Kovarianzoperatoren, die bei Dimensionsreduktion und Unabhängigkeitstests nützlich sind.
Eine entscheidende Eigenschaft ist, dass die empirische Einbettung mit einer Rate von \(O(n^{-1/2})\) in der RKHS-Norm zur wahren Einbettung konvergiert, unabhängig von der Eingabedimension. Dies ist ein bedeutender Vorteil gegenüber dichtebasierten Methoden, die unter dem Fluch der Dimensionalität leiden. Die Wahl des Kernels bestimmt, welche Merkmale der Verteilung hervorgehoben werden; zum Beispiel ist der Gaußsche Kernel charakteristisch und universell, was bedeutet, dass er jede stetige Funktion auf kompakten Definitionsbereichen approximieren kann.
Anwendungen
Das Kernel-Einbettungs-Framework umfasst viele beliebte Methoden als Spezialfälle. Es wird beim Zwei-Stichproben-Test verwendet, bei dem der MMD als Teststatistik dient, um zu bestimmen, ob zwei Stichproben aus derselben Verteilung stammen. Es liegt auch Kernel-Unabhängigkeitstests zugrunde, wie dem Hilbert-Schmidt-Unabhängigkeitskriterium (HSIC), das die Abhängigkeit zwischen Zufallsvariablen misst. Im Machine learning wurden Kernel-Einbettungen auf Data Augmentation für generative Modelle, Model Pruning für effiziente Inferenz und Loss Functions-Design im Deep learning angewendet.
Über klassische Einstellungen hinaus erstreckt sich das Framework auf strukturierte Daten. Zum Beispiel ermöglichen Kernel auf Graphen die Einbettung von Verteilungen über Netzwerke, nützlich in Graphcore-artiger Hardwareforschung oder Google DeepMind-Projekten. In der Artificial intelligence-Forschung wurden Kernel-Einbettungen im Reinforcement learning für die Politikbewertung und im Bayesian Inference für nichtparametrische Prioren verwendet. Der Ansatz verbindet sich auch mit Neural network-Theorie, wo der RKHS als unendlicher Breiten-Grenzwert bestimmter Netzwerke gesehen werden kann, was zu Residual Network (ResNet)- und U-Net-Architekturen führt.
Beziehung zu anderen Methoden
Kernel-Einbettungen sind eng mit charakteristischen Funktionen in der Fourier-Analyse verwandt, operieren jedoch in einem reproduzierenden Kernel-Hilbert-Raum anstatt im Frequenzbereich. Im Gegensatz zur Kernel-Dichteschätzung, die Glättungskernel zur Schätzung von Dichten verwendet, definieren die Kernel hier einen Merkmalsraum und erfordern keine Dichteschätzung. Das Framework bezieht sich auch auf Dropout und Batch Normalization, da es einen prinzipiellen Weg bietet, mit Unsicherheit in Verteilungen umzugehen, obwohl diese Techniken unterschiedliche Probleme adressieren.
Die Theorie wurde auf bedingte Verteilungen erweitert, was zu bedingten Kernel-Einbettungen führt, die in Sequence-to-Sequence (Seq2Seq)-Modellen und Encoder-Decoder Architecture-Architekturen nützlich sind. Diese Einbettungen ermöglichen nichtparametrische Regression und Filterung in Zustandsraummodellen. Jüngste Arbeiten haben Verbindungen zu Transformer (architecture)-Modellen untersucht, wo Aufmerksamkeitsmechanismen als Kernel-Glättung interpretiert werden können, und zum Large language model-Training, wo Verteilungseinbettungen Reinforcement Learning from AI Feedback (RLAIF)- oder Curriculum Learning-Strategien informieren könnten.
Einschränkungen und offene Richtungen
Trotz seiner Vorteile hat die Kernel-Einbettung Einschränkungen. Die Wahl des Kernels ist entscheidend, und eine schlechte Wahl kann Informationen verlieren oder zu schlechter Leistung führen. Die Berechnung von Gram-Matrizen für große Datensätze kann rechenintensiv sein, obwohl Approximationen existieren. Die Methode ist hauptsächlich für Verteilungen über euklidischen oder strukturierten Räumen konzipiert; die Erweiterung auf komplexere Objekte bleibt ein aktives Forschungsgebiet. Forscher untersuchen weiterhin neue Kernel und effiziente Algorithmen, oft in Zusammenarbeit mit Industrielabors wie OpenAI, Anthropic und Google DeepMind.
Bis in die frühen 2020er Jahre bleiben Kernel-Einbettungen ein lebendiges Forschungsthema mit Anwendungen in der kausalen Inferenz, Domänenanpassung und Unsicherheitsquantifizierung. Die theoretischen Garantien und die Flexibilität des Frameworks machen es zu einem wertvollen Werkzeug im breiteren Werkzeugkasten des Machine learning und der Statistik.