Kernel-Methoden sind ein etabliertes Werkzeug zur Analyse der Beziehung zwischen Eingabedaten und der entsprechenden Ausgabe einer Funktion. Im typischen maschinellen Lernen erzeugen diese Funktionen eine skalare Ausgabe, aber neuere Entwicklungen haben Kernel-Methoden auf Funktionen mit vektorwertiger Ausgabe erweitert. Diese Erweiterung wird durch das Interesse an der gleichzeitigen Lösung verwandter Probleme vorangetrieben, bei denen Kernel, die Beziehungen zwischen Aufgaben erfassen, es Algorithmen ermöglichen, voneinander zu profitieren. Algorithmen dieser Art umfassen Multi-Task-Lernen (auch Multi-Output-Lernen oder vektorwertiges Lernen genannt), Transferlernen und Co-Kriging. Multi-Label-Klassifikation kann als Abbildung von Eingaben auf binäre Kodierungsvektoren mit einer Länge interpretiert werden, die der Anzahl der Klassen entspricht. Bei Gauß-Prozessen werden Kernel als Kovarianzfunktionen bezeichnet, und Funktionen mit mehreren Ausgaben entsprechen der Betrachtung mehrerer Prozesse.
Das überwachte Lernproblem in diesem Kontext besteht darin, eine Funktion \( f \) zu lernen, die vektorwertige Ausgaben \( \mathbf{y_i} \) für gegebene Eingaben \( \mathbf{x_i} \) vorhersagt, für \( i = 1, \ldots, N \). Die Eingaben gehören zu einem Eingaberaum \( \mathcal{X} \), oft \( \mathbb{R}^p \), und die Ausgaben gehören zu \( \mathbb{R}^D \). Im Allgemeinen kann jede Komponente des Ausgabevektors unterschiedliche Eingabedaten mit unterschiedlicher Kardinalität und sogar unterschiedlichen Eingaberaumen haben; die Geostatistik-Literatur nennt diesen Fall heterotop, während isotopisch bedeutet, dass jede Komponente denselben Satz von Eingaben teilt. Der Einfachheit halber wird in der Notation oft angenommen, dass Anzahl und Stichprobenraum der Daten für jede Ausgabe gleich sind.
Geschichte
Die Geschichte des Lernens vektorwertiger Funktionen ist eng mit dem Transferlernen verbunden, bei dem Wissen, das bei der Lösung eines Problems gewonnen wurde, gespeichert und auf ein anderes, aber verwandtes Problem angewendet wird. Die grundlegende Motivation für das Transferlernen wurde auf einem NIPS-95-Workshop über "Learning to Learn" diskutiert, der sich auf die Notwendigkeit lebenslanger maschineller Lernmethoden konzentrierte, die zuvor gelerntes Wissen behalten und wiederverwenden. Die Forschung zum Transferlernen hat seit 1995 unter verschiedenen Namen viel Aufmerksamkeit erhalten, darunter Lernen zu lernen, lebenslanges Lernen, Wissenstransfer, induktiver Transfer, Multitask-Lernen, Wissenskonsolidierung, kontextsensitives Lernen, wissensbasierte induktive Verzerrung, Metalernen und inkrementelles/kumulatives Lernen. Das Interesse am Lernen vektorwertiger Funktionen wurde besonders durch das Multitask-Lernen geweckt, ein Rahmenwerk, das versucht, mehrere, möglicherweise unterschiedliche Aufgaben gleichzeitig zu lernen.
Ein Großteil der anfänglichen Forschung im Multitask-Lernen in der maschinellen Lern-Community war algorithmischer Natur und wurde in den 1990er Jahren auf Methoden wie neuronale Netze, Entscheidungsbäume und k-nächste Nachbarn angewendet. Die Verwendung probabilistischer Modelle und Gauß-Prozesse wurde im Kontext der Geostatistik Pionierarbeit geleistet und weitgehend entwickelt, wo die Vorhersage über vektorwertige Ausgabedaten als Cokriging bekannt ist. Geostatistische Ansätze zur multivariaten Modellierung sind meist um das lineare Modell der Coregionalisierung (LMC) formuliert, einen generativen Ansatz zur Entwicklung gültiger Kovarianzfunktionen, die für die multivariate Regression und in der Statistik für die Computeremulation teurer multivariater Computercodes verwendet werden. Die Literatur zur Regularisierung und Kernel-Theorie für vektorwertige Funktionen folgte in den 2000er Jahren. Obwohl die Bayes'sche und die Regularisierungsperspektive unabhängig entwickelt wurden, sind sie tatsächlich eng verwandt.
Regularisierungsperspektive
Aus der Regularisierungsperspektive besteht das Problem darin, eine Funktion \( f_* \) zu lernen, die zu einem reproduzierenden Kernel-Hilbert-Raum vektorwertiger Funktionen (\( \mathcal{H} \)) gehört. Dies ähnelt dem skalaren Fall der Tikhonov-Regularisierung, mit zusätzlicher Sorgfalt in der Notation. Es ist möglich, wenn auch nicht trivial, zu zeigen, dass ein Representer-Theorem auch für die Tikhonov-Regularisierung im vektorwertigen Setting gilt. Der matrixwertige Kernel \( \mathbf{K} \) kann auch durch einen skalaren Kernel \( R \) auf dem Raum \( \mathcal{X} \times \{1, \ldots, D\} \) definiert werden. Diese Perspektive verbindet sich mit dem breiteren Feld des maschinellen Lernens, wo Regularisierungstechniken grundlegend sind, um Überanpassung zu verhindern und die Generalisierung zu verbessern.
Multi-Task-Lernen und verwandte Paradigmen
Multi-Task-Lernen ist eine Kernanwendung von Kernel-Methoden für vektorwertige Ausgaben. Das Ziel ist es, mehrere Aufgaben gleichzeitig zu lernen, indem gemeinsame Informationen genutzt werden, um die Leistung bei jeder Aufgabe zu verbessern. Dieser Ansatz ist verwandt mit dem Transferlernen, bei dem Wissen von einer Aufgabe für eine andere wiederverwendet wird, und mit dem Co-Kriging, einer geostatistischen Methode für die multivariate räumliche Vorhersage. Bei der Multi-Label-Klassifikation kodiert die Vektorausgabe die Klassenzugehörigkeit, und Kernel, die Korrelationen zwischen Labels erfassen, können die Klassifikationsgenauigkeit verbessern. Diese Methoden wurden in verschiedenen Bereichen angewendet, einschließlich künstlicher Intelligenz und Deep Learning, wo vektorwertige Vorhersagen bei Aufgaben wie Multi-Task-Neuronalen Netzen üblich sind.
Verbindung zu Gauß-Prozessen
Bei Gauß-Prozessen dienen Kernel als Kovarianzfunktionen, und Funktionen mit mehreren Ausgaben entsprechen der Betrachtung mehrerer korrelierter Prozesse. Diese Bayes'sche Perspektive ist eng mit der Regularisierungsperspektive verwandt, da beide darauf abzielen, die Beziehung zwischen Eingaben und Ausgaben zu modellieren, während Abhängigkeiten zwischen Ausgabedimensionen erfasst werden. Das lineare Modell der Coregionalisierung ist ein Standardansatz zur Konstruktion gültiger Kovarianzfunktionen in diesem Kontext. Diese Verbindung hat moderne Ansätze in neuronalen Netzen und Transformatoren beeinflusst, wo Mehrfachausgaben oft durch gemeinsame Darstellungen behandelt werden.
Anwendungen und Erweiterungen
Kernel-Methoden für vektorwertige Ausgaben wurden in der Geostatistik, der Computeremulation und dem Multi-Task-Lernen angewendet. Sie sind auch für moderne generative KI-Systeme relevant, wo Modelle oft vektorwertige Ausgaben wie Einbettungen oder mehrdimensionale Vorhersagen erzeugen. Die Forschung entwickelt weiterhin effiziente Algorithmen und Kernel, die auf große Datensätze skalieren, und baut auf grundlegenden Arbeiten von Institutionen wie MIT CSAIL und Stanford AI Lab auf. Das Feld bleibt ein aktives Forschungsgebiet mit Verbindungen zu Curriculum-Lernen und anderen fortgeschrittenen Trainingstechniken.