Les méthodes à noyau sont un outil bien établi pour analyser la relation entre les données d'entrée et la sortie correspondante d'une fonction. Dans l'apprentissage automatique typique, ces fonctions produisent une sortie scalaire, mais des développements récents ont étendu les méthodes à noyau à des fonctions avec une sortie vectorielle. Cette extension est motivée par l'intérêt pour résoudre simultanément des problèmes connexes, où des noyaux qui capturent les relations entre les tâches permettent aux algorithmes de tirer de la force les uns des autres. Les algorithmes de ce type incluent l'apprentissage multi-tâches (également appelé apprentissage multi-sortie ou apprentissage à valeurs vectorielles), le transfert d'apprentissage, et le co-krigeage. La classification multi-étiquettes peut être interprétée comme un mappage des entrées vers des vecteurs de codage binaire avec une longueur égale au nombre de classes. Dans les processus gaussiens, les noyaux sont appelés fonctions de covariance, et les fonctions à sorties multiples correspondent à la considération de plusieurs processus.
Le problème d'apprentissage supervisé dans ce contexte est d'apprendre une fonction \( f \) qui prédit des sorties vectorielles \( \mathbf{y_i} \) étant donné des entrées \( \mathbf{x_i} \), pour \( i = 1, \ldots, N \). Les entrées appartiennent à un espace d'entrée \( \mathcal{X} \), souvent \( \mathbb{R}^p \), et les sorties appartiennent à \( \mathbb{R}^D \). En général, chaque composante du vecteur de sortie pourrait avoir des données d'entrée différentes avec une cardinalité différente et même des espaces d'entrée différents; la littérature en géostatistique appelle ce cas hétérotopique, tandis qu'isotopique indique que chaque composante partage le même ensemble d'entrées. Pour simplifier, la notation suppose souvent que le nombre et l'espace d'échantillonnage des données pour chaque sortie sont les mêmes.
Histoire
L'histoire de l'apprentissage de fonctions à valeurs vectorielles est étroitement liée au transfert d'apprentissage, qui implique de stocker des connaissances acquises en résolvant un problème et de les appliquer à un problème différent mais connexe. La motivation fondamentale pour le transfert d'apprentissage a été discutée lors d'un atelier NIPS-95 sur « Apprendre à apprendre », qui se concentrait sur le besoin de méthodes d'apprentissage automatique tout au long de la vie qui retiennent et réutilisent les connaissances précédemment acquises. La recherche sur le transfert d'apprentissage a attiré beaucoup d'attention depuis 1995 sous divers noms, y compris apprendre à apprendre, apprentissage tout au long de la vie, transfert de connaissances, transfert inductif, apprentissage multi-tâches, consolidation de connaissances, apprentissage sensible au contexte, biais inductif basé sur les connaissances, méta-apprentissage, et apprentissage incrémental/cumulatif. L'intérêt pour l'apprentissage de fonctions à valeurs vectorielles a été particulièrement suscité par l'apprentissage multi-tâches, un cadre qui essaie d'apprendre plusieurs tâches, potentiellement différentes, simultanément
Une grande partie de la recherche initiale sur l'apprentissage multi-tâches dans la communauté de l'apprentissage automatique était de nature algorithmique, appliquée à des méthodes telles que les réseaux de neurones, les arbres de décision, et les k-plus proches voisins dans les années 1990. L'utilisation de modèles probabilistes et de processus gaussiens a été pionnière et largement développée dans le contexte de la géostatistique, où la prédiction sur des données de sortie vectorielles est connue sous le nom de cokrigeage. Les approches géostatistiques pour la modélisation multivariée sont surtout formulées autour du modèle linéaire de corégionalisation (LMC), une approche générative pour développer des fonctions de covariance valides utilisées pour la régression multivariée et en statistiques pour l'émulation informatique de codes informatiques multivariés coûteux. La littérature sur la régularisation et la théorie des noyaux pour les fonctions à valeurs vectorielles a suivi dans les années 2000. Bien que les perspectives bayésienne et de régularisation aient été développées indépendamment, elles sont en fait étroitement liées
Perspective de régularisation
Du point de vue de la régularisation, le problème est d'apprendre une fonction \( f_* \) appartenant à un espace de Hilbert à noyau reproduisant de fonctions à valeurs vectorielles (\( \mathcal{H} \)). Cela est similaire au cas scalaire de la régularisation de Tikhonov, avec un soin supplémentaire dans la notation. Il est possible, bien que non trivial, de montrer qu'un théorème de représentant tient également pour la régularisation de Tikhonov dans le cadre à valeurs vectorielles. Le noyau à valeurs matricielles \( \mathbf{K} \) peut également être défini par un noyau scalaire \( R \) sur l'espace \( \mathcal{X} \times \{1, \ldots, D\} \). Cette perspective se connecte au champ plus large de apprentissage automatique, où les techniques de régularisation sont fondamentales pour prévenir le surapprentissage et améliorer la généralisation.
Apprentissage multi-tâches et paradigmes connexes
L'apprentissage multi-tâches est une application centrale des méthodes à noyau pour la sortie vectorielle. L'objectif est d'apprendre plusieurs tâches simultanément, en tirant parti des informations partagées pour améliorer la performance sur chaque tâche. Cette approche est liée au transfert d'apprentissage, où les connaissances d'une tâche sont réutilisées pour une autre, et au co-krigeage, une méthode géostatistique pour la prédiction spatiale multivariée. Dans la classification multi-étiquettes, la sortie vectorielle encode l'appartenance à une classe, et des noyaux qui capturent les corrélations entre les étiquettes peuvent améliorer la précision de classification. Ces méthodes ont été appliquées dans divers domaines, y compris intelligence artificielle et apprentissage profond, où les prédictions à valeurs vectorielles sont courantes dans des tâches telles que les réseaux de neurones multi-tâches
Connexion aux processus gaussiens
Dans les processus gaussiens, les noyaux servent de fonctions de covariance, et les fonctions à sorties multiples correspondent à la considération de plusieurs processus corrélés. Cette perspective bayésienne est étroitement liée à la perspective de régularisation, car les deux visent à modéliser la relation entre les entrées et les sorties tout en capturant les dépendances entre les dimensions de sortie. Le modèle linéaire de corégionalisation est une approche standard pour construire des fonctions de covariance valides dans ce contexte. Cette connexion a influencé les approches modernes dans réseaux de neurones et transformeurs, où les prédictions multi-sorties sont souvent gérées par des représentations partagées
Applications et extensions
Les méthodes à noyau pour la sortie vectorielle ont été appliquées en géostatistique, en émulation informatique, et en apprentissage multi-tâches. Elles sont également pertinentes pour les systèmes modernes de IA générative, où les modèles produisent souvent des sorties à valeurs vectorielles telles que des plongements ou des prédictions multidimensionnelles. La recherche continue sur le développement d'algorithmes efficaces et de noyaux qui s'adaptent à de grands ensembles de données, en s'appuyant sur des travaux fondamentaux d'institutions comme MIT CSAIL et Stanford AI Lab. Le domaine reste un domaine d'étude actif, avec des connexions à apprentissage par curriculum et à d'autres techniques d'entraînement avancées