En apprentissage automatique, l'intégration par noyau des distributions (également appelée moyenne du noyau ou application moyenne) est une classe de méthodes non paramétriques qui représentent une distribution de probabilité comme un élément d'un espace de Hilbert à noyau reproduisant (RKHS). Cette approche généralise la cartographie des caractéristiques utilisée dans les méthodes à noyau classiques : au lieu de mapper des points de données individuels, elle mappe des distributions entières dans un espace de caractéristiques de dimension infinie. L'intégration peut préserver toutes les caractéristiques statistiques de distributions arbitraires, permettant aux praticiens de comparer et de manipuler des distributions à l'aide d'opérations d'espace de Hilbert telles que les produits scalaires, les distances, les projections, les transformations linéaires et l'analyse spectrale.
Le cadre est très général et s'applique aux distributions sur tout espace pour lequel une fonction de noyau sensée peut être définie. Des noyaux ont été proposés pour les vecteurs dans l'espace euclidien, les catégories discrètes, les chaînes, les graphes, les images, les séries temporelles, les variétés, les systèmes dynamiques et d'autres objets structurés. Les fondements théoriques ont été principalement développés par Alex Smola, Le Song, Arthur Gretton et Bernhard Schölkopf. Cette approche offre une alternative fondée sur des principes aux méthodes de théorie de l'information, qui nécessitent souvent une estimation de densité ou des hypothèses paramétriques irréalisables dans des contextes de haute dimension.
Motivation et avantages
Les méthodes traditionnelles d'analyse des distributions reposent souvent sur des quantités de théorie de l'information telles que l'entropie, l'information mutuelle ou la divergence de Kullback-Leibler. Leur estimation nécessite généralement une estimation de densité ou des stratégies sophistiquées de partitionnement de l'espace et de correction de biais, qui échouent en haute dimension. Les modèles paramétriques comme les modèles de mélange gaussien imposent des hypothèses qui peuvent être infondées, tandis que les méthodes non paramétriques telles que l'estimation de densité par noyau ou les représentations par fonction caractéristique peinent également avec les données de haute dimension.
Les intégrations par noyau contournent ces problèmes. Elles permettent de modéliser les données sans hypothèses restrictives sur la forme des distributions ou les relations entre variables. Aucune estimation de densité intermédiaire n'est nécessaire. Les praticiens peuvent spécifier quelles propriétés d'une distribution sont les plus pertinentes en choisissant un noyau approprié, intégrant ainsi des connaissances préalables. Si un noyau caractéristique est utilisé, l'intégration préserve de manière unique toutes les informations sur la distribution, et les calculs dans le RKHS potentiellement de dimension infinie se réduisent à des opérations simples sur des matrices de Gram. De plus, la moyenne empirique du noyau, estimée à partir d'échantillons, converge vers l'intégration réelle à des taux indépendants de la dimensionnalité des données. Les algorithmes d'apprentissage basés sur ce cadre présentent une bonne généralisation et une convergence finie sur échantillon, étant souvent plus simples et plus efficaces que les méthodes de théorie de l'information.
Définitions
Soit \(X\) une variable aléatoire avec un domaine \(\Omega\) et une distribution \(P\). Étant donné un noyau symétrique et défini positif \(k: \Omega \times \Omega \to \mathbb{R}\), le théorème de Moore-Aronszajn garantit l'existence d'un RKHS unique \(\mathcal{H}\) sur \(\Omega\), un espace de Hilbert de fonctions \(f: \Omega \to \mathbb{R}\) avec un produit scalaire \(\langle \cdot, \cdot \rangle_{\mathcal{H}}\) et une norme \(\|\cdot\|_{\mathcal{H}}\), pour lequel \(k\) est un noyau reproduisant. Cela signifie que pour chaque \(x \in \Omega\), la fonction \(k(x, \cdot)\) satisfait la propriété de reproduction : \(\langle f, k(x, \cdot) \rangle_{\mathcal{H}} = f(x)\) pour tout \(f \in \mathcal{H}\).
La cartographie \(x \mapsto k(x, \cdot)\) peut être vue comme une cartographie implicite des caractéristiques \(\varphi: \Omega \to \mathcal{H}\), de sorte que \(k(x, x') = \langle \varphi(x), \varphi(x') \rangle_{\mathcal{H}}\). L'intégration par noyau de la distribution \(P\) est alors définie comme l'espérance \(\mu_P := \mathbb{E}_{X \sim P}[\varphi(X)]\), qui est un élément du RKHS. En pratique, étant donné des échantillons \(x_1, \dots, x_n\) de \(P\), l'intégration empirique est la moyenne \(\hat{\mu}_P = \frac{1}{n} \sum_{i=1}^n \varphi(x_i)\).
Propriétés clés et opérations
L'intégration permet diverses opérations sur les distributions. Le produit scalaire entre deux intégrations, \(\langle \mu_P, \mu_Q \rangle_{\mathcal{H}}\), peut être calculé comme une espérance d'évaluations de noyau, souvent estimée à partir d'échantillons. La distance entre distributions, connue sous le nom de divergence maximale de la moyenne (MMD), est donnée par \(\|\mu_P - \mu_Q\|_{\mathcal{H}}\). Cette distance est nulle si et seulement si \(P = Q\) lorsque le noyau est caractéristique, ce qui en fait une métrique sur l'espace des distributions de probabilité. D'autres opérations incluent les projections sur des sous-espaces du RKHS et l'analyse spectrale des opérateurs de covariance, utiles pour la réduction de dimensionnalité et les tests d'indépendance.
Une propriété cruciale est que l'intégration empirique converge vers l'intégration réelle à un taux de \(O(n^{-1/2})\) dans la norme du RKHS, indépendamment de la dimension d'entrée. C'est un avantage significatif par rapport aux méthodes basées sur la densité, qui souffrent de la malédiction de la dimensionnalité. Le choix du noyau détermine quelles caractéristiques de la distribution sont mises en avant ; par exemple, le noyau gaussien est caractéristique et universel, ce qui signifie qu'il peut approximer toute fonction continue sur des domaines compacts.
Applications
Le cadre d'intégration par noyau englobe de nombreuses méthodes populaires comme cas particuliers. Il est utilisé dans les tests de deux échantillons, où la MMD sert de statistique de test pour déterminer si deux échantillons proviennent de la même distribution. Il sous-tend également les tests d'indépendance par noyau, tels que le critère d'indépendance de Hilbert-Schmidt (HSIC), qui mesure la dépendance entre variables aléatoires. Dans Machine learning, les intégrations par noyau ont été appliquées à Data Augmentation pour les modèles génératifs, Model Pruning pour une inférence efficace, et la conception de Loss Functions dans Deep learning.
Au-delà des contextes classiques, le cadre s'étend aux données structurées. Par exemple, les noyaux sur les graphes permettent l'intégration de distributions sur des réseaux, utiles dans la recherche matérielle de style Graphcore ou les projets Google DeepMind. Dans la recherche en Artificial intelligence, les intégrations par noyau ont été utilisées dans Reinforcement learning pour l'évaluation de politiques et dans Bayesian Inference pour les priors non paramétriques. L'approche se connecte également à la théorie des Neural network, où le RKHS peut être vu comme une limite de largeur infinie de certains réseaux, reliant aux architectures Residual Network (ResNet) et U-Net.
Relation avec d'autres méthodes
Les intégrations par noyau sont étroitement liées aux fonctions caractéristiques en analyse de Fourier, mais elles opèrent dans un espace de Hilbert à noyau reproduisant plutôt que dans le domaine fréquentiel. Contrairement à l'estimation de densité par noyau, qui utilise des noyaux de lissage pour estimer les densités, les noyaux ici définissent un espace de caractéristiques et ne nécessitent pas d'estimation de densité. Le cadre se rapporte également à Dropout et Batch Normalization en ce qu'il fournit une manière fondée sur des principes de gérer l'incertitude dans les distributions, bien que ces techniques abordent des problèmes différents.
La théorie a été étendue aux distributions conditionnelles, conduisant à des intégrations par noyau conditionnelles, utiles dans les modèles Sequence-to-Sequence (Seq2Seq) et les architectures Encoder-Decoder Architecture. Ces intégrations permettent la régression non paramétrique et le filtrage dans les modèles d'espace d'état. Des travaux récents ont exploré les connexions avec les modèles Transformer (architecture), où les mécanismes d'attention peuvent être interprétés comme un lissage par noyau, et avec l'entraînement des Large language model, où les intégrations distributionnelles pourraient informer les stratégies Reinforcement Learning from AI Feedback (RLAIF) ou Curriculum Learning.
Limitations et directions ouvertes
Malgré ses avantages, l'intégration par noyau présente des limitations. Le choix du noyau est crucial, et un mauvais choix peut entraîner une perte d'informations ou de mauvaises performances. Le calcul des matrices de Gram pour de grands ensembles de données peut être coûteux en calcul, bien que des approximations existent. La méthode est principalement conçue pour les distributions sur des espaces euclidiens ou structurés ; l'étendre à des objets plus complexes reste un domaine actif. Les chercheurs continuent d'explorer de nouveaux noyaux et des algorithmes efficaces, souvent en collaboration avec des laboratoires industriels comme OpenAI, Anthropic et Google DeepMind.
Au début des années 2020, les intégrations par noyau restent un sujet de recherche dynamique, avec des applications en inférence causale, adaptation de domaine et quantification de l'incertitude. Les garanties théoriques et la flexibilité du cadre en font un outil précieux dans la boîte à outils plus large de Machine learning et des statistiques.