L'estimation par noyau de densité (KDE) est une technique non paramétrique utilisée pour estimer la fonction de densité de probabilité (PDF) d'une variable aléatoire à partir d'un échantillon fini de points de données. Contrairement aux méthodes paramétriques qui supposent une distribution spécifique (par exemple, normale ou exponentielle), le KDE ne fait aucune hypothèse de ce type, ce qui lui permet de modéliser des distributions complexes et multimodales. L'estimation est construite en plaçant une fonction de noyau lisse (généralement gaussienne) à chaque point de données et en faisant la moyenne de ces contributions, avec un paramètre de largeur de bande contrôlant la douceur de la courbe résultante. Le KDE est fondamental dans l'analyse exploratoire des données, la visualisation et comme brique de base dans divers algorithmes de apprentissage automatique.
La méthode a été introduite sous sa forme moderne par Murray Rosenblatt en 1956 et Emanuel Parzen en 1962, et est parfois appelée la méthode de la fenêtre de Parzen-Rosenblatt. Elle est depuis devenue un outil standard en statistiques, en économétrie et dans des domaines tels que intelligence artificielle pour des tâches comme la détection d'anomalies et le clustering basé sur la densité.
Formulation mathématique
Étant donné des échantillons indépendants et identiquement distribués \(x_1, x_2, \dots, x_n\) tirés d'une densité inconnue \(f(x)\), l'estimateur de densité par noyau est défini comme :
\[ \hat{f}_h(x) = \frac{1}{n h} \sum_{i=1}^{n} K\left( \frac{x - x_i}{h} \right) \]
où \(K\) est la fonction de noyau (une fonction symétrique, non négative et intégrant à 1) et \(h > 0\) est la largeur de bande (également appelée paramètre de lissage). Les choix courants de noyau incluent le noyau gaussien \(K(u) = (1/\sqrt{2\pi}) \exp(-u^2/2)\), le noyau d'Epanechnikov et le noyau uniforme. La largeur de bande \(h\) détermine la largeur du noyau et influence directement le compromis biais-variance : un petit \(h\) produit une estimation irrégulière avec un faible biais mais une variance élevée, tandis qu'un grand \(h\) donne une estimation plus lisse avec un biais plus élevé.
Le choix du noyau a un effet relativement mineur sur l'estimation par rapport à la largeur de bande. Le noyau d'Epanechnikov est optimal en termes d'efficacité de l'erreur quadratique moyenne intégrée (MISE), mais le noyau gaussien est le plus utilisé en raison de sa douceur et de sa commodité de calcul.
Sélection de la largeur de bande
La sélection d'une largeur de bande appropriée est cruciale pour la qualité du KDE. Plusieurs méthodes basées sur les données existent, notamment :
- La règle du pouce de Silverman (1986) : Pour un noyau gaussien, la largeur de bande optimale est approximée par \(h = 1.06 \, \hat{\sigma} \, n^{-1/5}\), où \(\hat{\sigma}\) est l'écart type de l'échantillon. Cette méthode est simple mais peut sur-lisser les distributions multimodales.
- La règle de Scott (1992) : Une formule similaire \(h = n^{-1/(d+4)}\) pour les données multivariées, où \(d\) est la dimension.
- La validation croisée : Des méthodes telles que la validation croisée par moindres carrés ou la validation croisée par vraisemblance sélectionnent \(h\) en optimisant un critère prédictif, ce qui conduit souvent à de meilleures performances pour les données non normales.
- Les méthodes plug-in : Elles estiment la fonctionnelle inconnue de la densité (par exemple, la dérivée seconde) pour calculer une largeur de bande asymptotiquement optimale.
En pratique, la validation croisée est préférée pour les données complexes, tandis que les méthodes de règle du pouce sont utilisées pour des approximations rapides.
KDE multivarié et adaptatif
Le KDE s'étend naturellement aux données multivariées en utilisant un noyau multivarié, souvent un produit de noyaux univariés ou une gaussienne multivariée avec une matrice de covariance. La largeur de bande devient une matrice de largeur de bande, qui peut être complète ou diagonale. Pour les données de haute dimension, le KDE souffre de la malédiction de la dimensionnalité, car le nombre d'échantillons requis croît de manière exponentielle avec la dimension, rendant l'estimation peu fiable au-delà d'environ 5 à 10 dimensions.
Le KDE adaptatif permet à la largeur de bande de varier dans l'espace de l'échantillon, en utilisant une largeur de bande plus grande dans les régions de faible densité de données et une plus petite là où les données sont denses. Cela améliore les performances pour les distributions à queues lourdes ou asymétriques. La règle d'Abramson (1982) est une méthode courante pour définir des largeurs de bande locales basées sur des estimations de densité pilotes.
Applications en apprentissage automatique et en IA
Le KDE est utilisé dans plusieurs domaines de apprentissage automatique et de intelligence artificielle :
- Détection d'anomalies : En estimant la densité des données normales, les points avec une densité estimée très faible peuvent être signalés comme aberrants. Cela est appliqué dans la détection d'intrusions réseau, la détection de fraude et le contrôle qualité industriel.
- Visualisation des données : Les graphiques KDE (par exemple, dans seaborn ou ggplot2 de R) sont standard pour afficher les distributions de données univariées ou bivariées, souvent sous forme d'histogrammes lissés ou de graphiques de contour.
- Clustering : Le clustering par décalage de moyenne (mean-shift), un algorithme non paramétrique, utilise le KDE pour trouver les modes de la densité, qui servent de centres de clusters. Cela est utilisé dans la segmentation d'images et la vision par ordinateur.
- Inférence bayésienne : Le KDE peut être utilisé pour approximer les distributions a posteriori dans des modèles complexes, en particulier dans le calcul bayésien approximatif (ABC).
- Modélisation générative : Certaines approches de IA générative utilisent le KDE pour modéliser les distributions de données, bien que les méthodes modernes d'apprentissage profond comme les modèles génératifs basés sur réseaux de neurones l'aient largement supplanté pour les données de haute dimension.
Le KDE est également un concept fondamental en statistique non paramétrique, souvent enseigné dans les cours d'apprentissage statistique aux côtés de méthodes comme réseau résiduel (bien que sans rapport) et fonctions de perte.
Considérations computationnelles et logiciels
Calculer un KDE de manière naïve nécessite d'évaluer le noyau à chacun des \(n\) points de données pour chaque point d'évaluation, ce qui conduit à une complexité \(O(n m)\) pour \(m\) points d'évaluation. Pour les grands ensembles de données, cela peut être prohibitif. Les implémentations efficaces utilisent des transformées de Fourier rapides (FFT) pour des grilles équidistantes, ou des méthodes basées sur des arbres (par exemple, les KD-arbres) pour réduire le nombre d'évaluations de noyau. Des bibliothèques telles que SciPy, scikit-learn et statsmodels en Python fournissent des fonctions KDE optimisées, tout comme R et MATLAB.
Dans le contexte de apprentissage profond, le KDE est parfois utilisé pour l'estimation de densité dans les espaces latents ou pour évaluer la qualité des échantillons générés, bien que des alternatives comme les flux normalisants et les autoencodeurs variationnels soient plus courantes pour les tâches de haute dimension.
Limites et extensions
Le KDE présente plusieurs limites : il est sensible au choix de la largeur de bande, souffre en haute dimension et peut produire un biais aux frontières lorsque le support de la densité est borné (par exemple, des données uniquement positives). Les extensions incluent des méthodes de réflexion ou des approches basées sur des transformations pour gérer les frontières, et l'utilisation de noyaux variables pour un lissage adaptatif. Malgré ces problèmes, le KDE reste un outil robuste et interprétable pour l'estimation de densité, avec une base théorique riche et une large applicabilité pratique à travers les statistiques et le apprentissage automatique.