L'analyse en composantes principales (ACP) est une technique de réduction de dimensionnalité linéaire qui transforme un ensemble de données de variables potentiellement corrélées en un nombre plus restreint de variables non corrélées, appelées composantes principales. La méthode identifie les directions de variance maximale dans les données et projette les observations originales sur ces directions, produisant une représentation de dimension inférieure qui conserve autant d'informations que possible. L'ACP est l'un des outils les plus largement utilisés dans apprentissage automatique pour l'analyse exploratoire des données, l'ingénierie des caractéristiques et le prétraitement, et elle sert également de concept fondamental dans des domaines allant de la génétique à la finance.
La technique a été introduite pour la première fois par Karl Pearson en 1901, puis développée indépendamment par Harold Hotelling en 1933. Elle est mathématiquement équivalente à la décomposition en valeurs singulières (SVD) de la matrice de données centrée, ce qui la rend efficace sur le plan computationnel et numériquement stable. L'ACP ne nécessite pas de données étiquetées, ce qui en fait une méthode non supervisée, et elle suppose que les directions de plus grande variance sont les plus informatives, ce qui est vrai pour de nombreux ensembles de données réels.
Formulation mathématique
Étant donné une matrice de données X avec n observations et p variables, l'ACP commence par centrer chaque variable pour qu'elle ait une moyenne nulle. La matrice de covariance des données centrées est calculée, et ses vecteurs propres et valeurs propres sont obtenus. Les vecteurs propres, triés par valeur propre décroissante, définissent les axes des composantes principales, tandis que les valeurs propres indiquent la quantité de variance expliquée par chaque composante. La première composante principale capture la plus grande variance possible, la seconde capture la suivante sous la contrainte d'être orthogonale à la première, et ainsi de suite.
La projection des données sur les k premières composantes principales donne une représentation en k dimensions. La proportion de la variance totale expliquée par les k premières composantes est la somme de leurs valeurs propres divisée par la somme totale de toutes les valeurs propres. Cette quantité guide le choix de k, souvent à l'aide d'un graphique en éboulis ou d'un seuil tel que la rétention de 95 % de la variance.
Applications en apprentissage automatique
Dans les pipelines de apprentissage automatique, l'ACP est fréquemment utilisée pour réduire le nombre de caractéristiques avant d'entraîner un modèle. Les ensembles de données de haute dimension peuvent souffrir de la malédiction de la dimensionnalité, entraînant un surapprentissage et un coût computationnel accru. En projetant les données sur un sous-espace de dimension inférieure, l'ACP peut améliorer la généralisation du modèle et accélérer l'entraînement. Elle est particulièrement courante dans des domaines comme le traitement d'images, où les intensités de pixels brutes sont fortement corrélées, et en génomique, où les niveaux d'expression de milliers de gènes sont mesurés simultanément.
L'ACP sert également d'outil de visualisation. Projeter les données sur les deux ou trois premières composantes principales permet aux chercheurs de tracer des données de haute dimension en deux ou trois dimensions, révélant des clusters, des valeurs aberrantes ou d'autres structures. Cela est souvent utilisé dans l'analyse exploratoire avant d'appliquer des méthodes plus complexes telles que les classificateurs réseaux de neurones.
Une autre application est la réduction du bruit. En éliminant les composantes avec les plus petites valeurs propres, l'ACP filtre les directions supposées contenir principalement du bruit, conservant le sous-espace dominant du signal. Ce principe sous-tend des techniques comme les eigenfaces pour la reconnaissance faciale, où l'ACP a été célèbre appliquée dans les années 1990.
Relation avec d'autres techniques
L'ACP est étroitement liée à l'analyse factorielle, mais les deux diffèrent dans leurs objectifs : l'ACP vise à expliquer la variance dans les données, tandis que l'analyse factorielle modélise la structure de covariance à l'aide de facteurs latents. L'ACP est également un cas particulier de l'échelle multidimensionnelle (MDS) lorsque la mesure de dissimilarité est la distance euclidienne. Dans le contexte du apprentissage profond, l'ACP est parfois utilisée comme étape de prétraitement pour les entrées de réseaux de neurones, bien que les méthodes modernes reposent souvent sur des représentations apprises.
L'ACP à noyau étend la méthode aux variétés non linéaires en appliquant une fonction de noyau avant de calculer les composantes principales, permettant de capturer des structures non linéaires. L'ACP parcimonieuse et l'ACP robuste sont des variantes qui imposent la parcimonie ou gèrent les valeurs aberrantes, respectivement. Ces extensions ont trouvé des applications dans le traitement du signal et la vision par ordinateur.
Limites et considérations
L'ACP suppose la linéarité, ce qui signifie qu'elle ne peut capturer que des relations linéaires entre les variables. Pour des données situées sur des variétés non linéaires, l'ACP peut produire des résultats trompeurs, et des méthodes comme t-SNE ou UMAP sont souvent préférées pour la visualisation. L'ACP est également sensible à l'échelle des variables ; sans standardisation, les variables avec des variances plus grandes dominent les composantes. Par conséquent, il est courant de standardiser chaque variable à une variance unitaire avant d'appliquer l'ACP.
L'interprétabilité des composantes principales peut être difficile, car chaque composante est une combinaison linéaire de toutes les variables originales. Cela rend difficile l'attribution d'une signification physique aux composantes dans certaines applications. De plus, l'ACP est une méthode non supervisée et ne prend pas en compte les étiquettes de classe, elle peut donc éliminer des directions importantes pour la classification mais ayant une faible variance.
Contexte historique et moderne
L'ACP a été redécouverte indépendamment dans divers domaines, notamment la météorologie (comme fonctions orthogonales empiriques) et l'écologie. Ses fondements mathématiques ont été posés au début du XXe siècle, et l'avènement des ordinateurs dans les années 1950 a permis son application pratique à de grands ensembles de données. Aujourd'hui, l'ACP reste un outil standard dans la boîte à outils des scientifiques des données et est implémentée dans toutes les principales bibliothèques de apprentissage automatique et statistiques, y compris scikit-learn, R et MATLAB.
À l'ère de l'intelligence artificielle à grande échelle, l'ACP est toujours utilisée pour des tâches telles que le blanchiment dans les modèles de apprentissage profond et pour compresser les plongements dans les pipelines de grands modèles de langage. Sa simplicité, son interprétabilité et son efficacité computationnelle garantissent sa pertinence continue malgré la disponibilité de méthodes non linéaires plus complexes.