A análise de componentes principais por kernel (kernel PCA) é uma técnica em aprendizado de máquina para redução de dimensionalidade não linear. Ela estende a análise de componentes principais clássica (PCA) ao aplicar o truque do kernel, que permite que o algoritmo opere em um espaço de características implícito e de alta dimensionalidade sem calcular explicitamente as coordenadas dos dados nesse espaço. Isso permite que o kernel PCA capture padrões não lineares que o PCA linear deixaria passar, tornando-o útil para tarefas como visualização de dados, redução de ruído,e pré-processamento para outros algoritmos.
O método foi introduzido em 1998 por Bernhard Schölkopf, Alexander Smola,e Klaus-Robert Müller. Sua formulação mostrou que os componentes principais no espaço de características podem ser obtidos resolvendo um problema de autovalores na matriz de kernel, que contém similaridades entre pares de pontos de dados calculadas por meio de uma função de kernel. Kernels comuns incluem o kernel polinomial, o kernel de função de base radial(RBF) e o kernel sigmoide. A escolha do kernel e de seus parâmetros influencia significativamente a incorporação resultante.
Formulação matemática
Dado um conjunto de n pontos de dados x_i no espaço de entrada, o kernel PCA primeiro mapeia cada ponto para um espaço de características por meio de uma função φ, tal que φ(x_i) seja um vetor em um espaço de Hilbert possivelmente de dimensão infinita. A função de kernel k(x_i, x_j) calcula o produto interno ⟨φ(x_i), φ(x_j)⟩. O algoritmo centraliza os dados no espaço de características modificando a matriz de kernel,e então calcula os autovetores e autovalores da matriz de kernel centralizada. A projeção de um novo ponto sobre um componente principal é expressa como uma soma ponderada de avaliações de kernel entre o novo ponto e os pontos de treinamento, com pesos derivados dos autovetores.
Diferente do PCA linear,que encontra direções de variância máxima no espaço original, o kernel PCA encontra direções de variância máxima no espaço de características. O número de componentes principais é no máximo o número de pontos de treinamento,e o método pode produzir mais componentes do que a dimensionalidade de entrada. Na prática, normalmente se seleciona os k componentes principais com base na magnitude dos autovalores associados.
Relação com outros métodos
O kernel PCA está intimamente relacionado a outros métodos baseados em kernel, como máquinas de vetores de suporte(SVMs) e regressão por processo gaussiano, todos os quais dependem do truque do kernel. Ele pode ser visto como uma generalização não linear do PCA,e também está conectado a agrupamento espectral e escalonamento multidimensional. No caso de um kernel linear, o kernel PCA reduz exatamente ao PCA padrão. O método também é um precursor de técnicas de incorporação não linear mais avançadas, como incorporação estocástica de vizinhos com distribuição t(t-SNE)e aproximação e projeção de variedade uniforme(UMAP), embora esses métodos otimizem objetivos diferentes.
Aplicações e limitações
O kernel PCA tem sido aplicado em vários domínios, incluindo reconhecimento facial, remoção de ruído em imagens,e detecção de anomalias. No reconhecimento facial, ele pode extrair características não lineares que melhoram a precisão de classificação em comparação ao PCA linear. Para detecção de anomalias, o erro de reconstrução no espaço de características pode indicar valores discrepantes. No entanto, o kernel PCA tem limitações notáveis: o custo computacional escala quadraticamente com o número de amostras de treinamento, tornando-o impraticável para conjuntos de dados muito grandes sem aproximações. A escolha do kernel e dos hiperparâmetros frequentemente exige validação cruzada,e a interpretabilidade dos componentes resultantes é menor do que no PCA linear. Além disso, o método assume que os dados estão em uma variedade de baixa dimensionalidade no espaço de características, o que pode não ser válido em todos os casos.
Considerações práticas
A implementação do kernel PCA envolve selecionar uma função de kernel e seus parâmetros, como a largura de banda em um kernel RBF. A matriz de kernel deve ser centralizada,e a decomposição em autovalores pode ser realizada usando bibliotecas padrão de álgebra linear. Para problemas de grande escala, métodos aproximados, como o método de Nyström ou mapas de características aleatórios, podem reduzir o custo computacional. Em pipelines modernos de aprendizado de máquina, o kernel PCA é frequentemente usado como uma etapa de pré-processamento antes de aplicar algoritmos de agrupamento ou classificação. Ele foi implementado em bibliotecas populares, como scikit-learn,que fornece uma classe KernelPCA com opções para diferentes kernels e solvers.