カーネル主成分分析（カーネルPCA）は、非線形次元削減のための機械学習における手法である。これは、古典的な主成分分析（PCA）を拡張し、カーネルトリックを適用することで、アルゴリズムが高次元の暗黙的な特徴空間で動作し、その空間におけるデータの座標を明示的に計算することなく処理できるようにする。これにより、カーネルPCAは線形PCAが見逃す非線形パターンを捕捉でき、データ可視化、ノイズ除去、および他のアルゴリズムの前処理などのタスクに有用となる。
この手法は1998年にBernhard Schölkopf、Alexander Smola、およびKlaus-Robert Müllerによって導入された。彼らの定式化は、特徴空間における主成分が、カーネル関数を介して計算されたデータ点間のペアワイズ類似度を含むカーネル行列上の固有値問題を解くことで得られることを示した。一般的なカーネルには、多項式カーネル、動径基底関数（RBF）カーネル、およびシグモイドカーネルが含まれる。カーネルとそのパラメータの選択は、結果として得られる埋め込みに大きく影響する
数学的定式化
入力空間におけるn個のデータ点x_iの集合が与えられたとき、カーネルPCAはまず各点を関数φを介して特徴空間に写像し、φ(x_i)がおそらく無限次元のヒルベルト空間におけるベクトルとなるようにする。カーネル関数k(x_i, x_j)は内積⟨φ(x_i), φ(x_j)⟩を計算する。アルゴリズムは特徴空間におけるデータをカーネル行列を修正することで中心化し、次に中心化されたカーネル行列の固有ベクトルと固有値を計算する。新しい点の主成分への射影は、新しい点と訓練点との間のカーネル評価の重み付き和として表現され、重みは固有ベクトルから導出される。
線形PCAが元の空間における最大分散の方向を見つけるのに対し、カーネルPCAは特徴空間における最大分散の方向を見つける。主成分の数は最大で訓練点の数であり、この手法は入力次元よりも多くの成分を生成できる。実際には、関連する固有値の大きさに基づいて上位k個の成分を選択することが一般的である
他の手法との関係
カーネルPCAは、サポートベクターマシン（SVMs）やガウス過程回帰などの他のカーネルベースの手法と密接に関連しており、これらはすべてカーネルトリックに依存している。これはPCAの非線形一般化と見なすことができ、スペクトルクラスタリングや多次元尺度構成法とも関連している。線形カーネルの場合、カーネルPCAは標準的なPCAに正確に還元される。この手法はまた、t分布確率的近傍埋め込み（t-SNE）や一様多様体近似および射影（UMAP）などのより高度な非線形埋め込み技法の先駆けでもあるが、これらの手法は異なる目的関数を最適化する
####応用と限界
カーネルPCAは、顔認識、画像ノイズ除去、および異常検知など、さまざまな領域で応用されてきた。顔認識では、線形PCAと比較して分類精度を向上させる非線形特徴を抽出できる。異常検知では、特徴空間における再構成誤差が外れ値を示すことができる。しかし、カーネルPCAには顕著な限界がある：計算コストが訓練サンプル数の二乗に比例してスケールし、近似なしでは非常に大規模なデータセットには実用的でない。カーネルとハイパーパラメータの選択はしばしば交差検証を必要とし、結果として得られる成分の解釈可能性は線形PCAよりも低い。さらに、この手法はデータが特徴空間における低次元多様体上にあることを仮定しており、これはすべての場合に当てはまるとは限らない
####実用的な考慮事項
カーネルPCAの実装には、カーネル関数とそのパラメータ（RBFカーネルにおける帯域幅など）の選択が含まれる。カーネル行列は中心化されなければならず、固有値分解は標準的な線形代数ライブラリを使用して実行できる。大規模問題では、Nyström法やランダム特徴写像などの近似手法が計算負荷を軽減できる。現代の機械学習パイプラインでは、カーネルPCAはクラスタリングや分類アルゴリズムを適用する前の前処理ステップとしてしばしば使用される。これはscikit-learnなどの一般的なライブラリに実装されており、異なるカーネルとソルバーのオプションを備えたKernelPCAクラスを提供している
####関連項目