カーネル法は、機械学習におけるパターン解析のためのアルゴリズムの一種であり、その最もよく知られた手法がサポートベクターマシン（SVM）である。これらの手法は、高次元の暗黙的な特徴空間で動作することで、線形分類器を用いて非線形問題を解決する。ユーザーが指定した写像によってデータを明示的に特徴ベクトルへ変換する代わりに、カーネル法は、データ点のペア間の類似度スコアを内積を用いて計算するカーネル関数のみを必要とする。このアプローチは「カーネルトリック」と呼ばれ、表現定理によって保証されるように、特徴写像が無限次元であることを可能にしつつ、ユーザー入力からは有限次元の行列のみを必要とする。カーネル法は、数千例を超えるデータセットでは並列処理なしでは計算が遅いが、統計的に健全な基盤を持ち、テキスト、画像、グラフ、時系列データを含む応用で広く使用されている。
カーネルトリックは、特徴空間におけるデータ点の写像間の内積を、その座標を計算することなく計算することで機能する。例えば、カーネル化された二値分類器は、類似度を測定するカーネル関数k(x, x')を用いて、入力と全訓練例との間の類似度の重み付き和を計算することで、未ラベルの入力のラベルを予測する。この操作は、明示的な座標計算よりも頻繁に安価であり、カーネル法を多くのタスクで効率的にする。
歴史的発展
カーネル分類器は、1960年代にカーネルパーセプトロンの発明で初期に記述された。それらは、1990年代にサポートベクターマシンの台頭とともに（分類および回帰の標準的なツールとなり、）著名になった。理論的な基盤は、数学的学習理論によって強化され、ラデマチャ複雑性などの尺度を用いて汎化特性を分析した。時間とともに、カーネル法は、ガウス過程、カーネル主成分分析（PCA）、カーネルリッジ回帰などのアルゴリズムを包含するよう拡張され、カーネル関数は、被表現序列、グラフ、テキストを含む多様なデータ型のために開発された。
主要なアルゴリズムと応用
カーネル法は、SVM以外にも様々なアルゴリズムの基盤となる。これらには、カーネルパーセプトロン、ガウス過程、カーネルPCA、カノニカル相関解析、カーネルリッジ回帰、スペクトルクラスタリング、および線形適応フィルタが含まれる。これらのアルゴリズムの大半は、凸最適化または固有値問題に基づいており、大適用な解を持つことが保証される。実践では、カーネル法は、データ内の線形でない関係が一般的である画像分類、遺伝子情報学、自然言語処理などのタスクに使用される。例えば、半径基底関数カーネルを持つサポートベクターマシンは、パターン認識に適用される。
カーネルトリックと特徴空間
カーネルトリックは、カーネル法の中核である。カーネル関数k(x, x')は、高次元または無限次元の多い特徴空間における積に対応する。例えば、多項式カーネルk(x, k(x, x') = (x · x' + c)^dはデータを程度dの単項式のすべての空間に暗黙的に写像する。ガウス半径基底関数カーネルk(x, x') = exp(-||x - x'||^2 / (2σ^2))は、無限次元の特徴空間に対応する。このような暗黙的な写像により、線形アルゴリズムは、計算不可能な特徴ベクトルを明示的に構築することなく、非線形パターンを抽出できる。
長所と限界
カーネル法には以下の優位点がある。理論的に基盤があり、しばしば凸であり、効果的に高次元データを扱うことができる。さらに、インスタンスベースの学習者であり、訓練例を保持して予測に使用するため、直感的である。
ただし、限界もある。計算コストはデータセットサイズに対してスケールが悪く、数百万例のSVMを訓練することは、特殊なハードウェアや近似手法なしでは難しい。さらに、カーネルとそのパラメータ（例えばRBFカーネルのσ）のル選択は性能に大きく影響し、チューニングは面倒な場合がある。2020年代初期には、多くの大規模タスクで深層学習手法がカーネル法を超えたが、カーネル法は小規模データセットや理論的示唆の提供で価値がある。
現代の機械学習との関連
カーネル法は、Neural networkや深層学習との関係がある。例えば、無限幅のレイヤーを持つニューラルネットワークは、ガウス過程というカーネル法とみなすことがおできる。カーネル法の基盤となる超平面は、ニューラルネットワークが学習する関数空間と平行がある。しかし、現代の深い学習、特にトランスフォーマーや大規模言語モデルは、大規模なデータセットでのスケーラブルなエンドツーエンド学習に重点を置いている。それにもかかわらず、カーネル法は、類似度関数が役割を果たす残差ネットワークや注意機構など、アルゴリズム設計に影響を与え続けている。MIT CSAILやスタンフォードAI研究所の研究者は、カーネル法と深い学習の間の関連を探求し、両者の理解を深める貢献をしてきた。