ガウス過程（GP）は、ベイズ非パラメトリックモデリングのための強力で柔軟な枠組みを提供する確率過程の一種である。本質的に、ガウス過程は関数上の分布を定義し、任意の有限個の関数値が多変量ガウス分布に従うことを保証する。この性質により、原理に基づいた不確実性の定量化と事前知識の組み込みが可能となり、GPは現代の機械学習と統計的学習理論の基盤となっている。
形式的には、ガウス過程は平均関数 \( m(x) \) と共分散関数（またはカーネル） \( k(x, x') \) によって特徴づけられる。平均関数は任意の入力点における関数の期待値を符号化し、共分散関数は異なる点における関数値間の相関を指定する。カーネルの選択は重要であり、事前分布から引き出される関数の滑らかさ、周期性、その他の構造的性質を決定する。一般的なカーネルには、二乗指数（または動径基底関数）、Matérn、周期カーネルがあり、それぞれ異なる帰納的バイアスを提供する。
ベイズ推論と予測
ガウス過程のベイズ的性質により、エレガントな推論が可能となる。観測データ点 \( \{(x_i, y_i)\} \) の集合が与えられたとき、事前分布をこれらの観測に条件付けることで、関数上の事後分布を得ることができる。この事後分布は、事前分布と観測データの両方を組み込んだ、基礎となる関数に関する更新された信念を捉える。新しい入力 \( x_* \) に対して、予測分布はガウス分布となり、その平均と分散は行列演算を用いて解析的に計算できる。この閉形式解は重要な利点であり、他のベイズモデルで一般的な近似推論法を必要としない。
予測分散は自然な不確実性の尺度を提供し、データが疎な領域では増大し、観測点の近くでは縮小する。この性質は、最も情報量の多いデータ点を問い合わせることを目指す能動学習や、高価なブラックボックス関数の大域的最適化を目的とするベイズ最適化などの応用において特に価値がある。
歴史的発展と主要な貢献者
ガウス過程の理論的基礎は20世紀半ばに築かれ、アンドレイ・コルモゴロフやノーバート・ウィーナーなどの統計学者が貢献した。しかし、機械学習での広範な採用は1990年代に始まり、主にマイケル・I・ジョーダンとクリストファー・M・ビショップの研究によるもので、彼らはGPとニューラルネットワークの関連性の普及に貢献した。1996年には、カール・エドワード・ラスムッセンとクリストファー・K・I・ウィリアムズが画期的な教科書『Gaussian Processes for Machine Learning』を出版し、これは今も標準的な参考文献となっている。彼らの研究は、デイビッド・J・C・マッケイやラドフォード・M・ニールの研究とともに、GPを回帰と分類のための厳密かつ実用的なツールとして確立した。
ニューラルネットワークとの関係
ガウス過程とニューラルネットワークの間には注目すべき関連性が存在する。無限に広い隠れ層の極限では、ランダムな重みを持つニューラルネットワークはガウス過程に収束する。これは1990年代にラドフォード・M・ニールによって初めて示された結果である。この洞察は近年、ニューラル接線カーネル（NTK）の開発によって再び注目されており、広いニューラルネットワークの訓練ダイナミクスが特定のカーネルを持つガウス過程によって記述できることを示している。この関係は、深層学習と古典的なベイズ法の間の理論的な橋渡しを提供し、過剰パラメータ化されたモデルの一般化特性を理解するための視点を提供する。
機械学習とその先での応用
ガウス過程は様々な領域で広く使用されている。回帰タスクでは、特に不確実性推定が必要な場合に、小規模から中規模のデータセットで最先端の性能を提供する。分類では、ロジスティックまたはプロビットリンク関数を用いて適応できるが、推論は非ガウス分布となり、ラプラス近似や期待値伝播などの近似が必要となる。人工知能とロボティクスでは、GPは制御ポリシーの学習、動的システムのモデリング、自動運転における地形や障害物のモデリングに使用されている。
深層学習の分野では、GPは深層ガウス過程などのハイブリッドモデルの構成要素として使用されており、複数のGP層を積み重ねて階層的表現を学習する。さらに、GPはベイズ最適化において重要な役割を果たしており、これは大規模言語モデルやその他の複雑なモデルのハイパーパラメータ調整、および物理科学における実験計画のための重要な技術である。
計算上の課題とスケーラビリティ
標準的なガウス過程の大きな限界は、その計算複雑性であり、訓練には \( O(n^3) \)、予測には \( O(n^2) \) のスケールとなる。ここで \( n \) は訓練点の数である。これにより、大規模データセットでは実用的でなくなる。この問題に対処するため、誘導点を用いたスパースガウス過程、確率的変分推論、ランダムフーリエ特徴などのカーネル近似を含む、様々なスケーラブルな近似法が開発されている。これらの方法は、予測精度を維持しながら計算負荷を軽減することを目的としており、数百万のデータ点を持つ問題へのGPの適用を可能にしている。
AMDやNVIDIA GPUなどのハードウェアの最近の進歩、およびGPyTorchやscikit-learnなどのソフトウェアライブラリも、GPのアクセシビリティと効率性の向上に貢献している。これらの改善にもかかわらず、GPと他のモデルの選択は、データセットのサイズと不確実性定量化の必要性に依存することが多い。
結論
ガウス過程は、統計学者や機械学習実践者のツールキットにおいて依然として基本的なツールである。適切に較正された不確実性推定を提供し、事前知識を組み込み、様々なデータ型に適応する能力は、多くの科学的および工学的応用において貴重である。計算技術が進化し続けるにつれて、GPは、データが乏しく不確実性が重要な領域において、今後も関連性を保つ可能性が高い。