動径基底関数ネットワーク（RBFネットワーク）は、動径基底関数を活性化関数として用いる人工ニューラルネットワークである。ネットワークの出力は、入力とニューロンパラメータの動径基底関数の線形結合である。RBFネットワークは、関数近似、時系列予測、分類、システム制御など多くの用途を持つ。これらは、ロイヤル・シグナル・アンド・レーダー・エスタブリッシュメントの研究者であるBroomheadとLoweによる1988年の論文で初めて定式化された。
RBFネットワークはニューラルネットワークの一種であり、より一般的なフィードフォワードネットワークとは、隠れ層の構造と学習アプローチにおいて異なる。これらは機械学習のカーネル回帰やガウス過程モデルなどの手法と密接に関連しており、人工知能から制御工学に至る分野で応用されてきた。
ネットワークアーキテクチャ
RBFネットワークは通常、入力層、非線形動径基底関数活性化を持つ隠れ層、線形出力層の3層で構成される。入力は実数のベクトルであり、出力はその入力のスカラー関数である。出力は、それぞれ入力空間の特定の点を中心とする動径基底関数の重み付き和として計算される。
各隠れニューロンは、中心ベクトルと幅パラメータを持つ。ニューロンの活性化は、入力とその中心との間の距離のみに依存し、関数を動径対称にする。ユークリッド距離が一般的に使用されるが、マハラノビス距離はパターン認識においてより良い性能を発揮できる。最も一般的な動径基底関数はガウス関数であり、中心からの距離が増すにつれて滑らかにゼロへ減衰する。この局所性により、あるニューロンのパラメータを変更しても、その中心から遠い入力への影響はほとんどない。
活性化関数に関する穏やかな条件の下で、RBFネットワークは入力空間のコンパクト部分集合上の普遍近似器である。十分な数の隠れニューロンがあれば、閉じた有界集合上の任意の連続関数を任意の精度で近似できる。
ネットワークパラメータ（重み、中心、幅）は、ネットワーク出力とトレーニングデータとの適合を最適化するように決定される。
正規化
RBFネットワークは正規化でき、その場合、出力はニューロン出力の単純な和ではなく加重平均となる。この正規化されたアーキテクチャは、出力が有界な範囲内にあることを保証し、数値的安定性を向上させることができる。正規化は、ネットワークが確率推定に使用される場合や、入力分布が変動する場合に特に有用である。
学習方法
RBFネットワークの学習は通常、2段階を伴う。まず、隠れニューロンの中心と幅が選択され、多くの場合、k-meansクラスタリングやトレーニングデータからのランダムサンプリングなどの教師なし手法が使用される。次に、出力重みが学習され、通常は線形最小二乗問題を解くことで行われ、これは高速で一意の解を持つ。
この2段階アプローチは、深層学習ネットワークで使用される勾配ベースの学習とは対照的であり、そこではすべてのパラメータが同時に調整される。RBFネットワークは勾配降下法でも学習できるが、線形出力層により重み推定が特に効率的になる。
応用
RBFネットワークはさまざまなタスクで使用される。関数近似では、複雑な非線形関係をモデル化できる。時系列予測では、金融データや気象データに適用されてきた。分類では、特にパターン認識問題において、機械学習分類器の一種として機能する。また、高速な学習と滑らかな出力が有利なシステム制御でも使用される。
深層学習モデルと比較して、RBFネットワークはしばしばより単純で、必要なデータも少ないが、次元の呪いにより高次元入力では苦戦することがある。これらはアマゾン・ウェブ・サービスなどの分野で特定の予測タスクに使用されてきたが、大規模な現代の応用ではより深いアーキテクチャが好まれることが多い。
限界と拡張
RBFネットワークの限界の1つは、隠れニューロンの数が入力次元に応じて指数関数的に増加する可能性があり、非常に高次元の問題では実用的でなくなることである。拡張には、中心の適応的選択、異なる基底関数の使用、RBF層と他のネットワークタイプを組み合わせたハイブリッドアプローチが含まれる。
トランスフォーマーベースのモデルが生成AIで台頭しているにもかかわらず、RBFネットワークはニューラルネットワークのツールボックスにおける基本的なツールであり続け、その理論的明快さと学習の容易さで評価されている。