即時学習型ニューラルネットワークは、人工ニューラルネットワークのフィードフォワード型の一種であり、遭遇する新規の訓練サンプルごとに新しい隠れニューロン節点を生成する。この新しく生成された隠れニューロンに割り当てられる重みは、特定の訓練サンプルだけでなく、その近傍に位置する他のサンプルも分離できるように設計されており、これにより一種の汎化が提供される。この分離は、反復最適化を必要とせずに即座に記述できる最近傍超平面を用いて達成される。最も顕著な2つの実装では、汎化の近傍は訓練サンプルに応じて変化する（CC1ネットワーク）か、一定に保たれる（CC4ネットワーク）。これらのネットワークは通常、入力データセットを効果的に表現するためにユナリ符号化を採用する。
この概念は、1993年のSubhash Kakによる論文で初めて提案された。それ以降、即時学習型ニューラルネットワークは、生物学的システムにおける短期学習のモデルとして提案され、ウェブ検索、金融時系列予測、文書の即時分類、深層学習やデータマイニングパイプラインの構成要素などの実用的なタスクに応用されてきた。ほとんどのニューラルネットワークと同様に、通常はソフトウェアとして使用されるが、フィールドプログラマブルゲートアレイ（FPGA）を用いたハードウェア実装や、光学的実装も行われている。
CC4ネットワークのアーキテクチャ
CC4ネットワークは3段階のフィードフォワードアーキテクチャである。その入力層には、訓練ベクトルのサイズに等しい数のノードに加えて、常に1に設定されるバイアスノードとして機能する追加のノードが1つ含まれる。バイナリ入力ベクトルの場合、訓練されたベクトルに対応する隠れニューロン（インデックスj）への入力ノードからの重みは、特定の式によって定義される。各入力成分xiについて、重みwijは、xiが0に等しい場合は-1に、xiが1に等しい場合は+1に設定される。バイアスノード（i = n+1）の場合、重みはr - s + 1に設定される。ここで、rは汎化半径、sはバイナリシーケンスのハミング重み（1の数）である。
隠れ層ニューロンと出力層ニューロンはどちらも閾値活性化関数を使用する。つまり、入力の重み付き和が0または正の場合には1を出力し、負の場合には0を出力する。隠れ層から出力層への重みは、対応するベクトルが特定の出力クラスに属するかどうかに応じて、1または-1のいずれかである。このアーキテクチャにより、ネットワークは以前に保存された訓練サンプルへの近接性に基づいて新しい入力を分類でき、半径rが汎化近傍のサイズを制御する。
CC1ネットワークとその変種
CC1ネットワークは、汎化半径が一定ではなく、各訓練サンプルに応じて変化する点でCC4ネットワークと異なる。これにより、ネットワークは局所的に汎化動作を適応させることができ、入力空間内のデータ密度が変化する領域でより良い性能を発揮する可能性がある。CC4ネットワークはまた、非バイナリ入力ベクトルを受け入れるように変更されており、汎化半径を変化させることで、CC4フレームワーク内で実質的にCC1実装を提供する。これらの変更により、即時学習型ニューラルネットワークの適用可能性が純粋なバイナリデータを超えて拡張される。
関連する即時学習モデル
フィードフォワードアーキテクチャ以外にも、他のニューラルネットワークモデルも即時学習能力を示す。Willshawネットワークは連想記憶の一種であり、パターンを単一の提示で保存および検索できる。同様に、ホップフィールドネットワークは、連想記憶と最適化に使用されるリカレントニューラルネットワークであり、ワンショットのヘブ則を通じてパターンを即座に学習できる。これらのフィードバックネットワークは、フィードフォワード型の即時学習型ニューラルネットワークと高速なワンパス学習の特性を共有するが、その動作原理と応用は異なる。
応用と実装
即時学習型ニューラルネットワークは、その高速な訓練速度と単純さから、いくつかの分野で応用されている。ウェブ検索では、文書の即時分類に使用され、ウェブページや検索結果の迅速な分類を可能にしている。金融時系列予測では、ネットワーク全体を再訓練することなく新しいデータポイントから学習できるため、適応的な予測に適している。また、認知科学における短期学習のモデルとしても探求されており、新しい情報の迅速な獲得が重要な特徴となっている。FPGAを用いたハードウェア実装が実証されており、ネットワークの計算の並列性を活用した光学的実装も提案されている。