グロスバーグネットワークとは、認知科学者のスティーブン・グロスバーグが1960年代以降に開拓した、人工ニューラルネットワークのアーキテクチャ群と学習原理の総称である。これらのネットワークは、オンライン学習、教師なし学習、リアルタイム学習のための生物学的に着想を得たメカニズムに焦点を当てている点で特徴づけられ、安定性と可塑性のジレンマ、すなわち既存の知識を消去せずに新しいパターンを学習するという課題に対処する。この用語には、競合学習、シャンティングネットワーク、適応共鳴理論（ART）などの基礎的モデルが含まれ、理論神経科学と実用的な機械学習アプリケーションの両方に影響を与えてきた。
グロスバーグネットワークは、神経ダイナミクスから導出された原理に基づいて動作し、微分方程式を用いて神経活動とシナプス修飾をモデル化する。後の多くの深層学習モデルが教師ありバックプロパゲーションに依存するのとは異なり、これらのネットワークは自己組織化プロセスを強調し、ニューロンが競合および協力して入力パターンの安定した表現を形成する。このアプローチにより、変化する環境での適応学習が可能となり、パターン認識、分類、感覚運動制御などのタスクに適している。
歴史的発展
スティーブン・グロスバーグは、ロックフェラー大学在籍中の1960年代後半に最初の神経モデルを発表し、脳回路が情報を処理する方法についての考えを形式化した。1976年には、競合学習の基礎理論を発表し、出力ニューロンが入力の類似性に基づいて活性化を競い、勝者がその重みを更新することを示した。この研究は、興奮性信号と抑制性信号の間の非線形相互作用をモデル化するシャンティングネットワークの開発につながり、単純なパーセプトロンよりも生物学的ニューロンに近いシミュレーションを実現した。
1980年代半ばまでに、グロスバーグは共同研究者のゲイル・カーペンターとともに適応共鳴理論を開発し、1987年に初めて発表した。ARTネットワークは、警戒パラメータを使用して新しいカテゴリが形成されるタイミングを制御することで安定性と可塑性の問題に対処し、システムが新規入力に対して可塑性を維持しながら既存知識を安定化させることを可能にする。これはバックプロパゲーションに基づくアプローチからの大きな逸脱を示し、事前に指定されたトレーニングセットを必要としないリアルタイムの増分学習を強調した。
中核となるアーキテクチャ原理
典型的なグロスバーグネットワークは、入力層、競合層または認識層、そしてARTモデルに見られるような配向サブシステムで構成される。入力層は認識層に信号を送り、そこでニューロンは側方抑制を通じて競合する。強いニューロンは弱いニューロンを抑制し、特定の入力に対して1つのカテゴリのみが活性化されることを保証する。シナプス重みはヘッブ的ルールに似た方法で修正され、しばしば正規化されて暴走的な成長を防ぐ。
重要な特徴は、ゲイン制御やリセット信号などのメカニズムを通じて達成される可塑性と安定性のバランスである。ARTでは、入力が既存のカテゴリと十分に一致しない場合（警戒パラメータによって決定される）、配向サブシステムがリセットをトリガーし、ネットワークが新しいニューロンを募集するか、既存のニューロンを洗練させる。これにより、ネットワークは破滅的忘却なしに継続的に学習できる。破滅的忘却は、多くのニューラルネットワークモデルを悩ませる問題である。
応用と影響
グロスバーグネットワークは、リモートセンシング画像分類、医療診断、ロボットナビゲーションなど、多様な分野に応用されてきた。1990年代には、ARTベースのシステムがレーダーターゲット認識や音声処理に使用され、ストリーミングデータから学習する能力を活用した。これらのモデルはまた、視覚知覚や注意などの現象を説明しようとしたグロスバーグの認知情報処理における適応共鳴理論などの認知アーキテクチャにも影響を与えた。
人工知能と機械学習の分野において、グロスバーグの研究はフィードフォワードおよびバックプロパゲーションパラダイムに対する初期の代替案を提供した。深層学習は2012年以降、残差ネットワークとトランスフォーマーの進歩により台頭したが、ARTに着想を得た手法は教師なし学習と継続学習の研究において依然として関連性を持ち続けている。研究者は、逐次タスクにおける破滅的忘却に対処するために、ARTモジュールを現代のアーキテクチャと統合してきた。
現代のアプローチとの比較
トランスフォーマー上に構築された大規模言語モデルや生成AIシステムとは異なり、これらは大規模なデータセットと計算リソースを必要とするが、グロスバーグネットワークは軽量でリアルタイムに動作する。これらはドロップアウトやバッチ正規化を使用せず、代わりに分散表現と競合ダイナミクスに依存する。これにより、より解釈可能でエネルギー効率が高いが、複雑で高次元のタスクではしばしば精度が低くなる。
グロスバーグの定式化の理論的厳密性は、Adamやレイヤー正規化などの方法がヒューリスティックに調整される現代の機械学習実践の経験的性質とは対照的である。しかし、カリキュラム学習やデータ拡張などの概念は、グロスバーグが数十年前に提案した段階的で段階的な学習と概念的なルーツを共有している。
遺産と現在の研究
グロスバーグの貢献は神経科学とコンピュータサイエンスの両方で認識されており、MIT CSAILからカーネギーメロン大学の研究まで、さまざまな分野に影響を与えている。2020年代現在、ARTネットワークは増分学習や適応ロボティクスの研究に引き続き登場し、しばしば強化学習やシーケンス・ツー・シーケンスモデルと組み合わせられている。安定性と可塑性の原理は、Google DeepMindや他の研究所におけるニューロモルフィックハードウェアの設計や継続学習の理論的分析にも情報を提供している。
OpenAIやAnthropicが使用するトランスフォーマーベースのシステムのような商業的な普及は達成していないものの、グロスバーグネットワークは生物学的に妥当な学習アルゴリズムを求める研究者にとっての試金石であり続けている。リアルタイム適応とノイズに対する堅牢性への強調は、AMDやIntelのチップがオンデバイス推論をますますサポートするエッジコンピューティングや自律システムにおける新たなニーズと一致している。