スパイキングニューラルネットワーク（SNN）は、従来のネットワークよりも生物学的ニューロンの挙動を模倣した人工ニューラルネットワークの一種である。連続値を毎伝播サイクルで伝達する従来の人工ニューロンとは異なり、SNNのニューロンは、特定の時点で発生する離散的なスパイク（活動電位）を通じて通信する。これらのスパイクの正確なタイミングが主要な情報伝達手段として機能し、ネットワークが計算に時間的ダイナミクスを組み込むことを可能にする。
SNNでは、各ニューロンは膜電位を維持する。これは、接続されたニューロンから入力スパイクを受け取ると上下する内部状態である。この電位が定義された閾値に達すると、ニューロンは発火し、下流のニューロンにスパイクを送信する。発火後、電位はより低い値にリセットされる。このイベント駆動型の挙動は、標準的なDeep learningモデルで使用される連続活性化関数とは対照的であり、SNNをMachine learning内の明確なパラダイムにしている。
最も広く使用されているスパイキングニューロンモデルは、リーキー積分発火モデルであり、電位を微分方程式として記述する。入力スパイクは電位を上下に押し上げ、リーク項は時間の経過とともに電位を減衰させる。閾値に達すると、ニューロンは発火し、電位はリセットされる。このモデルは、生物学的妥当性と計算効率のバランスを取り、SNN研究における一般的な選択肢となっている。
歴史的発展
スパイキングニューロンの生物学的基礎は1952年に遡り、アラン・ホジキンとアンドリュー・ハクスリーが活動電位の開始と伝播のモデルを発表し、後にノーベル賞を受賞した。その後のモデル、例えばフィッツヒュー・南雲モデル（1961-1962年）やヒンドマーシュ・ローズモデル（1984年）は、ニューロンダイナミクスの記述を洗練させた。これらの取り組みから派生したリーキー積分発火モデルは、ホジキン・ハクスリー方程式よりも計算が容易であるため、人気を博した。
人工スパイキングネットワークの概念は21世紀に注目を集めたが、初期の理論的研究は1970年代に登場し、1980年から1995年にかけての研究はスパイクベースの計算の実現可能性を支持した。これらの初期の取り組みは、非アルゴリズム的で生物学的に着想を得た情報処理をシミュレートすることを目的としていた。2019年時点で、SNNは多くのタスクで従来のANNよりも精度が低かったが、その差は縮まっており、一部のベンチマークでは消滅していた。
情報符号化と計算
神経科学における中心的な疑問は、ニューロンが発火率を通じて通信するのか、それともスパイクの正確なタイミングを通じて通信するのかということである。出力がスパイクの平均周波数であるレートベースの符号化は、従来のANNの連続出力に類似している。しかし、神経生物学的証拠は、レートベースのスキームが非常に高速な処理を説明できないことを示唆している。例えば、人間は網膜から側頭葉までの連続する層を横切るニューロンあたりわずか10ミリ秒で画像認識を実行でき、この時間窓はレートベースの符号化には短すぎる。正確なスパイクタイミングを使用する時間的符号化は、より高い情報容量を提供し、高速な計算をサポートする。
SNNは連続時間領域で動作し、離散値ではなくスパイク列として入力を処理する。これにより、実世界の感覚信号などの時空間データに適している。多くの場合、ニューロンを畳み込みフィルターと同様に近傍のニューロンにのみ接続し、スパイクタイミングに時間を直接エンコードすることで、リカレントネットワークの複雑さを回避する。レートコード、最初のスパイクまでの時間、スパイク間間隔など、さまざまなデコード方法がスパイク列を実数値出力に変換する。
トレーニングの課題とアプローチ
SNNのトレーニングは、スパイク生成プロセスが微分可能ではないため、重大な課題を提示する。スパイクの全か無かという性質は、活性化関数の導関数がほぼどこでもゼロであることを意味し、バックプロパゲーションなどの勾配ベースの最適化手法を妨げる。これにより、標準的なDeep learning技術のSNNへの適用が制限されてきた。
研究者はこの障害を克服するためにいくつかの戦略を開発してきた。1つのアプローチは、ヘブ則やスパイクタイミング依存可塑性（STDP）などの生物学的に着想を得た局所学習則を使用することで、グローバルな勾配を必要としない。別の方法は、従来のレートベースのネットワークをトレーニングしてからSNNに変換することである。3つ目のアプローチは、ネットワークモデルを滑らかにして連続微分可能にすることであり、4つ目は、真の勾配の連続緩和である代理勾配を定義して、近似バックプロパゲーションを可能にすることである。これらの技術はSNNのパフォーマンスを向上させたが、教師ありトレーニングは一部のアプリケーションで第2世代ネットワークに依然として遅れをとっている。
ハードウェアとアプリケーション
SNNは、計算容量の点で理論的には従来のANNよりも強力であるが、その実用性は高い計算コストと特殊なハードウェア要件によって制限されている。現実的なニューラルモデルのシミュレーションは、従来のネットワークの実行よりも高価であり、スパイクベースの計算は、イベント駆動型処理をサポートするニューロモーフィックチップをしばしば必要とする。これらのハードルにもかかわらず、SNNはエッジデバイスでのエネルギー効率の高い推論、リアルタイムの感覚処理、脳に着想を得たコンピューティングのために探索されている。研究が進むにつれて、SNNと従来のANNの間のギャップは縮まり続けており、Artificial intelligenceにおける活発な研究分野となっている。