BCPNN（ベイズ信頼伝播ニューラルネットワーク）は、ベイズ確率伝播を通じて学習と推論を実装する人工ニューラルネットワークモデルの一種である。誤差逆伝播法によって主にシナプス重みを調整する従来のコネクショニストモデルとは異なり、BCPNNフレームワークは、ベイズの定理を用いて仮説（入力パターンやカテゴリなど）に対する信頼値を維持・更新し、確率的推論と連想記憶を可能にする。このアプローチは計算神経科学に根ざしており、パターン認識から認知アーキテクチャまで幅広い応用が探求されてきた。
1980年代後半に開発され、その後数十年にわたって洗練されてきたBCPNNモデルは、Nokia Bell LabsやSamsung Researchなどの機関を中心に、学術および産業研究の場で研究されてきた。このモデルの設計は生物学的妥当性を重視し、ニューロンが刺激に対する確率分布を符号化する皮質処理との類似性を引き出している。BCPNNは、作業記憶、意思決定、系列学習のシミュレーションに使用され、後のMachine learningやNeural network理論にも影響を与えてきた。
基本原則
BCPNNアルゴリズムは、各ユニット（ニューロン）がその入力に対して事後確率を計算することで動作し、ベイズ推論の一形態を用いる。ユニット間の各接続は単一の重みではなく、前シナプス活動と後シナプス活動の同時確率を近似する一連のパラメータを格納する。学習中、これらの確率は観測された共活動に基づいて更新され、通常、ユニットが同時に発火するときに信頼度を高めるヘブ則に似た規則を用いる。推論は、これらの信頼値をネットワーク全体に伝播させ、しばしば反復的または再帰的な処理を通じて、入力の最も可能性の高い解釈に収束させることを含む。
重要な特徴は、「信頼度」尺度の使用であり、これは対数確率比として解釈できる。これにより、ネットワークは不確実性を表現し、複数のソースからの証拠を原理的に組み合わせることができる。トレーニングを正則化するDropoutやBatch Normalizationとは異なり、BCPNNの確率的定式化は、ノイズの多い不完全なデータを扱うための自然なメカニズムを提供する。
歴史的発展
BCPNNの概念は、1980年代後半にAnders Lansnerらによって導入され、ベイジアンネットワークと神経モデリングにおける初期の研究に基づいている。1990年代初頭の初期の出版物は、ネットワークが高い容量と堅牢性でパターンを保存および検索できる連想記憶タスクにおけるその有用性を実証した。長年にわたり、モデルは再帰接続、時間的ダイナミクス、多層アーキテクチャを含むように拡張された。
1990年代のNokia Bell Labsでの研究は、信号分類や故障検出などの電気通信アプリケーション向けにBCPNNを探求した。その後、Samsung Researchは、その低消費電力と増分学習特性を活用して、オンデバイスAI向けにBCPNNを調査した。このモデルは、その確率的性質が意思決定の透明性を提供するため、Artificial intelligenceの安全性と解釈可能性の文脈でも参照されている。
応用
BCPNNはさまざまな領域に適用されてきた。認知モデリングでは、パターン補完や干渉効果などの人間の記憶の側面をシミュレートしてきた。ロボティクスでは、BCPNNベースのコントローラが感覚運動学習に使用され、ロボットが変化する環境に適応できるようにしている。自然言語処理では、BCPNNの変種が系列予測のために探求されてきたが、Transformer (architecture)ベースのLarge language modelに大部分が取って代わられている。
より最近では、BCPNNはエッジコンピューティングや組み込みシステムで考慮されており、その単純な更新規則と低メモリフットプリントが有利である。たとえば、Samsung Electronicsは、モバイルデバイスでの効率的なオンチップ学習のためのBCPNNベースの方法を特許取得している。さらに、このモデルは皮質情報処理を理解するための神経科学研究で使用されており、Carnegie Mellon UniversityやUniversity of Torontoでの研究が神経データとの整合性を検討している。
他のモデルとの比較
BCPNNは、トレーニングにAdam (Optimizer)やStochastic Gradient Descent Variantsに依存する主流のDeep learningアプローチとは根本的に異なる。ディープネットワークは勾配ベースの最適化を使用して損失関数を最小化する一方、BCPNNはより生物学的に妥当な局所的でヘブ則に似た更新を使用する。これにより、BCPNNは破滅的忘却の影響を受けにくく、継続学習シナリオにより適している。ただし、BCPNNは、Residual Network (ResNet)やTransformer (architecture)が優れる画像認識や言語モデリングなどの大規模タスクで同じスケーラビリティを達成していない。
不確実性表現の観点では、BCPNNはベイジアンニューラルネットワークに類似しているが、サンプリングや変分推論の計算オーバーヘッドを回避する。その信頼伝播は信念伝播の一形態と見なすことができ、確率的グラフィカルモデルに結び付ける。この接続は、構造化データのパフォーマンス向上のためにBCPNNとMulti-Head Attentionメカニズムを組み合わせたハイブリッドアプローチに影響を与えてきた。
現在の状況と将来の方向性
2020年代半ばの時点で、BCPNNは計算神経科学とニューロモルフィックコンピューティングの活発な研究領域であり続けている。その並列性とイベント駆動性を活用するために、GraphcoreのIPUやGroqのテンソルストリーミングプロセッサなどの専用ハードウェアにBCPNNを実装する取り組みが進行中である。バックプロパゲーションなしでオンライン学習を実行するモデルの能力は、ロボティクスや自律システムのリアルタイムアプリケーションにとって魅力的である。
将来の方向性には、BCPNNをGenerative AIフレームワークと統合することが含まれ、その確率的基盤が生成出力の信頼性を向上させる可能性がある。研究者はまた、スパース接続やModel Pruning技術を使用してBCPNNをより大きなネットワークにスケーリングする方法を探求している。BCPNNが支配的なパラダイムを置き換えることはないかもしれないが、その独自の特性は専門的なニッチでの継続的な関連性を保証する。