フィードバックニューラルネットワークは、接続が有向サイクルを形成し、情報がループ内を流れることを可能にする人工ニューラルネットワークの一種である。信号が入力から出力へ厳密に移動するフィードフォワードネットワークとは異なり、フィードバックネットワークは時間とともに進化する内部状態を維持し、逐次データの処理、動的システムのモデリング、メモリの実装に適している。一般的な例としては、リカレントニューラルネットワーク（RNN）、ホップフィールドネットワーク、エコー状態ネットワークが挙げられる。これらのアーキテクチャは、リカレントまたはゲート付きフィードバック機構を使用する大規模言語モデルを含む、多くの現代の機械学習システムの基盤となっている。
フィードバックニューラルネットワークの決定的な特徴は、リカレント接続の存在である。これらのループにより、ネットワークは以前のタイムステップからの情報を保持でき、実質的に短期記憶の一種を与える。この特性は、時系列予測、音声認識、自然言語処理、制御システムなどのタスクに不可欠である。フィードバックは、ローカル（層内）、グローバル（層間）、またはその両方であり、自己接続を含むことができる。このようなネットワークのダイナミクスは微分方程式または差分方程式によって支配され、その挙動は重みと活性化関数に応じて、安定した固定点からカオス的な振動まで多岐にわたる。
歴史的発展
神経計算におけるフィードバックの概念は、20世紀半ばに遡る。1943年、ウォーレン・マカロックとウォルター・ピッツは、バイナリ閾値を持つ単純なニューロンモデルを提案したが、フィードバックは含まれていなかった。1956年、フランク・ローゼンブラットはフィードフォワードネットワークであるパーセプトロンを導入したが、限界がすぐに特定された。1969年、マービン・ミンスキーとシーモア・パパートは、単層パーセプトロンが非線形問題を解けないことを指摘し、研究は一時的に停滞した。しかし、1982年にジョン・ホップフィールドがホップフィールドネットワークを導入し、パターンを保存および検索できるリカレント連想記憶モデルを提案したことで、フィードバックネットワークへの関心が復活した。ほぼ同時期に、バークレーの研究者らや他の人々がリカレントバックプロパゲーションを探求した。1985年、カーネギーメロンの研究者らは、リカレントネットワークのトレーニングを可能にするバックプロパゲーション・スルー・タイムアルゴリズムを開発した。その後、1997年にゼップ・ホフライターとユルゲン・シュミットフーバーが長短期記憶（LSTM）アーキテクチャを導入し、勾配消失問題に対処して、現代のシーケンスモデリングの基盤となった。
種類とアーキテクチャ
フィードバックニューラルネットワークにはいくつかの形態がある。ホップフィールドネットワークは、対称な重みを持つ完全接続のリカレントネットワークであり、連想記憶と最適化に使用される。1990年にジェフリー・エルマンによって提案されたエルマンネットワークは、以前の隠れ状態を保存するコンテキストユニットを持つ単純なリカレントネットワークである。1986年にマイケル・ジョーダンによって導入されたジョーダンネットワークは、出力を入力層にフィードバックする。2001年にヘルベルト・イェーガーによって開発されたエコー状態ネットワークは、固定された重みを持つランダムに初期化されたリザーバーを使用し、読み出し層のみをトレーニングする。LSTMやゲート付きリカレントユニット（GRU）などのゲート付きアーキテクチャは、学習可能なゲートを組み込んで情報の流れを制御し、勾配消失問題を軽減する。これらの変種は、シーケンス間モデルで広く使用され、トランスフォーマーはハイブリッド設計でリカレントまたはフィードバック様の機構を組み込むことが多い。
トレーニングと課題
フィードバックネットワークのトレーニングは、時間的依存関係のため、フィードフォワードネットワークのトレーニングよりも複雑である。標準的な方法はバックプロパゲーション・スルー・タイム（BPTT）であり、ネットワークを時間的に展開して標準的なバックプロパゲーションを適用する。しかし、BPTTは勾配消失または勾配爆発に悩まされることがあり、長いシーケンスでは勾配が小さすぎたり大きすぎたりする。勾配クリッピング、層正規化、慎重な重み初期化などの技術がこれらの問題を軽減するのに役立つ。さらに、Adamなどのオプティマイザーや学習率スケジュールが一般的に使用される。大規模モデルでは、トレーニングは計算集約的であり、AWS TrainiumやGoogle Cloud TPUなどの専用ハードウェアを必要とすることが多い。これらの課題にもかかわらず、フィードバックネットワークは多くの領域で最先端の結果を達成している。
応用
フィードバックニューラルネットワークは、さまざまな分野で応用されている。自然言語処理では、テキストを生成し、言語を翻訳し、感情分析を実行する言語モデルを支えている。音声認識では、音声信号をテキストに変換する。ロボティクスでは、逐次センサーデータを処理する制御システムを可能にする。金融では、株価を予測し、異常を検出する。医療では、ウェアラブルデバイスからの時系列データを分析する。OpenAIとAnthropicは、主にトランスフォーマーベースでありながら、効率性のためにリカレントまたはフィードバック要素を組み込むことが多い大規模言語モデルを開発している。Google DeepMindは、ゲームプレイと強化学習にリカレントネットワークを使用している。さらに、フィードバックネットワークは、音楽やビデオを作成するための生成AIでも使用されている。
現代のAIとの関係
トランスフォーマーが多くの領域で支配的になっている一方で、フィードバックニューラルネットワークは依然として非常に重要である。トランスフォーマーはシーケンスを並列に処理するが、固有の時間的ダイナミクスを欠いており、しばしば位置エンコーディングに依存する。対照的に、フィードバックネットワークは時間とメモリを自然に処理する。トランスフォーマーとリカレント層を組み合わせたハイブリッドアーキテクチャは、活発な研究分野である。例えば、一部のモデルはリカレント機構を使用してコンテキストを圧縮し、計算コストを削減する。フィードバックの原理は、エージェントが試行錯誤を通じて学習する強化学習やRLHF（人間のフィードバックからの強化学習）にも基本である。2020年代半ばの時点で、フィードバックニューラルネットワークは、効率的なシーケンスモデリングとニューロモルフィックコンピューティングにおける革新を引き続き刺激している。
関連項目
参考文献
- Hopfield, J. J. (1982). Neural networks and physical systems with emergent collective computational abilities.
- Hochreiter, S., & Schmidhuber, J. (1997). Long short-term memory.
- Elman, J. L. (1990). Finding structure in time.
- Jaeger, H. (2001). The echo state approach to analysing and training recurrent neural networks.