エルマンネットワークは、1990年にジェフリー・エルマンによって導入されたリカレントニューラルネットワークの一種である。これは、テキスト、音声、時系列データなど、要素の順序が重要となるシーケンシャルデータを処理するために設計されている。入力を独立に処理するフィードフォワードニューラルネットワークとは異なり、エルマンネットワークはリカレント接続を用いて、シーケンス内の時間的依存関係やパターンを捕捉する。
このアーキテクチャは、入力層、隠れ層、出力層に加えて、追加のコンテキストユニットで構成される。これらのコンテキストユニットは、前のタイムステップにおける隠れ層の活性化のコピーを格納し、現在のタイムステップでそれを隠れ層にフィードバックする。このフィードバック機構により、ネットワークは短期記憶の一種を獲得し、過去の入力から学習し、その知識を現在の処理に組み込むことができる。エルマンネットワークは、しばしば単純リカレントネットワーク（SRN）として説明され、機械学習および深層学習におけるシーケンスモデリング研究の基礎モデルとして機能する。
歴史的背景
エルマンネットワークは、1980年代から1990年代初頭にかけてのニューラルネットワークの復興期に登場した。これは、1986年にマイケル・I・ジョーダンによって導入されたジョーダンネットワークなど、他の影響力のあるリカレントアーキテクチャと並んで提案された。ジョーダンネットワークが出力層の前の状態を格納するコンテキストユニットを使用したのに対し、エルマンネットワークは隠れ層の状態を格納し、これが特定のタスクにおいてより効果的であることが証明された。このネットワークは、研究者が人工知能が時間的依存関係をモデル化する方法を探求していた時期に開発され、認知科学や神経科学から着想を得ていた。ジェフリー・エルマンの研究は、特に心理言語学の分野で影響力を持ち、ネットワークは人間が言語を処理し学習する方法をモデル化するために使用された。
アーキテクチャと機能
エルマンネットワークのアーキテクチャは、後のリカレントモデルと比較して比較的単純である。各タイムステップで、ネットワークは入力ベクトルを受け取り、それを前のタイムステップにおける隠れ層の活性化であるコンテキストベクトルと結合する。この結合された入力は、隠れ層を通過し、隠れ層はシグモイドや双曲線正接などの非線形活性化関数を適用する。隠れ層の出力は、ネットワークの出力を生成するために使用され、そのコピーは次のタイムステップのためにコンテキストユニットに格納される。
この設計により、ネットワークは時間とともに進化する状態を維持でき、可変長のシーケンスを処理できる。しかし、エルマンネットワークは勾配消失問題に悩まされ、長距離依存関係を学習する能力が制限される。この問題は、後に1997年に長短期記憶（LSTM）アーキテクチャによって対処され、情報の流れを制御するゲーティング機構が導入された。この制限にもかかわらず、エルマンネットワークは貴重な教育ツールであり、リカレントアーキテクチャを理解するためのベースラインとして残っている。
応用
エルマンネットワークは、シーケンシャルデータを伴うさまざまなタスクに適用されてきた。初期の頃は、言語モデリングに使用され、前の単語に基づいてシーケンス内の次の単語を予測できた。また、音声認識、手書き文字認識、その他の時系列予測タスクにも応用された。ネットワークが単純な文法構造を学習できる能力は、認知科学の研究、特に子供の言語獲得のモデル化において人気のある選択肢となった。
現代のアーキテクチャであるトランスフォーマーは、長距離依存関係の優れた処理と並列化可能性により、多くのシーケンス処理タスクで支配的になっているが、エルマンネットワークは、計算効率とリアルタイム処理が重要となる状況で依然として関連性を持っている。その単純さにより、実装とトレーニングが容易で、より複雑なリカレントモデルを理解するための構成要素として機能する。
遺産と影響
エルマンネットワークは、ニューラルネットワークの分野に永続的な影響を与えてきた。これは、時間的データのモデル化におけるリカレント接続の重要性を確立するのに貢献し、ゲート付きリカレントユニット（GRU）や双方向リカレントネットワークを含む後続のアーキテクチャの開発に影響を与えた。コンテキストユニットの概念は、メモリ拡張ネットワークの研究を刺激し、ニューラルネットワークが内部状態を維持する方法のより広範な理解に貢献した。
近年、エルマンネットワークの基礎となる原理は、リカレント機構と注意機構を組み合わせたハイブリッドモデルに組み込まれている。ネットワーク自体は今日の大規模な本番システムではほとんど使用されていないが、深層学習に関する大学のコースでは標準的なトピックとして残っており、単純リカレントネットワークの基礎的な例として学術文献で頻繁に引用されている。