BiLSTM（双方向長短期記憶）は、系列モデリング用に設計されたリカレントニューラルネットワークの一種である。これは、標準的なLSTMアーキテクチャを拡張し、入力データを2方向で同時に処理する。一方の層は系列を先頭から末尾へ読み取り、もう一方の層は末尾から先頭へ読み取る。両方向の出力は、通常は連結によって組み合わされ、系列内の先行要素と後続要素の両方からの文脈を組み込んだ表現を生成する。この双方向アプローチは、入力の完全な文脈を理解することが重要となるタスク、例えば自然言語処理や時系列分析において特に効果的である。
BiLSTMは、LSTMの改良版として導入された。LSTM自体は、初期のリカレントネットワークにおける勾配消失問題に対処するために開発されたものである。系列を双方向に処理することで、BiLSTMは、未来の文脈が現在の要素の意味に影響を与える場合に、単方向LSTMが見逃す可能性のある依存関係を捕捉する。この能力により、BiLSTMは多くの深層学習アーキテクチャにおいて基礎的な構成要素となり、特にTransformerベースのモデルが広く採用される以前は顕著であった。
アーキテクチャとメカニズム
BiLSTMは、2つの独立したLSTM層で構成される。前方層は入力系列を元の順序で処理し、過去の要素からの情報を符号化した隠れ状態を生成する。後方層は系列を逆順で処理し、未来の要素からの情報を捕捉する。各タイムステップにおいて、両層の隠れ状態は組み合わされ（通常は連結）、そのステップの最終出力を形成する。この組み合わせ表現により、モデルは左右両方の文脈に基づいて予測や分類を同時に行うことができる。
各LSTMユニットの内部構造には、セル状態、入力ゲート、忘却ゲート、出力ゲートが含まれる。これらのゲートは情報の流れを調整し、ネットワークが長い系列にわたって関連情報を保持し、無関係な詳細を破棄することを可能にする。BiLSTMでは、2つの層は独立して動作するが、同じ入力を共有し、共同で訓練される。つまり、損失関数からの勾配は、誤差逆伝播中に両方向に伝播する。
系列モデリングにおける応用
BiLSTMは、系列から系列へのタスクに広く応用されてきた。自然言語処理では、品詞タグ付け、固有表現抽出、感情分析に使用され、周囲の単語を両方向で理解することで精度が向上する。例えば、「The bank can guarantee loans」という文では、「bank」という単語は曖昧であるが、BiLSTMは前後の単語の両方を使用して、それが金融機関を指すのか川岸を指すのかを判断できる。
時系列分析では、BiLSTMは異常検知、音声認識、バイオインフォマティクス（例えば、タンパク質の二次構造予測）などのタスクに使用される。双方向処理により、モデルは将来のデータポイントを考慮できるため、系列全体が利用可能なオフライン分析では有利である。しかし、オンラインやリアルタイムのアプリケーションでは、後方パスが遅延を引き起こすため、モデルは出力を生成する前に完全な系列を待つ必要がある。
Transformerとの比較
Transformerモデルが台頭し、自己注意機構を使用するようになって以来、BiLSTMは多くの最先端システムにおいて支配的な地位を失っている。Transformerは長距離依存関係をより効率的に捕捉でき、高度に並列化可能である。一方、BiLSTMは系列を逐次的に処理する。しかし、BiLSTMは計算リソースが限られている状況や、データの逐次的な性質が有利となる状況では依然として関連性がある。また、BiLSTMとTransformerエンコーダーを組み合わせたハイブリッドアーキテクチャも、言語モデリングや機械翻訳などのタスクに使用されている。
BiLSTMは、短い系列に対してはTransformerよりもパラメータ効率が良く、小さなデータセットでの訓練が容易な場合がある。また、Transformerで必要とされる位置エンコーディングを必要とせずに、可変長入力を自然に処理できる。しかし、非常に長い系列の場合、BiLSTMの逐次計算がボトルネックとなる一方、Transformerはすべての位置を並列に処理できる。
訓練と最適化
BiLSTMの訓練には、標準的な深層学習技術が用いられる。モデルは通常、時間方向の誤差逆伝播法を使用して訓練され、Adamや確率的勾配降下法などの最適化アルゴリズムが使用される。過学習を防ぐために、ドロップアウトや勾配クリッピングがしばしば使用される。後者は、双方向処理により勾配の大きさが大きくなる可能性があるため重要である。訓練を安定させるために、層正規化も適用されることがある。
前方状態と後方状態の組み合わせ方（連結、加算、平均化）は、モデルの性能に影響を与える。連結が最も一般的であり、各方向からの異なる情報を保持する。各LSTM層の隠れ状態サイズはハイパーパラメータであり、組み合わせ出力のためにそれを2倍にすると、モデルの容量は増加するが、計算コストも増加する。
遺産と影響
BiLSTMは、人工知能の分野に永続的な影響を与えてきた。これは、MIT CSAILやスタンフォードAIラボなどの主要な研究機関で開発された、初期の深層学習システムにおける自然言語処理の主要な構成要素であった。現代の大規模言語モデルは主にTransformerアーキテクチャを使用しているが、BiLSTMは大学のコースで教えられ続けており、音声認識やバイオインフォマティクスなどの専門的なアプリケーションで使用されている。その双方向の原理は、BERTなどの双方向Transformerを含む他のアーキテクチャの設計にも影響を与えており、これらは両側からの文脈を処理するという同様のアイデアを採用している。
要約すると、BiLSTMは、二重のLSTM層を通じて過去と未来の文脈を活用する強力な系列モデルである。その単純さと有効性により、新しいアーキテクチャが登場しても、機械学習ツールキットにおける耐久性のあるツールであり続けている。