モーメンタム最適化器は、勾配ベースの最適化を加速するための手法であり、特にニューラルネットワークの訓練において用いられる。これは、標準的な確率的勾配降下法（SGD）の収束の遅さと振動の問題に対処するために導入された。過去の勾配からの情報を運ぶ速度ベクトルを蓄積することで、モーメンタムは更新軌道を平滑化し、一貫した方向に沿ってより速く移動できるようにしつつ、高曲率領域での振動を減衰させる。この手法は機械学習と深層学習の基礎をなし、AdamやRMSPropなどの多くの現代的な最適化器の基盤を形成している。
モーメンタムの核となる考え方は、丘を転がり落ちるボールに類似している。降下するにつれて速度を増し、その動きは現在の勾配と以前の速度の両方に影響される。数学的には、モーメンタムの更新則は次のようになる。v_t = μ v_{t-1} - η ∇L(θ_t)、θ_{t+1} = θ_t + v_t。ここで、vは速度ベクトル、μはモーメンタム係数（通常0.9）、ηは学習率、∇Lは損失関数の勾配である。この定式化は1980年代にユーリー・ネステロフによって広められ、彼はまた、先読み位置で勾配を評価するネステロフ加速勾配（NAG）と呼ばれる変種も提案し、さらに速い収束を実現した。
歴史的発展
最適化におけるモーメンタムの概念は、現代の深層学習より前から存在する。1964年、バーナード・ウィドローとマーシアン・ホフは、更新を安定化するためのモーメンタムの一種を含む最小平均二乗（LMS）アルゴリズムを導入した。しかし、勾配降下法に対する正式なモーメンタム法は、1964年にボリス・ポリャクによって提案された重球法である。この手法は、1983年にユーリー・ネステロフによって、凸問題に対して最適な収束率を達成する加速勾配法として改良された。1980年代から1990年代にかけて、モーメンタムはニューラルネットワークの訓練における標準的なツールとなり、デイビッド・E・ルメルハート、ジェフリー・ヒントン、ロナルド・ウィリアムズによる教科書に記録され、彼らはバックプロパゲーションを広め、学習を高速化するためにモーメンタムを使用した。
数学的定式化
モーメンタム最適化器は、標準的なSGD更新に速度項を導入することで修正する。標準的なSGD更新はθ_{t+1} = θ_t - η ∇L(θ_t)である。モーメンタムを用いると、更新は次のようになる。v_t = μ v_{t-1} - η * ∇L(θ_t)、θ_{t+1} = θ_t + v_t。ここで、μはモーメンタム係数であり、通常0.5から0.9の間に設定される。μが高いほど過去の勾配に重みが置かれ、更新が滑らかになるが、新しい勾配方向への応答が遅くなる可能性がある。速度ベクトルvは、過去の勾配の指数関数的に減衰する平均を蓄積する。この平均化により更新の分散が減少し、ミニバッチを用いた確率的勾配降下法のように勾配がノイズを含む場合に特に有益である。
ネステロフ加速勾配（NAG）は、先読み点で勾配を計算する変種である。v_t = μ v_{t-1} - η ∇L(θ_t + μ * v_{t-1})、θ_{t+1} = θ_t + v_t。この先読みにより、NAGは「未来を覗く」ことができ、より迅速にコースを修正し、多くの設定でより速い収束を達成できる。実際には、NAGは標準的なモーメンタムよりも優れた性能を発揮することが多く、特に凸問題や深いネットワークにおいて顕著である。
ニューラルネットワーク訓練における役割
深いニューラルネットワークの訓練において、モーメンタムは収束を加速し、安定性を向上させるために広く使用されている。モーメンタムがない場合、SGDは急峻な方向に沿って振動し、緩やかな方向に沿ってゆっくりとしか進行しない。モーメンタムは勾配を平均化することで振動を減衰させ、一貫した方向に大きなステップを取ることを可能にする。これは、多くの層を持つ深いアーキテクチャの訓練において特に重要であり、損失関数の地形は高度に非凸で、多くの局所最小値や鞍点を含む。モーメンタムは速度を蓄積することで鞍点を脱出するのに役立ち、平坦な領域を越えて最適化器を運ぶことができる。
TensorFlowやPyTorchなどの現代の深層学習フレームワークは、SGD最適化器の標準パラメータとしてモーメンタムを含んでいる。例えば、PyTorchのtorch.optim.SGDはmomentum引数を受け入れ、TensorFlowのtf.keras.optimizers.SGDにはmomentumパラメータがある。これらの実装により、実践者は訓練パイプラインに簡単にモーメンタムを追加できる。
変種と拡張
モーメンタムの概念に基づく最適化器はいくつかある。最も注目すべきは、2015年にディーデリク・P・キングマとジミー・バーによって導入されたAdam（適応モーメント推定）である。Adamはモーメンタムとパラメータごとの適応学習率を組み合わせ、勾配の一次モーメント（平均）と二次モーメント（非中心分散）の両方を使用する。これにより、Adamはスパースな勾配やノイズの多いデータに対して頑健であり、深層学習で最も人気のある最適化器の一つとなっている。ジェフリー・ヒントンが講義ノートで導入したRMSPropは、二乗勾配の移動平均を使用して学習率を正規化し、モーメンタムの一種も組み込んでいる。他の変種には、履歴勾配に基づいて学習率を適応させるAdaGradや、ネステロフモーメンタムとAdamを組み合わせたNadamなどがある。
実用的考慮事項
モーメンタムを使用する際、モーメンタム係数μの選択が重要である。一般的なデフォルトは0.9であるが、非常にノイズの多い勾配には0.95や0.99などの値が使用される。学習率ηはモーメンタムと併せて調整する必要があり、モーメンタムが高いほど大きな学習率が可能になるが、学習率が高すぎると発散を引き起こす可能性がある。実際には、学習率スケジュール（ステップ減衰やコサインアニーリングなど）がモーメンタムと組み合わせて使用され、良好な性能を達成することが多い。さらに、重み減衰（L2正則化）は、AdamWのように干渉を避けるためにモーメンタムとは別に適用されることが多い。
モーメンタムは、大規模言語モデルやトランスフォーマーの訓練など、他の最適化コンテキストでも使用されている。例えば、GPTやBERTのようなモデルの訓練では、Adamとモーメンタムがしばしば使用され、大きなパラメータ空間とミニバッチ訓練によるノイズの多い勾配を処理するのに役立つ。
他の最適化器との比較
プレーンなSGDと比較して、モーメンタムはより速く収束し、学習率に対する感度が低い。しかし、調整が必要な追加のハイパーパラメータ（μ）を導入する。Adamのような適応的手法と比較すると、モーメンタムはより単純で、特にコンピュータビジョンにおいて一部のタスクでより良い汎化性能を発揮することが多い。研究によると、モーメンタム付きSGDは、特定のアーキテクチャにおいてAdamよりも優れたテスト精度を達成できるが、Adamは初期段階でより速く収束する。これにより、訓練中にAdamからモーメンタム付きSGDへ切り替えるなどのハイブリッドアプローチが生まれた。
影響と遺産
モーメンタム最適化器は、人工知能の分野に多大な影響を与えてきた。これは最適化ツールボックスにおける基本的なツールであり、そうでなければ実用的でない深いネットワークの訓練を可能にする。その原理は他の多くの最適化器に拡張され、研究と産業の両方で標準的なベースラインとして今もなお使用されている。モーメンタムの概念は、強化学習や生成AIなど他の分野にも影響を与え、訓練の安定化に使用されている。
参考文献とさらなる読み物
包括的な理解のために、読者はポリャク（1964年）とネステロフ（1983年）の原著論文、およびイアン・グッドフェロー、ヨシュア・ベンジオ、アーロン・クールヴィルによる深層学習の教科書を探索することをお勧めする。これらはモーメンタムを詳細に扱っている。PyTorchやTensorFlowのドキュメントなどのオンラインリソースは、モーメンタムの実装に関する実践的なガイダンスを提供している。