バックプロパゲーションは、ニューラルネットワークの損失が各重みに対してどのように変化するかを計算するために使用されるアルゴリズムであり、ネットワークの層を逆方向にたどって微積分の連鎖律を適用する。これは、勾配降下法を用いた深層ネットワークの訓練を計算上実現可能にするメカニズムであり、個々の重みごとにコストのかかる計算を別途行うのではなく、単一の順伝播とほぼ同じ時間で更新に必要なすべての勾配を計算する。
歴史
バックプロパゲーションの背後にある数学的手法である逆モード自動微分は、1960年代から様々な形で記述されており、ポール・ウェルボスは1974年のハーバード大学博士論文でこれをニューラルネットワークに明示的に適用したが、当時はほとんど注目されなかった。バックプロパゲーションが主流のAI研究に登場したのは、1986年にデビッド・ラメルハート、ジェフリー・ヒントン、ロナルド・ウィリアムズがネイチャー誌に発表した論文「誤差逆伝播による表現の学習」においてであり、この手法が多層ネットワークを訓練して有用な内部表現を発見できることを実証し、20年前にマービン・ミンスキーとシーモア・パパートが単層パーセプトロンに対して指摘した限界に直接的に応えた。この1986年の論文は、第二のAI冬の時代を終わらせ、1980年代後半から1990年代にかけてコネクショニスト的アプローチへの関心を復活させたと広く評価されている。
仕組み
ネットワークの順伝播は、現在の入力と重みから出力と損失関数の値を計算する。バックプロパゲーションはその後、その損失から逆方向に進み、連鎖律を用いて層ごとに各重みが誤差にどれだけ寄与したかを計算し、単一の逆伝播でネットワーク内のすべてのパラメータに対する勾配を生成する。これらの勾配はその後、最適化器（通常は勾配降下法の変種）によって使用され、損失を減らす方向に各重みを微調整する。この逆方向計算の効率性は、形式的には逆モード自動微分の一例であり、数十億のパラメータを持つネットワークの訓練を実用的にしている。各勾配を独立に再計算する素朴な数値的手法は、その規模では計算上扱いきれないものになる。
採用と限界
1986年の普及にもかかわらず、バックプロパゲーションはすぐには支配的にならなかった。1990年代から2000年代にかけて、バックプロパゲーションで訓練された深層ネットワークは、層が多い場合に勾配の消失や爆発に悩まされ、実用的な深さが制限され、より浅いモデルやサポートベクターマシンなどの代替手法が好まれる一因となった。LSTMネットワークのゲーティング機構、慎重な重み初期化、その後の残差接続や正規化層などのアーキテクチャ上の修正がこれらの問題を徐々に解決し、現代の深層学習を定義する非常に深いネットワーク（畳み込みニューラルネットワークや最終的にはトランスフォーマーを含む）を可能にした。バックプロパゲーション自体も科学的批判を受けており、特に後年ジェフリー・ヒントンが生物学的に非現実的であると指摘した。脳には、このアルゴリズムが必要とする正確で対称的な逆方向誤差信号の既知のメカニズムがないため、より生物学的に妥当な学習則の研究が続いているが、これまでのところ実用的な性能ではバックプロパゲーションに匹敵していない。
重要性
バックプロパゲーションは、コンピュータビジョンから自然言語処理に至るまで、あらゆる領域のニューラルネットワークのほぼ普遍的な訓練方法であり続けており、PyTorchやTensorFlowを含むすべての主要な深層学習フレームワークは、これを大規模に実装する自動微分エンジンを中心に構築されている。