デルタ則は、機械学習における基本的な学習アルゴリズムであり、ネットワークの出力と目標値との誤差に基づいて単層のニューラルネットワークの重みを調整するために用いられる。これは、予測出力と実際の目標値との間の平均二乗誤差を最小化する勾配降下法の一形態である。この規則は、各重みを誤差勾配の負の方向に、学習率でスケーリングして更新する。これは、最も初期の教師あり学習規則の一つとして歴史的に重要であり、後の深層学習や人工知能の発展の基盤となっている。
デルタ則は、1960年にバーナード・ウィドローとマーシアン・ホフによって導入され、ADALINE（適応線形ニューロン）モデルのために開発された。彼らのスタンフォード大学での研究は、線形分類器を訓練するための原理的な方法を確立し、誤分類された例のみで重みを修正する初期のパーセプトロン規則とは異なるものであった。対照的に、デルタ則は連続的な誤差修正を適用するため、より頑健であり、線形分離不可能なデータを扱うことができる。
数学的定式化
入力ベクトル\(x\)、重みベクトル\(w\)、目標出力\(t\)を持つ単層ネットワークの場合、デルタ則は各重み\(w_i\)を次のように更新する：
\[ \Delta w_i = \eta (t - y) x_i \]
ここで、\(y\)は実際の出力（多くの場合、線形結合\(w \cdot x\)）であり、\(\eta\)は学習率である。項\((t - y)\)は誤差であり、\(x_i\)との積は\(w_i\)に関する二乗誤差の勾配を与える。この更新は、平均二乗誤差損失を各重みに関して微分することによって導出できる。
この規則は、線形活性化関数、または少なくとも微分可能な活性化関数を仮定しており、勾配ベースの最適化を可能にする。非線形活性化の場合、一般化デルタ則としても知られる誤差逆伝播法が、この考え方を多層ネットワークに拡張し、誤差を隠れ層を通じて逆方向に伝播させる。
パーセプトロン規則との関係
1958年にフランク・ローゼンブラットによって導入されたパーセプトロン学習規則は、ネットワークが分類誤りを犯した場合にのみ、バイナリ閾値を使用して重みを更新する。デルタ則は、すべての例に対して誤差の大きさに比例して重みを更新することでこれを改善する。これにより、回帰タスクや線形分離不可能なデータに適しており、パーセプトロン規則では収束しない可能性がある場合でも、デルタ則は平均二乗誤差を最小化する解に収束する。
歴史的影響と限界
ウィドローとホフによるADALINEとデルタ則の研究は、初期のニューラルネットワーク研究における画期的な出来事であった。これは、勾配ベースの最適化が適応システムを訓練できることを実証し、後のAdamオプティマイザや、現代の深層学習で使用される他の確率的勾配降下法の変種などの発展に影響を与えた。しかし、デルタ則は線形出力を持つ単層ネットワークに限定されており、線形分離可能な問題に制約される。この限界は、単層モデルがXOR関数のような問題を解決できないことを研究者が認識したため、1970年代のいわゆる「AIの冬」に寄与した。復活は1980年代に、デルタ則を隠れ層に一般化した誤差逆伝播法によってもたらされた。
現代における関連性
デルタ則自体が今日直接使用されることは稀であるが、その原理はほぼすべてのニューラルネットワーク訓練に組み込まれている。誤差勾配を計算し、勾配ベースの手法を介して重みを更新するという概念は、依然として中心的なものである。デルタ則はまた、学習率スケジューリングにおいて依然として重要なハイパーパラメータである学習率の概念を導入した。現代のフレームワークでは、デルタ則はより複雑なアルゴリズムへの教育的な足掛かりとして提示されることが多く、入門的な機械学習コースでは標準的なトピックであり続けている。その影響は、大規模言語モデルやトランスフォーマーにまで及び、そこでの最適化技術はこの初期の規則にその系譜をたどることができる。