ADALINE（Adaptive Linear Neuron、後にAdaptive Linear Element）は、初期の単層人工ニューラルネットワークであり、それを実装した物理デバイスの名称でもある。1960年にスタンフォード大学のバーナード・ウィドロー教授と彼の博士課程学生マーシアン・ホフによって開発された。パーセプトロンに基づいており、重み、バイアス、および加算関数で構成される。重みとバイアスは、レオスタット（「ノブ付きADALINE」に見られる）によって実装され、後にメミスタによって実装された。適応信号処理、特に適応ノイズフィルタリングで広く使用された。
ADALINEと標準（ローゼンブラット）パーセプトロンの違いは、学習方法にある。ADALINEユニットの重みは、ヘヴィサイド関数を適用する前に教師信号に一致するように調整されるが、標準パーセプトロンのユニットの重みは、ヘヴィサイド関数を適用した後に正しい出力に一致するように調整される。ADALINEユニットの多層ネットワークはMADALINEとして知られている。
アーキテクチャと動作
ADALINEは、複数のノードを持つ単層ニューラルネットワークであり、各ノードは複数の入力を受け取り、1つの出力を生成する。入力ベクトルx、重みベクトルw、入力数N、バイアスbが与えられたとき、出力oは重み付き和として計算される：o = sum_{n=1}^{N} x_n w_n + b。さらにx_0 = 1およびw_0 = bと仮定すると、出力はo = sum_{n=0}^{N} x_n w_nに簡約される。
ネットワークの線形加算関数は、個々のユニット内に非線形活性化関数を導入した後のモデルと区別される。物理的な実装では、重みに調整可能な抵抗器（レオスタット）を使用し、トレーニング中のリアルタイム適応を可能にした。後のバージョンでは、メモリを持つ抵抗器の一種であるメミスタを採用し、よりコンパクトで安定した重みの保存を実現した。
学習則
ADALINEが使用する学習則は、LMS（最小二乗平均）アルゴリズムであり、勾配降下法の特殊なケースである。学習率eta、モデル出力o、目標値yが与えられたとき、誤差の二乗はE = (y - o)^2と定義される。LMSアルゴリズムは重みを次のように更新する：w <- w + eta (y - o) x。この更新則は誤差の二乗Eを最小化し、実際には線形回帰に対する確率的勾配降下法の更新である。
このアプローチは、閾値処理後のバイナリ出力に基づいて重みを調整したパーセプトロンの誤差訂正則からの大きな逸脱であった。ヘヴィサイド関数を適用する前に連続誤差を最小化することで、ADALINEはより滑らかな収束とノイズ環境での優れた性能を達成でき、適応フィルタリングアプリケーションに特に適していた。
MADALINE
MADALINE（Many ADALINE）は、分類のための3層（入力、隠れ、出力）の完全結合フィードフォワードニューラルネットワークアーキテクチャであり、隠れ層と出力層にADALINEユニットを使用する。その活性化関数は符号関数である。3層ネットワークはメミスタを使用する。符号関数は微分不可能であるため、バックプロパゲーションを使用してMADALINEネットワークをトレーニングすることはできない。したがって、Rule I、Rule II、Rule IIIと呼ばれる3つの異なるトレーニングアルゴリズムが提案されている。
多くの試みにもかかわらず、研究者はMADALINEモデルで1層以上の重みをトレーニングすることに成功しなかった。これは、ウィドローが1985年にユタ州スノーバードで開催された会議でバックプロパゲーションアルゴリズムを見るまで続いた。
MADALINE Rule 1（MRI）は1962年に遡り、2層で構成される：最初の層はADALINEユニットで作られ、2番目の層は2つのユニットを持つ。1つは多数決ユニットで、すべての出力を受け取り、正の数が負の数より多ければ+1を出力し、その逆も同様である。もう1つは「ジョブアサイナー」であり、望ましい出力が多数決出力と異なる場合、出力を変更しなければならないADALINEユニットの最小数を計算し、負に最も近いものを選択し、ADALINE学習則に従ってその重みを更新する。これは「最小擾乱原理」の一形態と考えられた。
構築された最大のMADALINEマシンは1000個の重みを持ち、それぞれがメミスタで実装されていた。1963年に構築され、学習にMRIを使用した。一部のMADALINEマシンは、倒立振子のバランス調整、天気予報、音声認識などのタスクを実行することが実証された。
MADALINE Rule 2（MRII）は1988年に記述され、Rule Iを改良した。Rule IIトレーニングアルゴリズムは「最小擾乱」と呼ばれる原理に基づいている。これはトレーニング例をループし、各例について、予測の信頼度が最も低い隠れ層ユニットを見つけ、そのユニットの符号を暫定的に反転させ、ネットワークの誤差が減少するかどうかに基づいて変更を受け入れるか拒否し、誤差がゼロになったときに停止する。さらに、単一ユニットの符号を反転しても特定の例の誤差がゼロにならない場合、トレーニングアルゴリズムはユニットのペアの符号を反転し始め、次にトリプルなどと続ける。
MADALINE Rule 3は、符号の代わりにシグモイド活性化を持つ修正ネットワークに適用された。後にこれはバックプロパゲーションと等価であることが判明した。
遺産と影響
ADALINEとその後継であるMADALINEは、ニューラルネットワークと機械学習の発展の基盤となった。ウィドローによって導入されたLMSアルゴリズムは適応信号処理の基礎となり、後の深層学習の発展に影響を与えた。閾値処理前に連続誤差を最小化するという概念は、微分可能な損失関数を用いたニューラルネットワークのトレーニングにおける現代のアプローチを先取りしていた。
ADALINE自体は線形問題に限定されていたが、その重み適応と誤差最小化の原理は、より複雑なアーキテクチャに引き継がれた。1960年代のスタンフォードAIラボでの研究は、Xerox PARCや他の研究機関からの貢献とともに、人工ニューラルネットワークの分野を確立するのに役立った。最小擾乱原理は後に、オンライン学習アルゴリズムのさまざまな形で再浮上した。
レオスタットとメミスタを使用したADALINEの物理的実装は、ニューラルネットワークのアナログコンピューティングの実現可能性も実証し、この概念は現代のニューロモルフィックハードウェアで再び関心を集めている。ウィドローの貢献は、初期のパーセプトロン研究と後のトランスフォーマーベースのモデルを橋渡しする、人工知能の歴史における極めて重要なものとして認識されている。