ADALINE(Adaptive Linear Neuron, 이후 Adaptive Linear Element)은 초기의 단일 계층 인공 신경망이자 이를 구현한 물리적 장치의 이름이다. 1960년 스탠포드 대학에서 버나드 위드로우 교수와 그의 박사 과정 학생인 마시안 호프가 개발했다. 퍼셉트론에 기반을 두고 있으며 가중치, 편향, 합산 함수로 구성된다. 가중치와 편향은 가변 저항기("knobby ADALINE"에서 볼 수 있듯이)로 구현되었고, 이후에는 메미스터로 구현되었다. 적응형 신호 처리, 특히 적응형 잡음 필터링에 광범위하게 사용되었다.
ADALINE과 표준(로젠블랫) 퍼셉트론의 차이는 학습 방식에 있다. ADALINE 단위 가중치는 헤비사이드 함수를 적용하기 전에 교사 신호에 맞게 조정되지만, 표준 퍼셉트론 단위 가중치는 헤비사이드 함수를 적용한 후 올바른 출력에 맞게 조정된다. ADALINE 단위의 다층 네트워크는 MADALINE으로 알려져 있다.
구조 및 동작
ADALINE은 여러 노드를 가진 단일 계층 신경망으로, 각 노드는 여러 입력을 받아 하나의 출력을 생성한다. 입력 벡터 x, 가중치 벡터 w, 입력 수 N, 편향 b가 주어지면 출력 o는 가중 합으로 계산된다: o = sum_{n=1}^{N} x_n w_n + b. 만약 x_0 = 1이고 w_0 = b라고 가정하면 출력은 o = sum_{n=0}^{N} x_n w_n으로 줄어든다.
네트워크의 선형 합산 함수는 개별 단위 내에 비선형 활성화 함수를 도입한 이후 모델과 구별되는 특징이다. 물리적 구현은 가중치에 조정 가능한 저항기(가변 저항기)를 사용하여 훈련 중 실시간 적응을 가능하게 했다. 이후 버전에서는 메모리를 가진 저항기 유형인 메미스터를 사용하여 더욱 컴팩트하고 안정적인 가중치 저장을 구현했다.
학습 규칙
ADALINE이 사용하는 학습 규칙은 경사 하강법의 특수한 경우인 LMS(최소 평균 제곱) 알고리즘이다. 학습률 eta, 모델 출력 o, 목표 값 y가 주어지면 오차의 제곱은 E = (y - o)^2로 정의된다. LMS 알고리즘은 가중치를 다음과 같이 업데이트한다: w <- w + eta (y - o) x. 이 업데이트 규칙은 오차의 제곱인 E를 최소화하며, 실제로 선형 회귀에 대한 확률적 경사 하강법 업데이트이다.
이 접근 방식은 임계값 적용 후 이진 출력에 기반하여 가중치를 조정한 퍼셉트론의 오차 수정 규칙과 크게 달랐다. 헤비사이드 함수를 적용하기 전에 연속 오차를 최소화함으로써 ADALINE은 더 부드러운 수렴과 잡음이 많은 환경에서 더 나은 성능을 달성할 수 있었으며, 특히 적응형 필터링 응용에 적합했다.
MADALINE
MADALINE(Many ADALINE)은 분류를 위한 3계층(입력, 은닉, 출력) 완전 연결 순방향 신경망 아키텍처로, 은닉 및 출력 계층에 ADALINE 단위를 사용한다. 활성화 함수는 부호 함수이다. 3계층 네트워크는 메미스터를 사용한다. 부호 함수는 미분 불가능하므로 역전파를 사용하여 MADALINE 네트워크를 훈련할 수 없다. 따라서 Rule I, Rule II, Rule III라고 불리는 세 가지 훈련 알고리즘이 제안되었다.
많은 시도에도 불구하고 연구자들은 MADALINE 모델에서 단일 계층 이상의 가중치를 훈련하는 데 성공하지 못했다. 위드로우가 1985년 유타주 스노우버드에서 열린 회의에서 역전파 알고리즘을 볼 때까지였다.
1962년으로 거슬러 올라가는 MADALINE Rule 1(MRI)은 두 계층으로 구성된다: 첫 번째 계층은 ADALINE 단위로 만들어지고, 두 번째 계층은 두 개의 단위를 가진다. 하나는 다수결 투표 단위로 모든 출력을 받아 양수가 음수보다 많으면 +1을 출력하고 그 반대의 경우도 마찬가지이다. 다른 하나는 "작업 할당자"로, 원하는 출력이 다수결 투표 출력과 다르면 출력을 변경해야 하는 ADALINE 단위의 최소 수를 계산하고, 음수에 가장 가까운 단위를 선택하여 ADALINE 학습 규칙에 따라 가중치를 업데이트한다. 이는 "최소 교란 원리"의 한 형태로 간주되었다.
가장 큰 MADALINE 기계는 1000개의 가중치를 가졌으며 각각 메미스터로 구현되었다. 1963년에 제작되었고 학습에 MRI를 사용했다. 일부 MADALINE 기계는 역진자 균형, 일기 예보, 음성 인식 등의 작업을 수행하는 것으로 시연되었다.
1988년에 설명된 MADALINE Rule 2(MRII)는 Rule I을 개선했다. Rule II 훈련 알고리즘은 "최소 교란"이라는 원리에 기반한다. 훈련 예제를 반복하면서 각 예제에 대해 예측에 대한 신뢰도가 가장 낮은 은닉 계층 단위를 찾고, 해당 단위의 부호를 잠정적으로 뒤집은 다음, 네트워크의 오차가 줄어들면 변경을 수락하거나 거부하며, 오차가 0이 되면 중지한다. 또한 특정 예제에 대해 단일 단위의 부호를 뒤집는 것으로 오차가 0이 되지 않으면 훈련 알고리즘은 단위 쌍의 부호를 뒤집기 시작하고, 그 다음에는 단위의 3중, 등으로 진행한다.
MADALINE Rule 3은 부호 대신 시그모이드 활성화를 가진 수정된 네트워크에 적용되었으며, 이후 역전파와 동등한 것으로 밝혀졌다.
유산 및 영향
ADALINE과 그 후속 모델인 MADALINE은 신경망 및 머신 러닝 개발의 기초가 되었다. 위드로우가 도입한 LMS 알고리즘은 적응형 신호 처리의 초석이 되었고 이후 딥 러닝의 발전에 영향을 미쳤다. 임계값 적용 전에 연속 오차를 최소화하는 개념은 미분 가능한 손실 함수로 신경망을 훈련하는 현대적 접근 방식을 예고했다.
ADALINE 자체는 선형 문제로 제한되었지만, 가중치 적응 및 오차 최소화의 원리는 더 복잡한 아키텍처로 이어졌다. 1960년대 스탠포드 AI 연구소의 연구는 제록스 PARC 및 기타 연구 기관의 기여와 함께 인공 신경망 분야를 확립하는 데 도움이 되었다. 최소 교란 원리는 이후 온라인 학습 알고리즘에서 다양한 형태로 다시 등장했다.
가변 저항기와 메미스터를 사용한 ADALINE의 물리적 구현은 신경망을 위한 아날로그 컴퓨팅의 실현 가능성을 보여주었으며, 이 개념은 현대 뉴로모픽 하드웨어에서 새로운 관심을 받고 있다. 위드로우의 기여는 초기 퍼셉트론 연구와 이후 트랜스포머 기반 모델을 연결하는 인공 지능 역사에서 중추적인 역할로 인정받고 있다.