ADALINE (Neurônio Linear Adaptativo, posteriormente Elemento Linear Adaptativo) é uma rede neural artificial de camada única inicial e o nome do dispositivo físico que a implementou. Foi desenvolvida pelo professor Bernard Widrow e seu aluno de doutorado Marcian Hoff na Universidade Stanford em 1960. Baseia-se no perceptron e consiste em pesos, um viés e uma função de soma. Os pesos e vieses foram implementados por reostatos (como visto no "ADALINE com botões") e, posteriormente, memistores. Encontrou uso extensivo em processamento adaptativo de sinais, especialmente em filtragem adaptativa de ruído.
A diferença entre ADALINE e o perceptron padrão (de Rosenblatt) está na forma como aprendem. Os pesos das unidades ADALINE são ajustados para corresponder a um sinal de referência, antes de aplicar a função de Heaviside, mas os pesos das unidades do perceptron padrão são ajustados para corresponder à saída correta, após aplicar a função de Heaviside. Uma rede multicamadas de unidades ADALINE é conhecida como MADALINE.
Arquitetura e Operação
ADALINE é uma rede neural de camada única com múltiplos nós, onde cada nó aceita múltiplas entradas e gera uma saída. Dado o vetor de entrada x, o vetor de pesos w, o número de entradas N e um viés b, a saída o é calculada como a soma ponderada: o = soma_{n=1}^{N} x_n w_n + b. Se assumirmos ainda que x_0 = 1 e w_0 = b, então a saída se reduz a o = soma_{n=0}^{N} x_n w_n.
A função de soma linear da rede a distingue de modelos posteriores que introduziram funções de ativação não lineares dentro de unidades individuais. A implementação física usava resistores ajustáveis (reostatos) para os pesos, permitindo adaptação em tempo real durante o treinamento. Versões posteriores empregaram memistores, um tipo de resistor com memória, que possibilitou armazenamento de pesos mais compacto e estável.
Regra de Aprendizado
A regra de aprendizado usada por ADALINE é o algoritmo LMS ("mínimos quadrados médios"), um caso especial de descida de gradiente. Dada uma taxa de aprendizado eta, a saída do modelo o e o alvo desejado y, o quadrado do erro é definido como E = (y - o)^2. O algoritmo LMS atualiza os pesos como: w <- w + eta (y - o) x. Esta regra de atualização minimiza E, o quadrado do erro, e é de fato a atualização de descida de gradiente estocástica para regressão linear.
Esta abordagem foi um afastamento significativo da regra de correção de erro do perceptron, que ajustava os pesos com base na saída binária após a limiarização. Ao minimizar o erro contínuo antes de aplicar a função de Heaviside, ADALINE podia alcançar convergência mais suave e melhor desempenho em ambientes ruidosos, tornando-a particularmente adequada para aplicações de filtragem adaptativa.
MADALINE
MADALINE (Many ADALINE) é uma arquitetura de rede neural feedforward de três camadas (entrada, oculta, saída), totalmente conectada, para classificação, que usa unidades ADALINE em suas camadas oculta e de saída. Sua função de ativação é a função sinal. A rede de três camadas usa memistores. Como a função sinal não é diferenciável, a retropropagação não pode ser usada para treinar redes MADALINE. Portanto, três algoritmos de treinamento diferentes foram sugeridos, chamados Regra I, Regra II e Regra III.
Apesar de muitas tentativas, os pesquisadores nunca conseguiram treinar mais de uma única camada de pesos em um modelo MADALINE. Isso até Widrow ver o algoritmo de retropropagação em uma conferência em 1985 em Snowbird, Utah.
MADALINE Regra 1 (MRI), datando de 1962, consiste em duas camadas: a primeira é feita de unidades ADALINE; a segunda camada tem duas unidades. Uma é uma unidade de votação majoritária que recebe todas as saídas e emite +1 se houver mais positivos do que negativos, e vice-versa. Outra é um "atribuidor de tarefas": se a saída desejada diferir da saída votada majoritariamente, ele calcula o número mínimo de unidades ADALINE que devem mudar suas saídas, seleciona aquelas mais próximas de serem negativas e atualiza seus pesos de acordo com a regra de aprendizado ADALINE. Isso foi considerado uma forma de "princípio de perturbação mínima".
A maior máquina MADALINE construída tinha 1000 pesos, cada um implementado por um memistor. Foi construída em 1963 e usava MRI para aprendizado. Algumas máquinas MADALINE foram demonstradas realizando tarefas incluindo equilíbrio de pêndulo invertido, previsão do tempo e reconhecimento de fala.
MADALINE Regra 2 (MRII), descrita em 1988, melhorou a Regra I. O algoritmo de treinamento da Regra II é baseado em um princípio chamado "perturbação mínima". Ele procede iterando sobre exemplos de treinamento e, para cada exemplo, encontra a unidade da camada oculta com a menor confiança em sua previsão, inverte tentativamente o sinal da unidade, aceita ou rejeita a mudança com base em se o erro da rede é reduzido, e para quando o erro é zero. Além disso, quando inverter os sinais de unidades individuais não leva o erro a zero para um exemplo particular, o algoritmo de treinamento começa a inverter os sinais de pares de unidades, depois trios de unidades, etc.
MADALINE Regra 3 aplicada a uma rede modificada com ativações sigmoides em vez de sinal; foi posteriormente descoberto que era equivalente à retropropagação.
Legado e Influência
ADALINE e sua sucessora MADALINE foram fundamentais no desenvolvimento de redes neurais e aprendizado de máquina. O algoritmo LMS introduzido por Widrow tornou-se uma pedra angular do processamento adaptativo de sinais e influenciou desenvolvimentos posteriores em aprendizado profundo. O conceito de minimizar o erro contínuo antes da limiarização antecipou abordagens modernas no treinamento de redes neurais com funções de perda diferenciáveis.
Embora ADALINE em si fosse limitada a problemas lineares, seus princípios de adaptação de pesos e minimização de erro foram levados adiante em arquiteturas mais complexas. O trabalho no Laboratório de IA de Stanford na década de 1960 ajudou a estabelecer o campo das redes neurais artificiais, juntamente com contribuições do Xerox PARC e outras instituições de pesquisa. O princípio de perturbação mínima ressurgiu posteriormente em várias formas em algoritmos de aprendizado online.
A implementação física de ADALINE usando reostatos e memistores também demonstrou a viabilidade da computação analógica para redes neurais, um conceito que tem visto interesse renovado em hardware neuromórfico moderno. As contribuições de Widrow são reconhecidas como cruciais na história da inteligência artificial, fazendo a ponte entre a pesquisa inicial do perceptron e os modelos posteriores baseados em transformers.