ADALINE (Adaptive Linear Neuron, más tarde Adaptive Linear Element) es una red neuronal artificial de una sola capa temprana y el nombre del dispositivo físico que la implementó. Fue desarrollada por el profesor Bernard Widrow y su estudiante de doctorado Marcian Hoff en la Universidad de Stanford en 1960. Se basa en el perceptrón y consiste en pesos, un sesgo, y una función de suma. Los pesos y sesgos fueron implementados por reostatos (como se ve en el "ADALINE con perillas"), y más tarde, memistores. Encontró un uso extenso en el procesamiento adaptativo de señales, especialmente en el filtrado adaptativo de ruido.
La diferencia entre ADALINE y el perceptrón estándar(de Rosenblatt) está en cómo aprenden. Los pesos de las unidades ADALINE se ajustan para coincidir con una señal del maestro, antes de aplicar la función de Heaviside, pero los pesos del perceptrón estándar se ajustan para coincidir con la salida correcta, después de aplicar la función de Heaviside. Una red multicapa de unidades ADALINE se conoce como MADALINE.
Arquitectura y Operación
ADALINE es una red neuronal de una sola capa con múltiples nodos, donde cada nodo acepta múltiples entradas y genera una salida. Dado el vector de entrada x, el vector de pesos w, el número de entradas N, y un sesgo b, la salida o se calcula como la suma ponderada: o = sum_{n=1}^{N} x_n w_n + b. Si asumimos además que x_0 = 1 y w_0 = b, entonces la salida se reduce a o = sum_{n=0}^{N} x_n w_n.
La función de suma lineal de la red la distingue de modelos posteriores que introdujeron funciones de activación no lineales dentro de unidades individuales. La implementación física usó resistencias ajustables(reostatos) para los pesos, permitiendo adaptación en tiempo real durante el entrenamiento. Versiones posteriores emplearon memistores, un tipo de resistencia con memoria, que permitió un almacenamiento de pesos más compacto y estable.
Regla de Aprendizaje
La regla de aprendizaje usada por ADALINE es el algoritmo LMS("least mean squares" o mínimos cuadrados medios), un caso especial de descenso de gradiente. Dada una tasa de aprendizaje eta, la salida del modelo o, y el objetivo deseado y, el cuadrado del error se define como E = (y - o)^2. El algoritmo LMS actualiza los pesos como: w <- w + eta (y - o) x. Esta regla de actualización minimiza E, el cuadrado del error, y es de hecho la actualización de descenso de gradiente estocástico para regresión lineal.
Este enfoque fue una desviación significativa de la regla de corrección de errores del perceptrón, que ajustaba los pesos basándose en la salida binaria después del umbral. Al minimizar el error continuo antes de aplicar la función de Heaviside, ADALINE podía lograr una convergencia más suave y un mejor rendimiento en entornos ruidosos, lo que lo hacía particularmente adecuado para aplicaciones de filtrado adaptativo.
MADALINE
MADALINE (Many ADALINE) es una arquitectura de red neuronal feedforward de tres capas(entrada, oculta, salida), completamente conectada, para clasificación que usa unidades ADALINE en sus capas oculta y de salida. Su función de activación es la función signo. La red de tres capas usa memistores. Como la función signo no es diferenciable, la retropropagación no puede usarse para entrenar redes MADALINE. Por lo tanto, se han sugerido tres algoritmos de entrenamiento diferentes, llamados Regla I, Regla II y Regla III.
A pesar de muchos intentos, los investigadores nunca tuvieron éxito en entrenar más de una sola capa de pesos en un modelo MADALINE. Esto fue hasta que Widrow vio el algoritmo de retropropagación en una conferencia de 1985 en Snowbird, Utah.
MADALINE Regla 1 (MRI), que data de 1962, consiste en dos capas:la primera está hecha de unidades ADALINE; la segunda capa tiene dos unidades. Una es una unidad de votación mayoritaria que toma todas las salidas y genera +1 si hay más positivos que negativos, y viceversa. Otra es un "asignador de trabajos":si la salida deseada difiere de la salida votada mayoritariamente, calcula el número mínimo de unidades ADALINE que deben cambiar sus salidas, elige aquellas más cercanas a ser negativas, y actualiza sus pesos según la regla de aprendizaje de ADALINE. Esto se pensó como una forma de "principio de perturbación mínima".
La máquina MADALINE más grande construida tenía 1000 pesos, cada uno implementado por un memistor. Fue construida en 1963 y usó MRI para aprender. Algunas máquinas MADALINE fueron demostradas realizando tareas que incluyen equilibrio de péndulo invertido, predicción meteorológica, y reconocimiento de voz.
MADALINE Regla 2 (MRII), descrita en 1988, mejoró la Regla I. El algoritmo de entrenamiento Regla II se basa en un principio llamado "perturbación mínima". Procede iterando sobre ejemplos de entrenamiento, y para cada ejemplo, encuentra la unidad de la capa oculta con la menor confianza en su predicción, cambia tentativamente el signo de la unidad, acepta o rechaza el cambio basándose en si el error de la red se reduce, y se detiene cuando el error es cero. Además, cuando cambiar los signos de unidades individuales no lleva el error a cero para un ejemplo particular, el algoritmo de entrenamiento comienza a cambiar los signos de pares de unidades, luego triples de unidades, etc.
MADALINE Regla 3 se aplicó a una red modificada con activaciones sigmoideas en lugar de signo; más tarde se encontró que era equivalente a la retropropagación.
Legado e Influencia
ADALINE y su sucesor MADALINE fueron fundamentales en el desarrollo de redes neuronales y aprendizaje automático. El algoritmo LMS introducido por Widrow se convirtió en una piedra angular del procesamiento adaptativo de señales e influyó en desarrollos posteriores en aprendizaje profundo. El concepto de minimizar el error continuo antes del umbral anticipó enfoques modernos en el entrenamiento de redes neuronales con funciones de pérdida diferenciables.
Aunque ADALINE en sí estaba limitado a problemas lineales, sus principios de adaptación de pesos y minimización de errores fueron llevados adelante hacia arquitecturas más complejas. El trabajo en el Laboratorio de IA de Stanford en los años 1960 ayudó a establecer el campo de las redes neuronales artificiales, junto con contribuciones de Xerox PARC y otras instituciones de investigación. El principio de perturbación mínima reapareció más tarde en varias formas en algoritmos de aprendizaje en línea.
La implementación física de ADALINE usando reostatos y memistores también demostró la viabilidad de la computación analógica para redes neuronales, un concepto que ha visto un interés renovado en hardware neuromórfico moderno. Las contribuciones de Widrow son reconocidas como fundamentales en la historia de la inteligencia artificial, uniendo la investigación temprana del perceptrón y modelos posteriores basados en transformers.