ADALINE (Adaptive Linear Neuron, plus tard Adaptive Linear Element) est un réseau de neurones artificiels monocouche précoce et le nom du dispositif physique qui l'a implémenté. Il a été développé par le professeur Bernard Widrow et son étudiant en doctorat Marcian Hoff à l'université Stanford en 1960. Il est basé sur le perceptron et se compose de poids, d'un biais et d'une fonction de sommation. Les poids et les biais étaient implémentés par des rhéostats (comme on le voit dans l'« ADALINE avec boutons »), et plus tard, par des memistors. Il a trouvé une utilisation extensive dans le traitement adaptatif du signal, en particulier pour le filtrage adaptatif du bruit.
La différence entre ADALINE et le perceptron standard (Rosenblatt) réside dans leur méthode d'apprentissage. Les poids des unités ADALINE sont ajustés pour correspondre à un signal enseignant, avant d'appliquer la fonction de Heaviside, tandis que les poids des unités du perceptron standard sont ajustés pour correspondre à la sortie correcte, après avoir appliqué la fonction de Heaviside. Un réseau multicouche d'unités ADALINE est connu sous le nom de MADALINE.
Architecture et Fonctionnement
ADALINE est un réseau neuronal monocouche avec plusieurs nœuds, chaque nœud acceptant plusieurs entrées et générant une sortie. Étant donné le vecteur d'entrée x, le vecteur de poids w, le nombre d'entrées N et un biais b, la sortie o est calculée comme la somme pondérée : o = somme_{n=1}^{N} x_n w_n + b. Si l'on suppose en outre que x_0 = 1 et w_0 = b, alors la sortie se réduit à o = somme_{n=0}^{N} x_n w_n.
La fonction de sommation linéaire du réseau le distingue des modèles ultérieurs qui ont introduit des fonctions d'activation non linéaires au sein des unités individuelles. L'implémentation physique utilisait des résistances ajustables (rhéostats) pour les poids, permettant une adaptation en temps réel pendant l'entraînement. Les versions ultérieures utilisaient des mémistors, un type de résistance avec mémoire, ce qui permettait un stockage des poids plus compact et plus stable.
Règle d'apprentissage
La règle d'apprentissage utilisée par ADALINE est l'algorithme LMS (« moindres carrés moyens »), un cas particulier de la descente de gradient. Étant donné un taux d'apprentissage eta, la sortie du modèle o et la cible désirée y, le carré de l'erreur est défini comme E = (y - o)^2. L'algorithme LMS met à jour les poids comme suit : w <- w + eta (y - o) x. Cette règle de mise à jour minimise E, le carré de l'erreur, et est en fait la mise à jour de la descente de gradient stochastique pour la régression linéaire.
Cette approche était une rupture significative avec la règle de correction d'erreur du perceptron, qui ajustait les poids en fonction de la sortie binaire après le seuillage. En minimisant l'erreur continue avant d'appliquer la fonction de Heaviside, ADALINE pouvait obtenir une convergence plus lissée et de meilleures performances dans des environnements bruités, ce qui le rendait particulièrement adapté aux applications de filtrage adaptatif.
MADALINE
MADALINE (Many ADALINE) est un réseau neuronal d'architecture à trois couches (entrée, cachée, sortie), complètement connecté, avec une rétropropagation directe pour la classification, qui utilise des unités ADALINE dans ses couches cachée et cachée et de sortie. Sa fonction d'activation est la fonction signe. Le réseau à trois couches utilise des mémistors. Comme la fonction sign est non différentiable, la rétropropagation ne peut pas être utilisée pour entraîner les réseaux MADALINE. Par conséquent, trois algorithmes d'entraînement différents ont été proposés, appelés règle I, règle II et règle III.
Malgré de nombreuses tentatives, les chercheurs n'ont jamais réussi à entraîner plus qu'une seule couche de poids dans un modèle MADALINE. Cela jusqu'à ce que Widrow voit l'algorithme de rétropropagation lors d'une conférence en 1985 à Snowbird, dans l'Utah.
MADALINE Règle 1 (MR1), datant de 1962, consiste en deux couches : la première est faite d'unités ADALINE ; la deuxième couche a deux unités. L'une est une unité de vote majoritaire qui prend toutes les sorties et produit +1 s'il y a plus de positifs que de négatifs, et vice versa. L'autre est un « "répartiteur de tâches » : si la sortie désirée diffère de la sortie votée majoritaire, il calcule le nombre minimal d'unités ADALINE qui doivent changer leurs sorties, sélectionne celles qui sont les plus proches du négatif, et met à jour leurs poids selon la règle d'apprentissage d'ADALINE. Cela était considéré comme une forme du « principe de perturbation minimale ».
La plus grande machine MADALINE construite avait 1 000 poids, chacun implémenté par un mémistor. Elle a été construite en 1963 et utilisait le MRI pour l'apprentissage. Certaines machines MADALINE ont été démontrées pour effectuer des tâches telles que l'équilibrage d'un pendule intégré, les prévisions météorologiques et la reconnaissance vocale.
MADALINE Règle 2 (MRII), décrite en 1988, a amélioré la règle I. L'algorithme d'entraînement de la règle II est basé sur un principe appelé « perturbation minimale ». Il procède en bouclant sur les exemples d'entraînement et, pour chaque exemple, il bute l'unité de la couche cachée avec la plus faible confiance dans sa prédiction, inverse temporairement le signe de l'unité accepte ou rejette le changement en fonction de la réduction de l'erreur du réseau, et s'arrête lorsque l'erreur est nulle. De plus, lorsque le changement du signe des unités uniques ne conduit pas l'erreur à zéro pour un exemple particulier, l'algorithme commence à inverser les signes des paires d'unités, puis des triplets d'unités, etc.
MADALINE Règle 3 s'appliquait à un réseau modifié avec des activations sigmoïdes au lieu du sign ; il a ensuite été découvert comme équivalent à la rétropropagation.
Héritage et influence
ADALINE et son successeur MADALINE ont été fondamentaux dans le développement des réseaux de neurones et de l'apprentissage automatique. L'algorithme LMS introduit par Widrow est devenu une pierre angulaire du traitement adaptatif du signal et a influencé les développements ultérieurs dans le apprentissage profond. Le concept de minimisation de l'erreur continue avant le seuillage anticipait les approches modernes pour l'entraînement des réseaux de neurones avec des fonctions de perte différentiables.
Bien qu'ADALINE lui-même soit limité à des problèmes linéaires, ses principes d'adaptation des poids et de minimisation de l'erreur ont été reportés à des architectures plus complexes. Les travaux du Laboratoire d'IA de Stanford dans les années 1960 ont aidé à établir le domaine des réseaux de neurones artificiels, aux côtés des contributions du Xerox PARC et d'autres instituts de recherche. Le principe de perturbation minimale a ensuite refait surface sous diverses formes dans les algorithmes d'apprentissage en ligne.
L'implémentation physique d'ADALINE utilisant des rhéostats et des mémistors a également démontré la faisabilité du calcul analogique pour les réseaux de neurones, un concept qui a suscité un intérêt renouvelé dans le matériel neuromorphique moderne. Les innovations de Widrow sont reconnues comme cruciales dans l'histoire de l'intelligence artificielle, reliant la recherche précoce sur les perceptrons et les modèles ultérieurs basés sur transformer.