Bernard Widrow (24 décembre 1929 - 30 septembre 2025) était un professeur américain de génie électrique à l'université de Stanford, surtout connu pour ses travaux pionniers sur les réseaux de neurones artificiels et le traitement adaptatif du signal. Il a co-inventé le filtre des moindres carrés moyens (LMS) de Widrow-Hoff avec son étudiant de doctorat Ted Hoff, un algorithme devenu fondamental dans apprentissage automatique et le traitement numérique du signal. Les contributions de Widrow incluent les réseaux de neurones ADALINE et MADALINE, des travaux précoces sur les antennes adaptatives et l'annulation du bruit, ainsi que l'heuristique largement citée connue sous le nom de « règle de l'oncle Bernie ».
Widrow a passé la majeure partie de sa carrière à Stanford University, où il a influencé des générations d'ingénieurs. Ses recherches ont fait le pont entre les statistiques théoriques et l'ingénierie pratique, menant à des applications en géophysique, en radar et en traitement biomédical du signal. Il a également été l'un des premiers chercheurs à relier les idées des réseaux de neurones à la théorie des filtres adaptatifs, une synthèse qui a anticipé les développements ultérieurs en apprentissage profond.
Jeunesse et éducation
Widrow est né à Norwich, dans le Connecticut, le 24 décembre 1929. Jeune, il était fasciné par l'électronique. Pendant la Seconde Guerre mondiale, il a découvert une entrée d'encyclopédie sur les radios et a construit une radio à un tube, suscitant un intérêt durable pour le génie électrique.
En 1947, Widrow est entré au Massachusetts Institute of Technology (MIT), où il a étudié le génie électrique et l'électronique, obtenant son diplôme en 1951. Il a ensuite rejoint le laboratoire d'informatique numérique du MIT en tant qu'assistant de recherche, travaillant dans le groupe de la mémoire à tores magnétiques. Le laboratoire faisait partie du laboratoire de servomécanismes, qui développait l'ordinateur Whirlwind I. Cette expérience a façonné sa vision de l'informatique, qu'il a décrite plus tard comme une « vue depuis la mémoire » - se concentrant sur la mémoire puis déterminant quels circuits y connecter.
Pour sa thèse de maîtrise (1953), conseillé par William Linvill, Widrow a travaillé sur l'amélioration du rapport signal sur bruit du signal de détection dans la mémoire à tores magnétiques. À cette époque, les boucles d'hystérésis de la mémoire à tores magnétiques n'étaient pas suffisamment carrées, rendant le signal de détection bruyant. Ses recherches doctorales (1956), également sous la direction de Linvill, ont abordé la théorie statistique du bruit de quantification, en s'appuyant sur les travaux de Linvill et David Middleton.
Pendant ses études doctorales, Widrow a appris le filtre de Wiener auprès de Lee Yuk-wing. Le filtre de Wiener nécessite la connaissance des statistiques du signal sans bruit à récupérer, ce qui est souvent indisponible en pratique. Cette limitation l'a motivé à concevoir un filtre adaptatif utilisant la descente de gradient pour minimiser l'erreur quadratique moyenne, un concept qui évoluerait plus tard vers l'algorithme LMS. Il a également assisté à l'atelier de Dartmouth en 1956, ce qui a inspiré son intérêt pour intelligence artificielle.
Travaux sur les réseaux de neurones
En 1959, Widrow a reçu son premier étudiant de doctorat, Ted Hoff, qui deviendrait plus tard célèbre pour son travail chez Intel. Ensemble, ils ont affiné le filtre adaptatif antérieur pour qu'il effectue une descente de gradient pour chaque point de données individuel, menant à la règle delta et au réseau ADALINE (Adaptive Linear Neuron). Pour éviter de régler manuellement les poids dans ADALINE, ils ont inventé le memistor, un dispositif dont la conductance - représentant les poids ADALINE - était contrôlée par l'épaisseur de cuivre déposé sur du graphite.
Lors d'une réunion avec Frank Rosenblatt, le créateur du perceptron, Widrow a soutenu que les unités S (unités sensorielles) dans la machine perceptron de Rosenblatt ne devraient pas être connectées aléatoirement aux unités A (unités d'association). Au lieu de cela, il a suggéré de supprimer entièrement les unités S et de connecter directement les entrées de la cellule photoélectrique aux unités A. Rosenblatt a objecté, notant que « la rétine humaine est construite de cette façon ».
Malgré de nombreuses tentatives, Widrow et ses étudiants n'ont jamais réussi à développer un algorithme d'entraînement pour un réseau de neurones multicouche. Leur réalisation la plus proche était la règle Madaline I (1962), qui utilisait deux couches de poids : la première était entraînable, tandis que la seconde était fixe. Widrow a plus tard remarqué que leur problème aurait été résolu par l'algorithme de rétropropagation, qu'il a décrit comme « presque miraculeux ». Cela s'est produit bien avant que Paul Werbos ne formalise la rétropropagation, et les difficultés précoces de Widrow ont souligné la difficulté d'entraîner des réseaux profonds.
Traitement adaptatif du signal
Incapable d'entraîner des réseaux de neurones multicouches, Widrow a déplacé son attention vers le filtrage adaptatif et le traitement adaptatif du signal. Il a appliqué des techniques basées sur LMS à une large gamme de problèmes, y compris les antennes adaptatives, l'annulation adaptative du bruit et les applications médicales. Ces méthodes sont devenues essentielles dans des domaines tels que la géophysique, le radar et les communications.
L'algorithme LMS, développé avec Hoff, reste l'un des algorithmes adaptatifs les plus utilisés dans le traitement du signal. Il est simple, robuste et efficace sur le plan computationnel, ce qui le rend adapté aux applications en temps réel. Les travaux de Widrow sur les antennes adaptatives ont aidé à améliorer les systèmes radar et de communication en orientant automatiquement les nulls vers les sources interférentes.
En 1985, lors d'une conférence à Snowbird, dans l'Utah, Widrow a remarqué que la recherche sur les réseaux de neurones connaissait un regain d'intérêt. Il a également appris l'algorithme de rétropropagation, développé dans les années 1970 et 1980. Cela a ravivé son intérêt pour les réseaux de neurones, et il est revenu dans le domaine, intégrant son expertise en filtrage adaptatif à la recherche sur les réseaux de neurones.
Carrière ultérieure et contributions
Widrow a continué à enseigner et à rechercher à l'université de Stanford pendant des décennies, encadrant de nombreux étudiants qui ont poursuivi des carrières influentes. Il était connu pour son style d'enseignement engageant et sa capacité à expliquer des concepts complexes de manière intuitive. Son manuel « Adaptive Signal Processing » (1985, avec S. D. Stearns) est devenu une référence standard dans le domaine.
Il a également contribué à la théorie du bruit de quantification, publiant « Quantization Noise: Roundoff Error in Digital Computation, Signal Processing, Control, and Communications » (2008, avec I. Kollar). Ce travail a abordé des problèmes fondamentaux dans le traitement numérique du signal et le calcul numérique.
Dans ses dernières années, Widrow a exploré des thèmes plus larges en cybernétique, publiant « Cybernetics 2.0 » en 2023. Il est resté actif dans la recherche et l'écriture bien dans ses quatre-vingt-dix ans, réfléchissant à l'évolution de l'intelligence artificielle et à ses implications.
Règle de l'oncle Bernie
Widrow était l'homonyme de la « règle de l'oncle Bernie », une heuristique en apprentissage automatique qui stipule que la taille de l'échantillon d'entraînement devrait être dix fois le nombre de poids dans un réseau. Cette règle empirique a été largement citée dans la communauté des réseaux de neurones comme une directive pratique pour éviter le surajustement. Elle reflète l'approche pragmatique de Widrow en ingénierie, soulignant l'importance de données suffisantes pour un entraînement fiable des modèles.
Honneurs et récompenses
Widrow a reçu de nombreux honneurs tout au long de sa carrière. Il a été élu Fellow de l'IEEE en 1976 et Fellow de l'American Association for the Advancement of Science (AAAS) en 1980. Il a reçu la médaille du centenaire de l'IEEE en 1984, la médaille Alexander Graham Bell de l'IEEE en 1986 et la médaille pionnière des réseaux de neurones de l'IEEE en 1991. En 1995, il a été intronisé à l'Académie nationale d'ingénierie. Il a également reçu le prix de la société de traitement du signal de l'IEEE en 1999, la médaille du millénaire de l'IEEE en 2000 et la médaille Benjamin Franklin en 2001. Il a siégé au conseil des gouverneurs de l'International Neural Network Society en 2003 et 2004.
Héritage
Les travaux de Bernard Widrow ont jeté les bases de nombreux développements modernes en réseaux de neurones et systèmes adaptatifs. Son algorithme LMS reste une pierre angulaire du traitement adaptatif du signal, et ses recherches précoces sur les réseaux de neurones ont anticipé les avancées ultérieures en apprentissage profond. Les modèles ADALINE et MADALINE ont été parmi les premiers réseaux de neurones pratiques, et ses idées sur les défis de l'entraînement des réseaux multicouches ont préfiguré le développement de la rétropropagation.
L'influence de Widrow s'étend au-delà de ses contributions techniques. Il a été un mentor pour de nombreux chercheurs et un pont entre les domaines du traitement du signal et de l'intelligence artificielle. Son heuristique « règle de l'oncle Bernie » continue de guider les praticiens dans la conception d'expériences d'apprentissage automatique. Son héritage est évident dans l'utilisation répandue des algorithmes adaptatifs dans les communications, le radar et le génie biomédical, ainsi que dans l'évolution continue de la recherche sur les réseaux de neurones.
Publications
Widrow a écrit ou co-écrit plusieurs livres et articles influents. Les publications notables incluent :
- 1965 : « A critical comparison of two kinds of adaptive classification networks » (avec K. Steinbuch), IEEE Transactions on Electronic Computers, pp. 737-740.
- 1985 : « Adaptive Signal Processing » (avec S. D. Stearns), Prentice-Hall.
- 1994 : « Adaptive Inverse Control » (avec E. Walach), Prentice-Hall.
- 2008 : « Quantization Noise: Roundoff Error in Digital Computation, Signal Processing, Control, and Communications » (avec I. Kollar), Cambridge University Press.
- 2023 : « Cybernetics 2.0 », Springer Nature Switzerland.
Ces travaux ont été largement cités et utilisés comme manuels dans les programmes de génie électrique et d'informatique.
Références
Cet article est basé sur des informations biographiques publiquement disponibles et sur les publications de Widrow lui-même. Les sources clés incluent ses articles académiques, ses manuels et ses interviews. Pour une lecture supplémentaire, voir les archives de l'IEEE et de l'université de Stanford.