Le perceptron est un algorithme d'apprentissage supervisé pour les classificateurs binaires, introduit par Frank Rosenblatt en 1958. Il s'agit d'un type de classificateur linéaire qui fait des prédictions basées sur une fonction de prédiction linéaire combinant un ensemble de poids avec un vecteur de caractéristiques. Le perceptron est devenu le premier modèle de réseau de neurones à attirer une attention généralisée, posant les bases du apprentissage automatique et du apprentissage profond modernes malgré ses limitations précoces.
Origines et développement précoce
Le concept du neurone artificiel remonte à 1943, lorsque Warren McCulloch et Walter Pitts ont publié « A Logical Calculus of the Ideas Immanent in Nervous Activity ». En 1957, Frank Rosenblatt, travaillant au Cornell Aeronautical Laboratory, a simulé le perceptron sur un IBM 704. Il était davantage intéressé par les implémentations matérielles et a obtenu un financement de la Information Systems Branch du United States Office of Naval Research et du Rome Air Development Center pour construire un ordinateur analogique sur mesure, le Mark I Perceptron. Rosenblatt a décrit le perceptron dans un article de 1958, l'organisant en trois types d'unités : sensorielles (S), d'association (A) et de réponse (R). Il a présenté ses travaux au premier symposium international sur l'IA, « Mechanisation of Thought Processes », en novembre 1958.
Machine Mark I Perceptron
Le Mark I Perceptron a été construit entre juin et décembre 1959 et démontré publiquement le 23 juin 1960. Il comportait trois couches : un réseau de 400 photocellules disposées en grille 20x20 (unités S), une couche cachée de 512 unités d'association (unités A), et une couche de sortie de huit unités de réponse (unités R). Rosenblatt a appelé cela l'alpha-perceptron. Les unités S étaient connectées aux unités A de manière aléatoire via un panneau de connexion pour éviter tout biais intentionnel, reflétant la conviction de Rosenblatt que la rétine se connecte aléatoirement au cortex visuel. Les connexions A vers R avaient des poids ajustables encodés dans des potentiomètres, mis à jour par des moteurs électriques pendant l'apprentissage. La machine se trouve maintenant au Smithsonian National Museum of American History.
Lors d'une conférence de presse de 1958 organisée par la marine américaine, Rosenblatt a fait des déclarations audacieuses, ce qui a conduit The New York Times à décrire le perceptron comme « l'embryon d'un ordinateur électronique que [la marine] espère capable de marcher, parler, voir, écrire, se reproduire et être conscient de son existence ». Cela a provoqué une controverse au sein de la communauté naissante de l'IA. De 1960 à 1964, la division photo de la CIA a étudié le Mark I pour reconnaître des cibles silhouettées d'intérêt militaire dans des photos aériennes.
Principles of Neurodynamics (1962)
Rosenblatt a détaillé ses expériences avec des variantes du perceptron dans son livre de 1962 « Principles of Neurodynamics », basé sur un rapport de 1961. Les variantes comprenaient le couplage croisé (connexions au sein de la même couche), le rétrocouplage (connexions des couches ultérieures aux couches antérieures), des perceptrons à quatre couches avec des poids ajustables dans les deux dernières couches, des unités à délai temporel pour les données séquentielles, et l'analyse audio. La machine a été expédiée au Smithsonian en 1967 dans le cadre d'un transfert gouvernemental.
Limitations et critique de 1969
Les perceptrons à couche unique ne peuvent apprendre que des motifs linéairement séparables. Pour une tâche de classification avec une fonction d'activation en échelon, un seul nœud crée une seule ligne de séparation ; plus de nœuds créent plus de lignes mais ne peuvent pas les combiner en classifications complexes. Une deuxième couche de perceptrons ou de nœuds linéaires peut résoudre de nombreux problèmes non séparables. En 1969, le livre « Perceptrons » de Marvin Minsky et Seymour Papert a montré que les perceptrons à couche unique ne pouvaient pas apprendre une fonction XOR, un résultat souvent mal interprété comme prouvant que les réseaux de neurones étaient fondamentalement limités. Cela a contribué à une stagnation de la recherche sur les réseaux de neurones pendant de nombreuses années, jusqu'à la reconnaissance que les perceptrons multicouches (avec deux couches ou plus) offraient une plus grande puissance de traitement.
Héritage et impact
L'introduction du perceptron a marqué un moment charnière dans l'histoire de l'intelligence artificielle, établissant le paradigme du réseau de neurones. Malgré ses revers précoces, les principes du perceptron sous-tendent les architectures modernes d'apprentissage profond, y compris les modèles transformeurs utilisés dans les grands modèles de langage. Les travaux de Rosenblatt ont influencé les développements ultérieurs dans des institutions comme le MIT CSAIL et le Stanford AI Lab, et son héritage persiste dans la recherche et les applications contemporaines de l'IA.