Les réseaux de neurones impulsionnels (SNN) sont une classe de réseaux de neurones artificiels qui imitent le comportement des neurones biologiques plus fidèlement que les réseaux conventionnels. Contrairement aux neurones artificiels traditionnels, qui transmettent une valeur continue à chaque cycle de propagation, les neurones SNN communiquent par des impulsions discrètes, ou potentiels d'action, qui se produisent à des moments précis dans le temps. La précision de la synchronisation de ces impulsions sert de principal vecteur d'information, permettant au réseau d'intégrer la dynamique temporelle dans ses calculs.
Dans un SNN, chaque neurone maintient un potentiel de membrane, un état interne qui augmente et diminue lorsqu'il reçoit des impulsions d'entrée des neurones connectés. Lorsque ce potentiel atteint un seuil défini, le neurone déclenche une impulsion, envoyant un signal aux neurones en aval. Après le déclenchement, le potentiel se réinitialise à une valeur inférieure. Ce comportement piloté par les événements contraste avec les fonctions d'activation continues utilisées dans les modèles standards de Deep learning, faisant des SNN un paradigme distinct au sein du Machine learning.
Le modèle de neurone impulsionnel le plus largement utilisé est le modèle intégrateur et à fuite, qui décrit le potentiel comme une équation différentielle : les impulsions entrantes poussent le potentiel vers le haut ou vers le bas, tandis qu'un terme de fuite le fait décroître au fil du temps. Si le seuil est atteint, le neurone déclenche une impulsion et le potentiel se réinitialise. Ce modèle équilibre la plausibilité biologique avec l'efficacité computationnelle, ce qui en fait un choix courant dans la recherche sur les SNN.
Développement historique
Les fondements biologiques des neurones impulsionnels remontent à 1952, lorsque Alan Hodgkin et Andrew Huxley ont publié leur modèle d'initiation et de propagation des potentiels d'action, un travail qui leur a valu plus tard un prix Nobel. Des modèles ultérieurs, tels que le modèle FitzHugh-Nagumo (1961-1962) et le modèle Hindmarsh-Rose (1984), ont affiné la description de la dynamique neuronale. Le modèle intégrateur et à fuite, dérivé de ces efforts, est devenu populaire car il est plus facile à calculer que les équations de Hodgkin-Huxley.
Bien que le concept de réseaux impulsionnels artificiels ait gagné en importance au XXIe siècle, des travaux théoriques précoces sont apparus dans les années 1970, et des études menées entre 1980 et 1995 ont soutenu la faisabilité du calcul basé sur les impulsions. Ces premiers efforts visaient à simuler un traitement de l'information non algorithmique et inspiré de la biologie. En 2019, les SNN accusaient un retard sur les réseaux de neurones artificiels conventionnels en termes de précision sur de nombreuses tâches, mais cet écart se réduisait et avait disparu sur certains benchmarks.
Encodage de l'information et calcul
Une question centrale en neurosciences est de savoir si les neurones communiquent par des taux de décharge ou par la synchronisation précise des impulsions. L'encodage basé sur le taux, où la sortie est la fréquence moyenne des impulsions, est analogue à la sortie continue des réseaux de neurones artificiels traditionnels. Cependant, des preuves neurobiologiques suggèrent que les schémas basés sur le taux ne peuvent pas expliquer un traitement très rapide. Par exemple, les humains peuvent effectuer une reconnaissance d'image en aussi peu que 10 millisecondes par neurone à travers les couches successives, de la rétine au lobe temporal, une fenêtre temporelle trop courte pour un encodage basé sur le taux. L'encodage temporel, qui utilise des synchronisations précises des impulsions, offre une capacité d'information plus élevée et prend en charge un calcul rapide.
Les SNN opèrent dans le domaine du temps continu, traitant les entrées comme des trains d'impulsions plutôt que comme des valeurs discrètes. Cela les rend bien adaptés aux données spatiotemporelles, telles que les signaux sensoriels du monde réel. Ils connectent souvent les neurones uniquement aux neurones voisins, similaires aux filtres convolutifs, et évitent la complexité des réseaux récurrents en encodant directement le temps dans la synchronisation des impulsions. Diverses méthodes de décodage convertissent les trains d'impulsions en sorties à valeurs réelles, y compris les codes de taux, le temps jusqu'à la première impulsion et les intervalles inter-impulsions.
Défis et approches d'entraînement
L'entraînement des SNN présente des défis significatifs car le processus de génération des impulsions n'est pas différentiable. La nature tout-ou-rien des impulsions signifie que la dérivée de la fonction d'activation est nulle presque partout, perturbant les méthodes d'optimisation basées sur le gradient telles que la rétropropagation. Cela a limité l'application des techniques standard de Deep learning aux SNN.
Les chercheurs ont développé plusieurs stratégies pour surmonter cet obstacle. Une approche consiste à utiliser des règles d'apprentissage local inspirées de la biologie, telles que l'apprentissage hebbien et la plasticité dépendante de la synchronisation des impulsions (STDP), qui ne nécessitent pas de gradients globaux. Une autre méthode consiste à entraîner un réseau conventionnel basé sur le taux, puis à le convertir en un SNN. Une troisième approche lisse le modèle de réseau pour le rendre continuellement différentiable, tandis qu'une quatrième définit des gradients de substitution, qui sont des relaxations continues des vrais gradients, permettant une rétropropagation approximative. Ces techniques ont amélioré les performances des SNN, bien que l'entraînement supervisé reste en retard sur les réseaux de deuxième génération dans certaines applications.
Matériel et applications
Les SNN sont théoriquement plus puissants que les réseaux de neurones artificiels traditionnels en termes de capacité computationnelle, mais leur utilisation pratique est limitée par des coûts de calcul élevés et des exigences matérielles spécialisées. Simuler des modèles neuronaux réalistes est plus coûteux que d'exécuter des réseaux conventionnels, et le calcul basé sur les impulsions exige souvent des puces neuromorphiques qui prennent en charge le traitement piloté par les événements. Malgré ces obstacles, les SNN sont explorés pour l'inférence économe en énergie dans les périphériques de périphérie, le traitement sensoriel en temps réel et le calcul inspiré du cerveau. À mesure que la recherche progresse, l'écart entre les SNN et les réseaux de neurones artificiels conventionnels continue de se réduire, faisant d'eux un domaine d'investigation actif dans Artificial intelligence.