Un réseau de neurones est un modèle computationnel composé de couches interconnectées d'unités de traitement simples, vaguement inspirées des neurones biologiques, dont les forces de connexion, ou poids, sont ajustées par apprentissage pour approximer une fonction souhaitée. Les réseaux de neurones constituent la structure computationnelle centrale derrière l'apprentissage profond moderne et, par extension, la plupart des systèmes contemporains d'intelligence artificielle.
Histoire
Le premier modèle neuronal entraînable fut le perceptron, introduit en 1958, qui pouvait apprendre à classer des motifs simples à l'aide d'une seule couche de poids ajustables. Ses limitations, documentées dans une critique de 1969, contribuèrent à une perte plus large de financement de la recherche, connue sous le nom d'hiver de l'IA. L'intérêt pour les réseaux multicouches renaquit dans les années 1980 avec la popularisation de la rétropropagation, un algorithme permettant de calculer efficacement comment chaque poids d'un réseau devait changer pour réduire l'erreur, ce qui permit d'entraîner en pratique des réseaux avec des couches cachées. Les réseaux de neurones passèrent d'une technique de niche à l'approche dominante en IA après le succès de AlexNet en 2012, qui démontra que des réseaux avec de nombreuses couches, entraînés sur de grands ensembles de données à l'aide d'unités de traitement graphique, pouvaient surpasser nettement les méthodes antérieures sur des tâches du monde réel.
Structure
Un réseau de neurones est organisé en couches d'unités, ou neurones, chacune calculant une somme pondérée de ses entrées et faisant passer le résultat à travers une fonction d'activation non linéaire avant de l'envoyer à la couche suivante. Les réseaux avec de nombreuses couches de ce type entre l'entrée et la sortie sont décrits comme « profonds », d'où le nom d'apprentissage profond. Pendant l'entraînement, une fonction de perte mesure l'écart entre la sortie du réseau et le résultat souhaité, et le descente de gradient ajuste itérativement les poids pour réduire cet écart, la rétropropagation fournissant efficacement les gradients nécessaires à travers toutes les couches à la fois.
Familles architecturales
Différentes architectures de réseaux conviennent à différents types de données. Les réseaux de neurones convolutifs utilisent des filtres partagés et spatialement locaux et sont bien adaptés aux images. Les réseaux de neurones récurrents, y compris la variante LSTM, traitent les séquences étape par étape et furent historiquement utilisés pour le texte et la parole avant d'être supplantés par l'architecture transformeur, qui traite des séquences entières en parallèle grâce à l'attention. Les architectures génératives telles que le réseau antagoniste génératif et le modèle de diffusion appliquent les réseaux de neurones à la tâche de produire de nouvelles données plutôt que de seulement les classer ou les prédire.
Limitations et interprétabilité
Les réseaux de neurones sont souvent critiqués comme des « boîtes noires » : leurs représentations internes sont difficiles à inspecter ou à expliquer pour les humains, même lorsque leurs sorties sont précises. Cela a motivé un sous-domaine de recherche parfois appelé interprétabilité, qui tente de rétro-ingénierer ce que représentent les composants individuels d'un réseau entraîné. Malgré cette opacité, les réseaux de neurones restent l'outil dominant dans la vision, le langage, l'audio, et de plus en plus dans la robotique et les applications scientifiques, principalement parce que leur performance continue de s'améliorer de manière prévisible avec plus de données, plus de paramètres et plus de calcul.
Développements récents
Dans les années 2020, les réseaux de neurones ont continué à croître en taille et en capacité, en particulier dans le domaine de la IA générative. Les grands modèles de langage, construits sur l'architecture du transformeur, ont démontré des capacités émergentes en raisonnement, en traduction et en génération de code, tandis que les modèles de diffusion sont devenus la norme pour la synthèse d'images et de vidéos de haute qualité. La recherche sur l'interprétabilité des réseaux de neurones a également progressé, avec des techniques telles que l'interprétabilité mécaniste visant à rétro-ingénierer les calculs internes des réseaux entraînés. Ces développements ont consolidé les réseaux de neurones comme une technologie fondamentale dans de nombreux domaines, y compris la découverte scientifique et les systèmes autonomes.