Un ordinateur neuronal différentiable (DNC) est un type de réseau de neurones artificiel augmenté d'une banque de mémoire externe qui peut être lue et écrite de manière entièrement différentiable. Contrairement aux réseaux de neurones standard, qui stockent l'information implicitement dans leurs poids et états cachés, un DNC possède une matrice de mémoire explicite qu'il peut accéder à l'aide de mécanismes d'attention appris. Cette conception permet au réseau d'apprendre à stocker et à récupérer des informations sur de longs horizons temporels, ce qui le rend adapté à des tâches impliquant un raisonnement algorithmique, la réponse à des questions et la manipulation de données structurées. L'architecture a été introduite par des chercheurs de Google DeepMind en 2016, s'appuyant sur des travaux antérieurs sur la machine de Turing neuronale.
L'innovation clé du DNC est son accès mémoire différentiable. Le contrôleur, généralement un réseau de neurones récurrent, émet des têtes de lecture et d'écriture qui produisent des distributions d'attention sur les emplacements mémoire. Ces distributions sont calculées à l'aide de fonctions softmax, ce qui rend l'ensemble du processus de lecture et d'écriture différentiable, permettant au réseau d'être entraîné de bout en bout par descente de gradient. La mémoire est organisée comme une matrice de vecteurs à valeurs réelles, et le contrôleur peut écrire de nouvelles données, effacer des données existantes et lire à partir de plusieurs emplacements simultanément. Pour empêcher le réseau d'écraser des informations importantes, le DNC inclut également une matrice de liens temporels qui suit l'ordre dans lequel les emplacements mémoire ont été écrits, permettant au réseau de rappeler des séquences d'opérations.
Le DNC a été démontré sur plusieurs tâches nécessitant un raisonnement complexe et une mémoire à long terme. Dans l'article original de 2016, les auteurs ont entraîné des DNC à répondre à des questions sur des histoires, à naviguer dans un labyrinthe virtuel et à déduire des informations manquantes à partir de graphes. Le réseau a réussi à apprendre à copier des séquences de longueur arbitraire, à trier des listes et à effectuer un parcours de graphe, des tâches difficiles pour les réseaux récurrents standard. Le DNC a également montré la capacité de généraliser à des tailles d'entrée plus grandes que celles vues pendant l'entraînement, une propriété cruciale pour les tâches algorithmiques.
Architecture et composants
Le DNC se compose de trois composants principaux : un contrôleur, une matrice de mémoire et un ensemble de têtes de lecture et d'écriture. Le contrôleur est généralement un réseau de mémoire à long terme (LSTM) ou un réseau feedforward avec des connexions récurrentes. À chaque pas de temps, le contrôleur reçoit une entrée et les sorties des têtes de lecture du pas de temps précédent. Il produit ensuite un ensemble de signaux de contrôle qui déterminent comment la mémoire est accédée. Ces signaux incluent l'emplacement d'écriture, le contenu d'écriture, le vecteur d'effacement et les emplacements de lecture.
La matrice de mémoire a des dimensions N par M, où N est le nombre d'emplacements mémoire et M est la taille de chaque emplacement. La tête d'écriture utilise une combinaison d'adressage basé sur le contenu et d'adressage basé sur l'emplacement. L'adressage basé sur le contenu calcule une similarité entre la clé d'écriture et chaque emplacement mémoire, tandis que l'adressage basé sur l'emplacement utilise la matrice de liens temporels pour déplacer l'attention vers des emplacements proches. Les têtes de lecture fonctionnent de manière similaire, produisant des poids de lecture utilisés pour calculer une somme pondérée des contenus mémoire.
La matrice de liens temporels est une caractéristique clé du DNC. Elle enregistre l'ordre dans lequel les emplacements mémoire ont été écrits en dernier, avec des entrées indiquant si un emplacement a été écrit immédiatement après un autre. Cela permet au réseau de lire la mémoire dans un ordre séquentiel, ce qui est essentiel pour des tâches comme copier une séquence ou parcourir un graphe. La matrice de liens est mise à jour à chaque pas de temps en fonction des poids d'écriture, et elle est également utilisée pour calculer un décalage arrière et avant pour les têtes de lecture.
Entraînement et optimisation
Le DNC est entraîné en utilisant la rétropropagation standard dans le temps, avec une fonction de perte généralement une entropie croisée ou une erreur quadratique moyenne selon la tâche. Comme toutes les opérations d'accès mémoire sont différentiables, les gradients peuvent circuler à travers les mécanismes d'attention et les mises à jour de mémoire. Cependant, l'entraînement d'un DNC peut être difficile en raison du grand nombre de paramètres et de la nécessité d'une initialisation soignée. Les auteurs ont utilisé une combinaison de clipping de gradient et d'un calendrier de taux d'apprentissage pour stabiliser l'entraînement. Ils ont également constaté que l'utilisation d'une petite quantité de bruit pendant l'entraînement aidait le réseau à mieux généraliser.
L'une des principales difficultés est que la mémoire peut être utilisée de nombreuses manières différentes, et le réseau doit apprendre à allouer la mémoire efficacement. Pour résoudre ce problème, le DNC inclut une liste libre qui suit les emplacements mémoire actuellement inutilisés. La tête d'écriture écrit préférentiellement sur les emplacements de la liste libre, et après une écriture, l'emplacement est retiré de la liste libre jusqu'à ce qu'il soit lu puis libéré à nouveau. Ce mécanisme encourage le réseau à réutiliser la mémoire et l'empêche d'écraser des données importantes.
Applications et limites
Les DNC ont été appliqués à une variété de tâches au-delà des démonstrations originales. Ils ont été utilisés pour la synthèse de programmes, où le réseau apprend à générer du code ou à exécuter des programmes simples. Ils ont également été explorés pour la réponse à des questions sur des bases de connaissances, où la mémoire peut stocker des faits et le réseau apprend à les récupérer et à les combiner. Dans le domaine du apprentissage automatique, les DNC sont souvent cités comme une étape importante vers des réseaux de neurones capables de raisonnement explicite et de manipulation de données symboliques.
Cependant, les DNC présentent plusieurs limites. Ils sont coûteux en calcul, car les opérations d'accès mémoire nécessitent un temps O(N^2) par étape en raison de la matrice de liens temporels. Cela les rend difficiles à mettre à l'échelle pour de grandes tailles de mémoire. Ils peinent également avec des séquences très longues, car la mémoire peut devenir encombrée et les mécanismes d'attention peuvent échouer à se concentrer sur les bons emplacements. En conséquence, les DNC ont été largement supplantés par d'autres architectures, telles que les Transformers, qui utilisent l'auto-attention pour accéder à l'information sur toute la séquence d'entrée. Néanmoins, les idées des DNC ont influencé des travaux ultérieurs sur les réseaux de neurones augmentés de mémoire et la mémoire externe dans l'apprentissage profond.
Relation avec d'autres architectures
Le DNC est une extension de la machine de Turing neuronale (NTM), introduite par Alex Graves, Greg Wayne et Ivo Danihelka en 2014. La NTM avait une structure similaire mais manquait de la matrice de liens temporels et de la liste libre, ce qui la rendait moins efficace pour apprendre des opérations séquentielles. Le DNC partage également des similitudes conceptuelles avec les réseaux résiduels en ce sens que les deux visent à améliorer le flux d'information, mais ils opèrent dans des domaines différents : les réseaux résiduels abordent les gradients qui disparaissent dans les réseaux feedforward profonds, tandis que les DNC abordent la mémoire à long terme dans les réseaux récurrents.
Dans le contexte du apprentissage profond, les DNC font partie d'une tendance plus large d'augmentation des réseaux de neurones avec des composants externes, tels que les mécanismes d'attention et la mémoire. L'attention multi-têtes utilisée dans les Transformers peut être considérée comme une forme d'accès mémoire basé sur le contenu, mais sans les opérations explicites d'écriture et d'effacement. Les DNC sont également liés au apprentissage par curriculum, car les auteurs ont constaté que l'entraînement sur des tâches de difficulté croissante aidait le réseau à apprendre des comportements plus complexes.
Héritage et influence
Bien que les DNC ne soient pas largement utilisés dans les systèmes de production aujourd'hui, ils ont eu un impact durable sur le domaine de l'intelligence artificielle. Ils ont démontré que les réseaux de neurones peuvent apprendre à effectuer des tâches algorithmiques nécessitant une manipulation explicite de la mémoire, ce qui était auparavant considéré comme hors de portée des méthodes basées sur le gradient. Le concept de mémoire différentiable a été incorporé dans divers autres modèles, tels que les réseaux de neurones augmentés de mémoire pour l'apprentissage en quelques essais et les ordinateurs neuronaux différentiables pour le raisonnement sur graphes. Les travaux ont également inspiré la recherche sur le tri différentiable et les structures de données différentiables, qui ont des applications dans la IA générative et au-delà.
Le DNC a été développé par une équipe de DeepMind, comprenant Alex Graves, Greg Wayne et d'autres. Leur article, intitulé « Hybrid computing using a neural network with dynamic external memory », a été publié dans Nature en octobre 2016. Le code du DNC a ensuite été publié en open source, permettant aux chercheurs d'expérimenter avec l'architecture. Bien que le DNC lui-même puisse être considéré comme un jalon historique, ses principes continuent d'informer la conception des réseaux de neurones modernes nécessitant une mémoire à long terme et des capacités de raisonnement.