Une machine de Boltzmann est un type de réseau de neurones stochastique récurrent qui apprend à représenter et à échantillonner des distributions de probabilité sur des états de sortie binaires. Elle doit son nom à la distribution de Boltzmann issue de la mécanique statistique, qui régit la probabilité de chaque état du réseau en fonction de son énergie. Le modèle est également classé comme un champ aléatoire de Markov et constitue une instance spécifique du modèle de Sherrington-Kirkpatrick avec un champ externe, également connu sous le nom de modèle d'Ising stochastique. Il a été fortement promu dans les communautés des sciences cognitives et du apprentissage automatique par Geoffrey Hinton, Terry Sejnowski et Yann LeCun, dans le cadre de la classe plus large des modèles basés sur l'énergie, où l'hamiltonien d'un verre de spin sert de fonction d'énergie définissant la tâche d'apprentissage.
Les machines de Boltzmann sont théoriquement remarquables pour la localité et la nature hebbienne de leur algorithme d'entraînement, qui suit la règle de Hebb, ainsi que pour leur parallélisme et leur ressemblance avec des processus physiques simples. Cependant, les machines de Boltzmann avec une connectivité non contrainte ne se sont pas révélées utiles pour des problèmes pratiques en apprentissage automatique ou en inférence. Lorsque la connectivité est correctement contrainte, comme dans les machines de Boltzmann restreintes, l'apprentissage devient suffisamment efficace pour des applications pratiques.
Structure
Une machine de Boltzmann est constituée d'un réseau d'unités binaires, chacune produisant un état de 0 ou de 1. Le réseau global possède une fonction d'énergie globale, identique dans sa forme à celle des réseaux de Hopfield et des modèles d'Ising, définie comme suit :
E = - (somme sur i<j de w_ij s_i s_j + somme sur i de theta_i * s_i)
Ici, w_ij est la force de connexion entre l'unité j et l'unité i, s_i est l'état binaire de l'unité i, et theta_i est le biais de l'unité i, avec -theta_i représentant le seuil d'activation. Les poids sont souvent représentés comme une matrice symétrique W avec des zéros sur la diagonale.
Probabilité d'état d'une unité
La différence d'énergie globale résultant du fait qu'une unité i est éteinte plutôt qu'allumée, notée Delta E_i, est donnée par la somme des poids des unités connectées plus le biais. Cette différence d'énergie est liée aux probabilités des deux états par le facteur de Boltzmann, où la probabilité d'un état est proportionnelle à exp(-E / (k_B T)), avec k_B la constante de Boltzmann et T un paramètre de température artificiel. Cette relation permet au réseau de mettre à jour les unités de manière stochastique, en favorisant les configurations de plus faible énergie.
Algorithme d'entraînement
L'entraînement d'une machine de Boltzmann vise à ajuster les poids et les biais afin que la distribution d'équilibre du réseau corresponde à une distribution cible sur les unités visibles. La règle d'apprentissage est locale et hebbienne : le changement d'un poids est proportionnel à la différence entre la corrélation des deux unités lorsque le réseau est contraint aux données et lorsqu'il fonctionne librement. Cette procédure d'apprentissage contrastif repose sur l'échantillonnage de la distribution du modèle, souvent à l'aide de méthodes de Monte Carlo par chaînes de Markov. La localité de l'algorithme le rend biologiquement plausible, mais les réseaux non contraints souffrent d'une convergence lente et d'une mauvaise évolutivité.
Variantes pratiques
Pour remédier à l'inefficacité des machines de Boltzmann entièrement connectées, les chercheurs ont introduit les machines de Boltzmann restreintes (RBM), qui contraignent la connectivité à deux couches - visible et cachée - sans connexions intra-couches. Cette contrainte permet un entraînement plus efficace à l'aide de la divergence contrastive. Les RBM empilées constituent la base des réseaux de croyance profonds, qui ont été influents dans le développement précoce du apprentissage profond. Ces variantes ont été appliquées à des tâches telles que la réduction de dimensionnalité, l'apprentissage de caractéristiques et le filtrage collaboratif, bien qu'elles aient été largement supplantées par d'autres architectures dans de nombreux domaines.
Héritage et influence
La machine de Boltzmann a contribué à des concepts fondamentaux pour la IA générative et les modèles basés sur l'énergie. Sa dynamique stochastique et son interprétation probabiliste ont influencé les développements ultérieurs de la recherche sur les réseaux de neurones, notamment l'utilisation de variables latentes et l'inférence par échantillonnage. Bien qu'elle ne soit pas largement utilisée dans les systèmes contemporains à grande échelle comme les grands modèles de langage, ses aperçus théoriques restent pertinents pour comprendre les modèles graphiques probabilistes et l'apprentissage non supervisé. Le nom du modèle persiste dans la littérature comme un exemple canonique de réseau récurrent stochastique et un pont entre la physique statistique et l'intelligence artificielle.