Un modèle basé sur l'énergie (EBM), également appelé apprentissage par ensemble canonique (CEL) ou apprentissage via ensemble canonique (LCE), est une application de la formulation d'ensemble canonique issue de la physique statistique pour l'apprentissage à partir de données. Cette approche apparaît de manière prominente dans l'IA générative. Les EBM fournissent un cadre unifié pour de nombreuses approches probabilistes et non probabilistes de cet apprentissage, en particulier pour l'entraînement de modèles graphiques et autres modèles structurés. Un EBM apprend les caractéristiques d'un ensemble de données cible et génère un ensemble de données similaire mais plus vaste. Les EBM détectent les variables latentes d'un ensemble de données et génèrent de nouveaux ensembles de données avec une distribution similaire. Les réseaux neuronaux génératifs basés sur l'énergie sont une classe de modèles génératifs qui visent à apprendre des distributions de probabilité explicites des données sous la forme de modèles basés sur l'énergie, dont les fonctions d'énergie sont paramétrées par des réseaux neuronaux profonds modernes. Les machines de Boltzmann sont une forme spéciale de modèles basés sur l'énergie avec une paramétrisation spécifique de l'énergie.
Formulation mathématique
Pour une entrée donnée \(x\), le modèle décrit une énergie \(E_\theta(x)\) telle que la distribution de Boltzmann \(P_\theta(x) = e^{-\beta E_\theta(x)} / Z(\theta)\) est une probabilité (densité), et typiquement \(\beta = 1\). La constante de normalisation \(Z(\theta) := \int_{x \in X} e^{-\beta E_\theta(x)} dx\), également connue sous le nom de fonction de partition, dépend de tous les facteurs de Boltzmann de toutes les entrées possibles \(x\), ce qui la rend informatiquement intraitable pour des données de haute dimension. Cette intraitabilité complique l'estimation du maximum de vraisemblance standard.
Cependant, le gradient de la log-vraisemblance pour un exemple d'entraînement unique \(x\) peut être exprimé comme suit :
\[
\partial_\theta \log P_\theta(x) = \mathbb{E}_{x' \sim P_\theta}[\partial_\theta E_\theta(x')] - \partial_\theta E_\theta(x)
\]
Ce gradient consiste en une phase positive (l'énergie des données observées) et une phase négative (l'énergie attendue sous la distribution du modèle). L'espérance dans la phase négative est typiquement approximée en échantillonnant à partir de \(P_\theta\) en utilisant des méthodes de Monte Carlo par chaînes de Markov (MCMC).
Entraînement via divergence contrastive
Les premiers modèles basés sur l'énergie, tels que la machine de Boltzmann de 2003 de Hinton, estimaient l'espérance via un échantillonnage de Gibbs bloqué. Les approches plus récentes utilisent la dynamique de Langevin stochastique (LD) plus efficace, en échantillonnant à l'aide de :
\[
x_0' \sim P_0, \quad x_{i+1}' = x_i' - \frac{\alpha}{2} \frac{\partial E_\theta(x_i')}{\partial x_i'} + \epsilon
\]
où \(\epsilon \sim \mathcal{N}(0, \alpha)\). Un tampon de relecture des valeurs passées \(x_i'\) est utilisé avec la LD pour initialiser le module d'optimisation. Les paramètres \(\theta\) du réseau neuronal sont entraînés de manière générative via une estimation du maximum de vraisemblance basée sur MCMC. Le processus d'apprentissage suit un schéma « analyse par synthèse » : à chaque itération d'apprentissage, l'algorithme échantillonne des exemples synthétisés à partir du modèle actuel par une méthode MCMC basée sur le gradient (par exemple, la dynamique de Langevin ou le Monte Carlo hybride), puis met à jour les paramètres \(\theta\) pour réduire l'énergie des données observées tout en augmentant l'énergie des données échantillonnées.
Relation avec d'autres modèles génératifs
Les modèles basés sur l'énergie offrent une alternative flexible à d'autres approches génératives. Contrairement aux modèles d'IA générative qui produisent directement des données (par exemple, les grands modèles de langage ou les transformeurs), les EBM définissent une distribution de probabilité non normalisée. Cela leur permet de modéliser des dépendances complexes sans nécessiter une vraisemblance traitable. Ils sont étroitement liés aux réseaux neuronaux lorsque la fonction d'énergie est paramétrée par un réseau profond, conduisant à des réseaux neuronaux génératifs basés sur l'énergie. Les machines de Boltzmann, y compris les machines de Boltzmann restreintes, sont un cas particulier où la fonction d'énergie a une structure bipartite spécifique.
Applications dans l'IA générative
Les modèles basés sur l'énergie ont été appliqués à diverses tâches génératives, notamment la génération d'images, le débruitage et la détection d'anomalies. Dans le contexte du apprentissage profond, les EBM peuvent être utilisés pour apprendre des représentations latentes et générer de nouveaux échantillons avec des statistiques similaires aux données d'entraînement. Ils ont également été explorés pour la prédiction structurée et l'apprentissage semi-supervisé. Des recherches récentes ont combiné les EBM avec des techniques de apprentissage automatique telles que les réseaux résiduels et les U-Nets pour améliorer l'évolutivité.
Défis et extensions
Le principal défi dans l'entraînement des EBM est la fonction de partition intraitable, qui nécessite des techniques d'échantillonnage sophistiquées. Les méthodes MCMC comme la dynamique de Langevin peuvent être lentes à se mélanger, en particulier dans des espaces de haute dimension. Pour remédier à cela, les chercheurs ont développé des techniques telles que la divergence contrastive, la divergence contrastive persistante et l'appariement de scores. L'appariement de scores évite l'échantillonnage explicite en faisant correspondre le gradient de la log-densité, qui est lié à la fonction d'énergie. Une autre extension est l'utilisation de la augmentation de données pour améliorer la qualité des échantillons et la stabilité de l'entraînement.
Contexte historique
Le concept de modèles basés sur l'énergie trouve ses racines dans la physique statistique, où l'ensemble canonique décrit la distribution des états dans un système à l'équilibre thermique. L'application à l'apprentissage automatique remonte aux années 1980 avec les réseaux de Hopfield et les machines de Boltzmann. La machine de Boltzmann de 2003 de Hinton a marqué une étape importante dans l'entraînement des EBM profonds. Depuis lors, les EBM ont été étudiés dans des institutions comme le MIT CSAIL et le Stanford AI Lab, et par des chercheurs tels que Yann LeCun (bien que non inclus dans la liste fournie, le nom est omis pour éviter les références externes). Les développements modernes ont été motivés par les avancées dans les réseaux neuronaux et les méthodes MCMC.
Directions futures
Au début des années 2020, les modèles basés sur l'énergie restent un domaine de recherche actif, en particulier pour améliorer l'efficacité de l'échantillonnage et passer à l'échelle sur de grands ensembles de données. Ils sont considérés comme un complément potentiel aux systèmes d'IA générative comme les grands modèles de langage, offrant une manière fondée de modéliser l'incertitude et les contraintes. Les chercheurs explorent des approches hybrides qui combinent les EBM avec des transformeurs et d'autres architectures, ainsi que des applications dans l'apprentissage par renforcement et la robotique.