L'estimation par contraste de bruit (NCE) est une technique en Machine learning pour estimer les paramètres d'une distribution de probabilité. Introduite par Michael Gutmann et Aapo Hyvärinen en 2010, la NCE cadre l'estimation de densité comme un problème de classification binaire : étant donné un ensemble de points de données observés et un ensemble d'échantillons de bruit générés artificiellement, un modèle est entraîné à distinguer les deux. Cette approche évite la nécessité de calculer une constante de normalisation, souvent intraitable dans des modèles complexes tels que les réseaux de neurones et les grands modèles de langage.
La NCE est particulièrement utile dans les contextes où la fonction de partition est difficile à évaluer, comme dans les modèles basés sur l'énergie, le traitement du langage naturel et les systèmes de recommandation. En apprenant à séparer les données du bruit, le modèle apprend implicitement la distribution de données sous-jacente, faisant de la NCE une alternative pratique à l'estimation par maximum de vraisemblance lorsque le calcul exact de la vraisemblance est irréalisable.
Formulation mathématique
La NCE définit un problème de classification binaire où chaque point de données est étiqueté comme réel (1) ou bruit (0). La distribution de bruit, notée \(p_n\), est généralement une distribution simple telle qu'une distribution uniforme ou gaussienne. La distribution du modèle, \(p_m(x; \theta)\), est paramétrée par \(\theta\). L'objectif est de maximiser la log-probabilité de classification correcte :
\[ J(\theta) = \sum_{i=1}^{T} \left[ \log h(x_i; \theta) + \log(1 - h(x_i'; \theta)) \right] \]
où \(x_i\) sont les points de données observés, \(x_i'\) sont les échantillons de bruit, et \(h(x; \theta) = \frac{p_m(x; \theta)}{p_m(x; \theta) + k \cdot p_n(x)}\). Ici, \(k\) est le nombre d'échantillons de bruit par point de données. À mesure que \(k\) augmente, l'estimateur NCE se rapproche de l'estimateur du maximum de vraisemblance, mais même avec un \(k\) modéré (par exemple, 10 à 25), la NCE produit des estimations cohérentes sous des conditions douces.
L'avantage clé est que la distribution du modèle \(p_m\) peut être non normalisée, ce qui signifie qu'elle peut être exprimée comme \(p_m(x; \theta) = \exp(f(x; \theta))\), où \(f\) est un réseau de neurones ou un autre approximateur de fonction. La constante de normalisation est implicitement absorbée dans l'objectif de classification, éliminant le besoin de calcul explicite.
Applications en modélisation du langage
La NCE a été largement adoptée dans le traitement du langage naturel, en particulier pour l'entraînement de plongements de mots et de modèles de langage. En 2013, Tomas Mikolov et ses collègues chez Google ont utilisé la NCE dans le cadre de Word2Vec pour apprendre des représentations distribuées de mots. Le modèle skip-gram, par exemple, utilise la NCE pour distinguer les mots cibles des mots de bruit échantillonnés à partir d'une distribution unigramme. Cette approche réduit considérablement le coût computationnel par rapport à un softmax complet sur un grand vocabulaire, qui peut contenir des centaines de milliers de mots.
Plus tard, la NCE a été appliquée aux modèles de langage neuronaux, y compris les réseaux de neurones récurrents et les architectures basées sur transformers. Par exemple, en 2016, des chercheurs de Google DeepMind ont utilisé la NCE pour entraîner un modèle de langage sur le One Billion Word Benchmark, atteignant une perplexité de pointe à l'époque. Plus récemment, la NCE a été utilisée dans des cadres d'apprentissage contrastif, où l'objectif est d'apprendre des représentations en rapprochant les paires positives et en éloignant les paires négatives, un concept étroitement lié à la stratégie d'échantillonnage de bruit de la NCE.
Comparaison avec d'autres méthodes
La NCE est souvent comparée à l'échantillonnage d'importance, à la divergence contrastive et à l'échantillonnage négatif. Contrairement à l'échantillonnage d'importance, la NCE fournit un estimateur cohérent même lorsque la distribution de proposition n'est pas proche de la cible. La divergence contrastive, utilisée pour entraîner les machines de Boltzmann restreintes, approxime le gradient de la log-vraisemblance, tandis que la NCE optimise directement un objectif de classification. L'échantillonnage négatif, popularisé par Word2Vec, est une version simplifiée de la NCE qui ignore le terme de correction impliquant la distribution de bruit, ce qui le rend plus rapide mais moins fondé théoriquement.
La NCE diffère également de l'estimation par maximum de vraisemblance (MLE) en ce qu'elle ne nécessite pas un modèle normalisé. Dans la MLE, la constante de normalisation doit être calculée ou approximée, ce qui est souvent intraitable. La NCE contourne cela en traitant la constante de normalisation comme un paramètre à apprendre implicitement. Cela rend la NCE particulièrement attrayante pour les modèles avec des architectures complexes, tels que les modèles profonds de IA générative.
Considérations pratiques
Le choix d'une distribution de bruit appropriée est crucial pour la performance de la NCE. La distribution de bruit doit être facile à échantillonner et avoir un support qui chevauche la distribution des données. En pratique, une distribution uniforme sur le domaine des données est courante, mais pour des données de haute dimension, une distribution gaussienne ou une distribution dépendante des données (par exemple, une distribution unigramme pour le texte) fonctionne souvent mieux. Le nombre d'échantillons de bruit \(k\) affecte également le compromis biais-variance : un \(k\) plus grand réduit le biais mais augmente le coût computationnel. Les valeurs typiques vont de 1 à 25, avec 10 comme choix courant.
La NCE a été implémentée dans des bibliothèques d'apprentissage automatique populaires, notamment TensorFlow et PyTorch, et est disponible dans des outils comme la bibliothèque Gensim pour word2vec. Elle a également été utilisée dans des systèmes de recommandation, comme dans le modèle de recommandation basé sur l'apprentissage profond de YouTube, où elle aide à passer à l'échelle avec des millions d'articles.
Extensions et variantes
Plusieurs extensions de la NCE ont été proposées. La NCE conditionnelle (CNCE) intègre des variables de conditionnement, permettant l'estimation de densité pour des distributions conditionnelles. La NCE basée sur le rang utilise une perte de classement au lieu d'une perte logistique, améliorant la robustesse au bruit. En 2019, des chercheurs ont introduit InfoNCE, une variante utilisée dans le codage prédictif contrastif, qui est devenue une pierre angulaire de l'apprentissage auto-supervisé en vision par ordinateur et en audio. InfoNCE maximise l'information mutuelle entre le contexte et les échantillons futurs, et elle a été appliquée dans des modèles comme SimCLR et CLIP.
Une autre variante, appelée NCE avec distributions de bruit apprises, adapte la distribution de bruit pendant l'entraînement, ce qui peut améliorer la convergence. Ces extensions ont élargi l'applicabilité de la NCE au-delà de l'estimation de densité vers l'apprentissage de représentations et la modélisation générative.
Conclusion
L'estimation par contraste de bruit est une technique puissante et flexible pour apprendre des distributions de probabilité sans normalisation explicite. Sa capacité à passer à l'échelle avec des problèmes de haute dimension en a fait un pilier de l'apprentissage automatique moderne, des plongements de mots aux modèles de langage à grande échelle. Alors que la recherche se poursuit, la NCE et ses variantes restent des domaines d'étude actifs, avec des travaux en cours sur les garanties théoriques et de nouvelles applications dans intelligence artificielle.