L'article « Generative Adversarial Networks » a été publié en juin 2014 par Ian Goodfellow et ses collègues, introduisant un cadre novateur pour l'apprentissage automatique qui allait être connu sous le nom de réseau antagoniste génératif (GAN). Dans ce cadre, deux réseaux de neurones - un générateur et un discriminateur - s'affrontent dans un jeu à somme nulle, où le gain d'un agent est la perte de l'autre. La publication a posé les fondations d'une classe de modèles qui génèrent de nouvelles données avec les mêmes caractéristiques statistiques qu'un ensemble d'entraînement donné, permettant des applications allant de la synthèse d'images réalistes à l'augmentation de données dans des domaines tels que la vision par ordinateur et au-delà.
À son cœur, un GAN fonctionne sur un principe d'entraînement indirect. L'objectif du générateur est de produire des échantillons synthétiques impossibles à distinguer des données réelles, tandis que l'objectif du discriminateur est de classer correctement les entrées comme réelles (provenant de l'ensemble d'entraînement) ou fausses (provenant du générateur). Le générateur n'est pas entraîné pour correspondre à une cible spécifique, mais plutôt pour tromper le discriminateur, qui lui-même est continuellement mis à jour pour devenir plus perspicace. Ce processus antagoniste permet au modèle d'apprendre de manière non supervisée, rendant les GAN particulièrement puissants pour des tâches où les données étiquetées sont rares. Le concept s'inspire du mimétisme en biologie évolutive, où une course aux armements évolutive pousse les deux réseaux à s'améliorer.
Formulation mathématique
Un jeu GAN est défini sur un espace de probabilité \( (\Omega, \mu_{\text{ref}}) \), où \( \mu_{\text{ref}} \) est la distribution de référence des données d'entraînement. L'ensemble des stratégies du générateur est l'ensemble de toutes les mesures de probabilité \( \mu_G \) sur \( \Omega \), représentant sa distribution de sortie. L'ensemble des stratégies du discriminateur consiste en des noyaux de Markov qui attribuent une probabilité à chaque entrée d'être réelle. La fonction objectif est :
\[ L(\mu_G, \mu_D) = \mathbb{E}_{x \sim \mu_{\text{ref}}, y \sim \mu_D(x)}[\ln y] + \mathbb{E}_{x \sim \mu_G, y \sim \mu_D(x)}[\ln(1 - y)] \]
Le générateur minimise cet objectif, tandis que le discriminateur le maximise. Le générateur cherche à faire en sorte que \( \mu_G \) se rapproche étroitement de \( \mu_{\text{ref}} \), de sorte que le discriminateur produise des valeurs proches de 1 pour les données réelles et proches de 0 pour les données générées. À l'équilibre, le générateur produit des échantillons impossibles à distinguer de la distribution réelle, et le discriminateur est réduit à une devinette aléatoire.
Processus d'entraînement pratique
En pratique, l'entraînement implique un ensemble de données connu qui sert de données d'entraînement initiales pour le discriminateur. Le discriminateur est présenté avec des échantillons de l'ensemble d'entraînement jusqu'à ce qu'il atteigne une précision acceptable. Le générateur est initialisé avec une entrée aléatoire échantillonnée à partir d'un espace latent prédéfini, tel qu'une distribution normale multivariée. Le générateur synthétise des candidats, que le discriminateur évalue. Des procédures indépendantes de Backpropagation sont appliquées aux deux réseaux, de sorte que le générateur produit de meilleurs échantillons tandis que le discriminateur devient plus habile à signaler les échantillons synthétiques.
Pour la génération d'images, le générateur est typiquement un réseau de neurones déconvolutionnel, et le discriminateur est un réseau de neurones convolutionnel. Cette configuration permet aux GAN de générer des échantillons complets en une seule passe, contrairement aux modèles autorégressifs comme WaveNet ou PixelRNN, qui nécessitent plusieurs passes. Le processus d'entraînement est dynamique, avec les deux réseaux s'améliorant de manière antagoniste, ce qui conduit souvent à des défis tels que l'effondrement de mode ou l'instabilité d'entraînement, qui ont été abordés par diverses modifications comme la normalisation par lots et différentes fonctions de perte.
Relation avec d'autres méthodes d'apprentissage automatique
Les GAN sont des modèles génératifs implicites, ce qui signifie qu'ils ne modélisent pas explicitement la fonction de vraisemblance ni ne fournissent un moyen de trouver la variable latente pour un échantillon donné, contrairement aux modèles génératifs basés sur les flux. Cette distinction les sépare des autoencodeurs variationnels et d'autres modèles explicites. Comparés aux machines de Boltzmann et à l'ICA linéaire, les GAN n'imposent aucune restriction sur le type de fonction utilisée par le réseau, grâce aux capacités d'approximation universelle des réseaux de neurones. En 2026, il a été prouvé que les autoencodeurs variationnels sont des approximateurs universels sous certaines conditions, mais les GAN restent une approche distincte et largement utilisée.
Contrairement aux réseaux de croyance entièrement visibles, les GAN génèrent un échantillon entier en une seule passe avant, ce qui les rend efficaces sur le plan computationnel pour générer des données de haute dimension. Cependant, ils ne fournissent pas d'estimation directe de la vraisemblance, ce qui peut être un inconvénient pour certaines applications. Le paradigme d'entraînement antagoniste a également influencé d'autres domaines, tels que la robustesse antagoniste et l'IA générative, où les GAN servent de technique fondamentale.
Impact et applications
L'introduction des GAN en 2014 a eu un impact profond sur le domaine de l'apprentissage profond. Ils sont devenus un cadre de premier plan pour aborder l'IA générative, permettant la création d'images, d'audio et de vidéos synthétiques réalistes. Les applications vont de la génération artistique et de la traduction d'image à image à l'augmentation de données en imagerie médicale et à l'apprentissage semi-supervisé. Le cadre a également stimulé la recherche sur l'apprentissage par renforcement et les tâches d'apprentissage entièrement supervisé, car les GAN se sont révélés utiles au-delà de leur portée initiale d'apprentissage non supervisé.
Malgré leur succès, les GAN font face à des défis tels que l'instabilité d'entraînement et la difficulté à évaluer la qualité des échantillons. Néanmoins, ils restent un domaine de recherche clé en intelligence artificielle, avec des développements continus abordant ces problèmes. L'article de 2014 de Goodfellow et ses collègues est largement cité et a inspiré de nombreuses variantes, y compris les GAN conditionnels, les GAN cohérents par cycle et les GAN progressifs, chacun améliorant le cadre original de manières spécifiques.
Conclusion
La publication de l'article sur les GAN en juin 2014 a marqué un jalon dans l'apprentissage automatique, introduisant un cadre antagoniste conceptuellement élégant qui est depuis devenu un pilier de la modélisation générative. En opposant deux réseaux de neurones, les GAN obtiennent des résultats remarquables dans la génération de données réalistes, avec des implications pour l'apprentissage non supervisé, l'apprentissage semi-supervisé et au-delà. Alors que le domaine évolue, les GAN continuent d'être un témoignage de la puissance des dynamiques compétitives dans l'entraînement des réseaux de neurones.