Un réseau antagoniste génératif, ou GAN, est une classe de modèle d'apprentissage automatique dans laquelle deux réseaux de neurones, un générateur et un discriminateur, sont entraînés ensemble en opposition : le générateur tente de produire des données synthétiques suffisamment réalistes pour tromper le discriminateur, tandis que le discriminateur essaie de distinguer correctement les sorties factices du générateur des exemples réels. L'entraînement se déroule comme un jeu antagoniste dans lequel les améliorations d'un réseau poussent l'autre à s'améliorer à son tour, convergeant idéalement vers un générateur capable de produire des données synthétiques très réalistes.
Historique
Les GAN ont été introduits dans un article de 2014 par Ian Goodfellow et ses collègues de l'Université de Montréal, conçus, dit-on, après une dispute tardive sur la modélisation générative. La formulation originale entraînait des réseaux relativement petits sur des ensembles d'images simples, mais l'architecture s'est rapidement améliorée : DCGAN en 2015 a établi des architectures convolutionnelles stables pour la génération d'images, et Progressive GAN en 2017 ainsi que StyleGAN, publié par les chercheurs de NVIDIA en 2018 et affiné avec StyleGAN2 et StyleGAN3, ont produit des visages humains photoréalistes assez convaincants pour alimenter des démonstrations publiques « cette personne n'existe pas » et une grande partie de la technologie utilisée plus tard pour les médias hypertruqués.
Comment fonctionne l'entraînement
Le générateur prend du bruit aléatoire en entrée et le transforme en un échantillon synthétique, tandis que le discriminateur, un classifieur standard, reçoit un mélange d'échantillons réels et générés et est entraîné à les étiqueter correctement. La fonction de perte du générateur le récompense pour les sorties que le discriminateur classe à tort comme réelles, et les deux réseaux sont mis à jour via descente de gradient par étapes alternées. En principe, ce processus antagoniste pousse la distribution de sortie du générateur à correspondre à la distribution réelle des données, mais en pratique, l'entraînement des GAN est notoirement instable et sujet à l'effondrement de mode, où le générateur apprend à produire seulement une gamme étroite de sorties convaincantes plutôt que la diversité complète des données réelles, un problème qui a motivé des années de recherche sur les architectures et les fonctions de perte.
Applications
Au-delà de la synthèse photoréaliste de visages et d'images, les GAN ont été utilisés pour la traduction d'image à image, comme transformer des croquis en photos ou des photos de jour en photos de nuit, la super-résolution, l'augmentation de données pour entraîner d'autres modèles, et la conversion vocale. Ils ont également été une architecture précoce derrière les systèmes pratiques de texte vers image avant d'être largement supplantés par les modèles de diffusion. La synthèse basée sur les GAN est au cœur des préoccupations concernant les médias hypertruqués, car la même technologie de générateur qui produit des visages synthétiques convaincants peut être utilisée pour imiter des personnes réelles dans des photos et des vidéos, ce qui a suscité des recherches sur la détection des sorties de GAN et le tatouage IA.
Déclin par rapport aux modèles de diffusion
Depuis environ 2021, les modèles de diffusion ont remplacé les GAN comme approche dominante pour la génération d'images et de vidéos de haute qualité, y compris dans des systèmes tels que DALL-E, Stable Diffusion et Midjourney, car l'entraînement par diffusion est généralement plus stable, évite l'effondrement de mode et produit une plus grande diversité de sorties, même si les GAN génèrent typiquement un échantillon en un seul passage avant rapide par rapport aux nombreuses étapes itératives de débruitage d'un modèle de diffusion. Les GAN restent en usage actif là où cet avantage de vitesse d'inférence compte, et leur principe central d'entraînement antagoniste continue d'influencer la conception des fonctions de perte bien au-delà de la génération d'images pure.