Un autoencodeur est un type de réseau de neurones entraîné à reproduire sa propre entrée après l'avoir fait passer à travers une couche de goulot d'étranglement étroite. Il se compose de deux parties : un encodeur qui compresse l'entrée en un code interne compact, et un décodeur qui reconstruit l'entrée d'origine à partir de ce code. Comme le réseau ne peut faire passer qu'une petite quantité d'informations à travers le goulot, il est forcé d'apprendre quelles caractéristiques des données sont les plus importantes, produisant une représentation espace latent plus petite et souvent plus significative que l'entrée brute.
Historique et variantes
Les autoencodeurs remontent à la littérature connexionniste des années 1980, mais ont gagné une pertinence moderne en tant que forme d'apprentissage non supervisé, car ils ne nécessitent aucune étiquette : l'entrée elle-même sert de cible d'entraînement, un exemple précoce de ce qu'on appelle aujourd'hui apprentissage auto-supervisé. L'introduction en 2013 de l'autoencodeur variationnel (VAE) a ajouté une dimension probabiliste, contraignant l'espace latent à approximer une distribution lisse et connue plutôt qu'une forme arbitraire. Cela a permis de générer de nouveaux échantillons en tirant des points aléatoires de cette distribution et en les décodant, transformant les autoencodeurs d'un outil de compression en un outil génératif. D'autres variantes incluent les autoencodeurs débruiteurs, entraînés à récupérer une entrée propre à partir d'une version corrompue, et les autoencodeurs parcimonieux, qui encouragent la plupart des unités latentes à rester proches de zéro, une propriété réutilisée plus tard dans la recherche en interprétabilité pour isoler des caractéristiques individuelles dans les grands modèles de langage.
Applications
Au-delà de la génération directe, les autoencodeurs sont largement utilisés pour la réduction de dimensionnalité et la détection d'anomalies, car les entrées que le modèle reconstruit mal sont susceptibles d'être inhabituelles par rapport à la distribution d'entraînement. En génération d'images, la paire encodeur-décodeur d'un autoencodeur est un composant clé des modèles de diffusion latents tels que Stable Diffusion : une image est compressée en une petite grille latente, le processus de diffusion s'exécute dans cet espace compressé, et le décodeur étend le résultat en une image en pleine résolution. Cette division du travail est une raison majeure pour laquelle les systèmes modernes de texte-à-image peuvent fonctionner sur du matériel grand public. Les autoencodeurs apparaissent également dans les systèmes de recommandation, où ils aident à reconstruire des données d'interaction utilisateur-élément éparses, et dans les pipelines de reconnaissance vocale et audio comme moyen de compresser les formes d'onde avant un traitement ultérieur.
Relation avec d'autres architectures
Les autoencodeurs sont liés mais distincts des réseaux antagonistes génératifs : le générateur d'un GAN mappe également un vecteur latent à une sortie, mais il est entraîné de manière antagoniste contre un discriminateur plutôt que pour minimiser l'erreur de reconstruction, ce qui tend à produire des sorties plus nettes mais moins contrôlables. Les systèmes basés sur les transformeurs ont largement remplacé les autoencodeurs simples pour le traitement du langage naturel à grande échelle, bien que le motif encodeur-décodeur lui-même, formalisé plus tôt dans les modèles Seq2seq, reste un ancêtre conceptuel à la fois des autoencodeurs et de l'architecture transformeur. Les objectifs de pré-entraînement par prédiction masquée utilisés dans des modèles tels que BERT peuvent également être vus comme une tâche d'autoencodeur débruitant appliquée au texte.
Limitations
Les autoencodeurs standard optimisent uniquement la reconstruction, ce qui ne garantit pas un espace latent lisse, désenchevêtré ou utile pour des tâches en aval ; les variantes variationnelles et autres variantes régularisées abordent cela partiellement, mais échangent généralement la netteté de la reconstruction contre des espaces latents mieux structurés. Au milieu des années 2020, les autoencodeurs survivent principalement comme un composant au sein de pipelines génératifs plus larges plutôt que comme une approche de modélisation autonome.