Ein Autoencoder ist eine Art von neuralem Netzwerk, das darauf trainiert ist, seine eigene Eingabe zu rekonstruieren, nachdem es diese durch eine schmale Engpassschicht geleitet hat. Es besteht aus zwei Teilen: einem Encoder, der die Eingabe in einen kompakten internen Code komprimiert, und einem Decoder, der die ursprüngliche Eingabe aus diesem Code rekonstruiert. Da das Netzwerk nur eine kleine Menge an Informationen durch den Engpass leiten kann, ist es gezwungen zu lernen, welche Merkmale der Daten am wichtigsten sind, und erzeugt so eine latente Raumdarstellung, die kleiner und oft aussagekräftiger ist als die rohe Eingabe.
Geschichte und Varianten
Autoencoder gehen auf die konnektionistische Literatur der 1980er-Jahre zurück, erlangten aber erst später als eine Form des unüberwachten Lernens an Bedeutung, da sie keine Beschriftungen benötigen: Die Eingabe selbst dient als Trainingsziel, ein frühes Beispiel für das, was heute als selbstüberwachtes Lernen bezeichnet wird. Die Einführung des variationalen Autoencoders (VAE) im Jahr 2013 brachte eine probabilistische Wendung, indem sie den latenten Raum darauf beschränkte, eine glatte, bekannte Verteilung anzunähern, anstatt eine beliebige Form anzunehmen. Dies machte es möglich, neue Stichproben zu erzeugen, indem man zufällige Punkte aus dieser Verteilung zieht und sie dekodiert, wodurch Autoencoder von einem Kompressionswerkzeug zu einem generativen Werkzeug wurden. Weitere Varianten umfassen denoising Autoencoder, die darauf trainiert werden, eine saubere Eingabe aus einer verrauschten Version zu rekonstruieren, und spärliche Autoencoder, die fördern, dass die meisten latenten Einheiten nahe Null bleiben, eine Eigenschaft, die später in der Interpretierbarkeitsforschung genutzt wurde, um einzelne Merkmale in großen Sprachmodellen zu isolieren.
Anwendungen
Über die direkte Generierung hinaus werden Autoencoder häufig zur Dimensionsreduktion und Anomalieerkennung eingesetzt, da Eingaben, die das Modell schlecht rekonstruiert, wahrscheinlich ungewöhnlich im Vergleich zur Trainingsverteilung sind. In der Bildgenerierung ist das Encoder-Decoder-Paar eines Autoencoders eine Schlüsselkomponente latenter Diffusionsmodelle wie stable-diffusion: Ein Bild wird in ein kleines latentes Gitter komprimiert, der Diffusionsprozess läuft in diesem komprimierten Raum ab, und der Decoder erweitert das Ergebnis zurück zu einem Bild in voller Auflösung. Diese Arbeitsteilung ist ein Hauptgrund dafür, dass moderne Text-zu-Bild-Systeme auf handelsüblicher Hardware laufen können. Autoencoder finden sich auch in Empfehlungssystemen, wo sie helfen, dünn besetzte Nutzer-Interaktionsdaten zu rekonstruieren, sowie in der Spracherkennung und in Audiopipelines, um Wellenformen vor der weiteren Verarbeitung zu komprimieren.
Beziehung zu anderen Architekturen
Autoencoder sind mit generativen gegnerischen Netzen verwandt, unterscheiden sich aber von ihnen: Der Generator eines GAN bildet ebenfalls einen latenten Vektor auf eine Ausgabe ab, wird aber gegnerisch gegen einen Diskriminator trainiert, anstatt den Rekonstruktionsfehler zu minimieren, was tendenziell schärfere, aber weniger steuerbare Ausgaben erzeugt. Transformer-basierte Systeme haben einfache Autoencoder für die groß angelegte Verarbeitung natürlicher Sprache weitgehend verdrängt, obwohl das Encoder-Decoder-Muster selbst, das früher in Seq2seq-Modellen formalisiert wurde, ein konzeptioneller Vorfahre sowohl von Autoencodern als auch der Transformer-Architektur bleibt. Die Vorhersageziele mit maskierter Vorhersage, die in Modellen wie bert verwendet werden, können auch als Denoising-Autoencoder-Aufgabe auf Text betrachtet werden.
Einschränkungen
Standard-Autoencoder optimieren nur die Rekonstruktion, was keinen latenten Raum garantiert, der glatt, entwirrt oder für nachgelagerte Aufgaben nützlich ist; variationelle und andere regularisierte Varianten beheben dies teilweise, erkaufen sich dies jedoch meist mit einer geringeren Schärfe der Rekonstruktion zugunsten besser strukturierter latenter Räume. Ab Mitte der 2020er-Jahre überleben Autoencoder hauptsächlich als Komponente in größeren generativen Pipelines und nicht als eigenständiger Modellierungsansatz.