Ein Autoencoder ist eine Art künstliches neuronales Netzwerk, das verwendet wird, um effiziente Kodierungen von unbeschrifteten Daten zu lernen, eine Form des unüberwachten Lernens. Es lernt zwei Funktionen: eine Kodierfunktion, die Eingabedaten in eine komprimierte Darstellung transformiert, und eine Dekodierfunktion, die die ursprünglichen Daten aus dieser Darstellung rekonstruiert. Das Netzwerk wird trainiert, um den Unterschied zwischen der Eingabe und ihrer Rekonstruktion zu minimieren, wodurch eine niedrigerdimensionale Einbettung gelernt wird, die die wesentliche Struktur der Daten erfasst. Diese Einbettungen werden häufig für die Dimensionsreduktion oder als Eingaben für andere maschinelle Lernalgorithmen verwendet.
Autoencoder haben zahlreiche Varianten, die zusätzliche Beschränkungen auferlegen, um die gelernten Darstellungen nützlicher zu machen. Regularisierte Autoencoder, wie sparse, denoising und contractive Autoencoder, sind effektiv für Klassifikationsaufgaben, während variational autoencoder neue Datenproben ähnlich der Trainingsverteilung erzeugen können. Zu den Anwendungen gehören Gesichtserkennung, Anomalieerkennung, Merkmalserkennung und das Lernen von Wortbedeutungen.
Mathematische Prinzipien
Ein Autoencoder wird formal durch zwei Mengen definiert: den Raum der kodierten Nachrichten \(\mathcal{Z}\) und den Raum der dekodierten Nachrichten \(\mathcal{X}\), typischerweise euklidische Räume mit \(\mathcal{X} = \mathbb{R}^m\) und \(\mathcal{Z} = \mathbb{R}^n\), wobei \(m > n\). Er umfasst auch zwei parametrisierte Familien von Funktionen: eine Kodierfamilie \(E_\phi: \mathcal{X} \to \mathcal{Z}\) und eine Dekodierfamilie \(D_\theta: \mathcal{Z} \to \mathcal{X}\). Für eine Eingabe \(x\) erzeugt der Kodierer eine latente Variable \(z = E_\phi(x)\), und der Dekodierer gibt eine Rekonstruktion \(x' = D_\theta(z)\) aus. Sowohl Kodierer als auch Dekodierer sind typischerweise mehrschichtige Perzeptren; zum Beispiel berechnet ein einschichtiger Kodierer \(\sigma(Wx + b)\), wobei \(\sigma\) eine Aktivierungsfunktion, \(W\) eine Gewichtsmatrix und \(b\) ein Bias-Vektor ist.
Das Training eines Autoencoders erfordert eine Aufgabe, die durch eine Referenzwahrscheinlichkeitsverteilung \(\mu_{ref}\) über \(\mathcal{X}\) und eine Rekonstruktionsqualitätsfunktion \(d: \mathcal{X} \times \mathcal{X} \to [0, \infty]\) definiert ist. Die Verlustfunktion ist der erwartete Rekonstruktionsfehler \(L(\theta, \phi) = \mathbb{E}_{x \sim \mu_{ref}}[d(x, D_\theta(E_\phi(x)))]\). Das Ziel ist es, Parameter \(\theta\) und \(\phi\) zu finden, die diesen Verlust minimieren, typischerweise unter Verwendung von gradientenbasierten Optimierungsmethoden wie Adam oder stochastischen Gradientenabstiegs-Varianten.
Varianten und Regularisierungen
Mehrere Autoencoder-Varianten modifizieren die Verlustfunktion oder die Architektur, um bestimmte Eigenschaften zu fördern. Sparse Autoencoder fügen eine Strafe auf die Aktivierung der verborgenen Einheiten hinzu, wodurch sparse Darstellungen gefördert werden. Denoising Autoencoder korrumpieren die Eingabe mit Rauschen und trainieren das Netzwerk, um das saubere Original zu rekonstruieren, wodurch die Darstellung robust gegenüber Rauschen wird. Contractive Autoencoder fügen eine Strafe auf die Jacobi-Matrix des Kodierers hinzu, wodurch die Darstellung unempfindlich gegenüber kleinen Eingabeänderungen wird. Diese regularisierten Formen werden häufig für die Merkmalsextraktion in Klassifikationspipelines verwendet.
Variational Autoencoder (VAEs) verfolgen einen probabilistischen Ansatz, indem sie eine Verteilung über latente Variablen lernen und generative Modellierung ermöglichen. VAEs haben Einfluss auf generative KI gehabt und werden in Anwendungen wie Bildsynthese und Wirkstoffforschung eingesetzt.
Anwendungen
Autoencoder werden in vielen Bereichen angewendet. In der Computer Vision werden sie für Gesichtserkennung und Anomalieerkennung verwendet, wobei der Rekonstruktionsfehler ungewöhnliche Muster hervorhebt. In der natürlichen Sprachverarbeitung helfen sie beim Lernen von Wortvektoren und semantischen Darstellungen. Sie dienen auch als Bausteine in Deep-Learning-Architekturen, wie zum Beispiel U-Net für die Bildsegmentierung, das eine Kodierer-Dekodierer-Struktur ähnlich wie Autoencoder verwendet.
In der Industrie werden Autoencoder für Betrugserkennung, Erkennung von Netzwerkeindringlingen und vorausschauende Wartung eingesetzt. Zum Beispiel bieten AWS und Google Cloud maschinelle Lerndienste an, die autoencoderbasierte Anomalieerkennung integrieren. Forschungseinrichtungen wie MIT CSAIL und Stanford AI Lab haben zur Weiterentwicklung der Theorie und Anwendungen von Autoencodern beigetragen.
Beziehung zu anderen Modellen
Autoencoder sind eng verwandt mit Encoder-Decoder-Modellen und Sequence-to-Sequence-Architekturen, die in Transformatoren verwendet werden. Während Transformatoren Multi-Head-Attention und positionale Kodierung für Aufgaben wie Übersetzung verwenden, konzentrieren sich Autoencoder auf unüberwachtes Repräsentationslernen. Einige moderne große Sprachmodelle integrieren autoencoderähnliche Ziele für das Vortraining, wie zum Beispiel maskiertes Sprachmodellieren, das als ein Denoising-Autoencoder über Text betrachtet werden kann.
Einschränkungen und Erweiterungen
Ein grundlegender Autoencoder kann eine Identitätsfunktion lernen, wenn der latente Raum zu groß ist, daher sind Beschränkungen wie Flaschenhals-Schichten oder Regularisierung notwendig. Überanpassung ist ein Anliegen, das durch Techniken wie Dropout und Batch-Normalisierung behandelt wird. Erweiterungen umfassen gestapelte Autoencoder, bei denen mehrere Schichten gierig trainiert werden, und Modellbereinigung, um die Rechenkosten zu reduzieren. Die Forschung wird fortgesetzt, um Robustheit und Interpretierbarkeit zu verbessern, mit Beiträgen von Gruppen wie OpenAI und Google DeepMind.