Ein latenter Raum ist ein komprimierter, niedrigdimensionaler Raum, den ein neuronales Netzwerk intern lernt, um die Struktur seiner Trainingsdaten darzustellen. Anstatt rohe Pixel, Wörter oder Audio-Samples zu speichern, bilden Modelle, die einen latenten Raum verwenden, Eingaben auf eine Reihe abstrakter numerischer Koordinaten oder Vektoren ab, die so gewählt sind, dass Eingaben mit ähnlicher Bedeutung oder ähnlichem Erscheinungsbild nahe beieinander positioniert werden. Die Idee wird im gesamten Bereich des Deep Learning verwendet, von Autoencodern und Generativen Adversarialen Netzwerken bis hin zu modernen Diffusionsmodellen und Embedding-basierten Suchsystemen.
Ursprünge
Die Idee geht auf frühere Methoden zur Dimensionsreduktion in der Statistik zurück, gelangte aber durch den Autoencoder, ein neuronales Netzwerk, das darauf trainiert wird, eine Eingabe in eine Engpass-Schicht zu komprimieren und sie dann zu rekonstruieren, in den Mainstream des maschinellen Lernens. Die Werte der Engpass-Schicht sind die latente Repräsentation. Variationale Autoencoder, die 2013 eingeführt wurden, erweiterten dies, indem sie den latenten Raum zwangen, einer glatten Wahrscheinlichkeitsverteilung zu folgen, was es ermöglichte, neue, plausible Ausgaben zu sampeln, indem man zufällige Punkte in diesem Raum auswählt. Eine parallele Forschungslinie, Word2vec (2013), zeigte, dass ein latenter Raum, der auf Text trainiert wurde, analoge Beziehungen zwischen Wörtern erfassen kann, und popularisierte die Idee, dass Richtung und Distanz in einem latenten Raum Bedeutung tragen.
Rolle in generativen Modellen
Der latente Raum wurde mit Generativen Adversarialen Netzwerken zentral für die Bildgenerierung, deren Generator lernt, zufällige latente Vektoren in realistische Bilder abzubilden. Noch wichtiger wurde er mit der latenten Diffusion, der Technik hinter Stable Diffusion und verwandten Systemen: Anstatt den langsamen Denoising-Prozess direkt auf Pixeln auszuführen, komprimiert das Modell ein Bild mit einem Autoencoder in ein kleines latentes Gitter, führt die Diffusionsmodell-Schritte dort aus und dekodiert erst am Ende zurück zu Pixeln. Dies machte die hochauflösende Text-zu-Bild-Generierung erheblich kostengünstiger. Multimodale Systeme wie CLIP lernen einen gemeinsamen latenten Raum für Bilder und Text, sodass eine Bildunterschrift und das passende Bild nahe beieinander liegen, was es einem Diffusionsmodell überhaupt erst ermöglicht, durch einen Text-Prompt gesteuert zu werden.
Interpolation, Arithmetik und Suche
Da nahe beieinanderliegende Punkte in einem gut geformten latenten Raum tendenziell semantisch ähnlich sind, können Praktiker glatt zwischen zwei Punkten interpolieren, um eine Ausgabe in eine andere zu überführen, oder Vektorarithmetik durchführen - ein berühmtes frühes Beispiel ist „König minus Mann plus Frau gleich Königin" bei Wort-Embeddings. Dieselbe Eigenschaft liegt dem semantischen Suchen zugrunde: Dokumente und Abfragen werden in einen gemeinsamen latenten Raum eingebettet, und eine Vektordatenbank findet nahegelegene Vektoren, anstatt exakte Schlüsselwörter abzugleichen. In Bildmodellen kann das Bearbeiten eines latenten Vektors entlang einer entdeckten Richtung ein Attribut der Ausgabe ändern, wie Beleuchtung oder Pose, ohne das Modell neu zu trainieren.
Einschränkungen
Latente Räume werden gelernt, nicht entworfen, daher ist ihre Struktur nicht garantiert interpretierbar oder gleichmäßig organisiert; Regionen können verflochten sein, was bedeutet, dass eine einzelne Dimension mehrere sichtbare Attribute gleichzeitig beeinflusst. Arbeiten im Bereich der Interpretierbarkeit haben versucht, latente Repräsentationen transparenter zu machen, mit gemischtem Erfolg, und die Geometrie eines latenten Raums kann sich zwischen Modellversionen erheblich verschieben, was Versuche erschwert, gelernte Richtungen über Modelle hinweg wiederzuverwenden.