Ein Embedding ist eine Möglichkeit, ein Objekt - meist ein Wort, einen Satz, ein Bild oder einen Nutzer - als Vektor fester Länge aus reellen Zahlen in einem kontinuierlichen Raum darzustellen. Die definierende Eigenschaft eines guten Embeddings ist, dass geometrische Nähe in diesem Raum semantischer Ähnlichkeit entspricht: Vektoren für „Hund" und „Welpe" liegen nahe beieinander, während „Hund" und „Aktienmarkt" weit voneinander entfernt liegen. Embeddings verwandeln das vage, symbolische Problem der Bedeutung in Arithmetik, aus der ein neuronales Netz lernen und die ein Computer effizient durchsuchen kann.
Die Idee stammt aus der Zeit vor dem Deep Learning. Forscher der distributionellen Semantik argumentierten in den 1990er Jahren, dass „ein Wort durch die Gesellschaft charakterisiert wird, die es hält", und frühe zählbasierte Methoden wie die latente semantische Analyse erzeugten niedrigdimensionale Repräsentationen aus Wort-Kookkurrenzstatistiken. Die moderne Ära begann 2013 mit Word2vec, das ein flaches neuronales Netz trainierte, um benachbarte Wörter vorherzusagen, und dabei Embeddings erzeugte, die die heute berühmte Eigenschaft besitzen, dass Vektorarithmetik Analogien erfassen kann, etwa dass „König" minus „Mann" plus „Frau" in der Nähe von „Königin" landet. GloVe, etwa im gleichen Zeitraum veröffentlicht, bot einen konkurrierenden zählbasierten Ansatz mit ähnlichen Ergebnissen.
Wie Embeddings erzeugt werden
Statische Wort-Embeddings wie word2vec und GloVe weisen jedem Wort unabhängig vom Kontext einen festen Vektor zu. Dies bricht bei polysemen Wörtern zusammen: „Bank" erhält einen einzigen Vektor, der seine Fluss- und Finanzbedeutungen vermischt. Die Transformer-Architektur und ihr Aufmerksamkeitsmechanismus lösten dies durch kontextuelle Embeddings, bei denen dasselbe Wort je nach umgebendem Satz einen unterschiedlichen Vektor erhält. Modelle wie BERT machten kontextuelle Embeddings für nachgelagerte Aufgaben populär, und jedes moderne Großsprachmodell repräsentiert intern Token als Embeddings, die Schicht für Schicht verfeinert werden.
Über Text hinaus verallgemeinern sich Embeddings auf jede Modalität. CLIP trainiert Bild- und Text-Encoder gemeinsam, sodass ein Foto einer Katze und die Bildunterschrift „eine Katze" in einem gemeinsamen Raum nahe beieinander liegen, was einen Großteil der modernen Text-zu-Bild-Generierung und multimodalen Suche untermauert. Empfehlungssysteme betten Nutzer und Artikel in einem gemeinsamen Raum ein, sodass Nähe Präferenz vorhersagt, und die Biologie hat denselben Trick übernommen, um Proteinsequenzen einzubetten.
Anwendungen
Embeddings sind die Grundlage für die semantische Suche, bei der eine Abfrage eingebettet und mit einem Korpus eingebetteter Dokumente über Kosinusähnlichkeit oder Skalarprodukt verglichen wird, statt über exakten Schlüsselwortabgleich. Diese Fähigkeit liegt retrieval-gestützter Generierung zugrunde, bei der eine Wissensdatenbank einmal eingebettet und zur Abfragezeit die relevantesten Passagen abgerufen werden, um die Antwort eines LLM zu untermauern und Halluzinationen zu reduzieren. Das Speichern und Durchsuchen von Millionen oder Milliarden von Embeddings ist die Aufgabe einer Vektordatenbank, die Indexierung mit approximativen nächsten Nachbarn verwendet, um Ähnlichkeitssuche in großem Maßstab schnell zu machen.
Embeddings treiben auch Clustering, Deduplizierung, Anomalieerkennung und Klassifikation an, da ein einfacher linearer Klassifikator, der auf guten Embeddings trainiert wird, oft mit weitaus komplexeren Modellen konkurrenzfähig ist, die von Grund auf trainiert werden. In Empfehlungs- und Suchranking-Systemen werden Embeddings von Nutzern und Artikeln häufig gemeinsam gelernt und kontinuierlich aktualisiert, während Verhaltensdaten akkumulieren.
Eigenschaften und Einschränkungen
Die Dimensionalität eines Embeddings, die für Text typischerweise von einigen hundert bis einigen tausend reicht, ist eine Designentscheidung, die Ausdruckskraft gegen Speicher- und Rechenkosten abwägt. Die resultierende geometrische Struktur wird manchmal als latenzraum bezeichnet, und die Interpolation zwischen zwei Punkten in diesem Raum kann plausible Zwischenbeispiele erzeugen, eine Eigenschaft, die in generativen Bild- und Audiomodellen stark genutzt wird.
Embeddings übernehmen Verzerrungen, die in ihren Trainingsdaten vorhanden sind: Wort-Embeddings, die auf Webtexten trainiert wurden, haben nachweislich Geschlechter- und Rassenstereotypen in ihren geometrischen Beziehungen kodiert, ein vielzitiertes Ergebnis in der Algorithmus-Verzerrung-Forschung. Sie können auch anfällig für Verteilungsverschiebungen sein, was bedeutet, dass ein Embedding-Modell, das auf einer Domäne wie allgemeinen Webtexten trainiert wurde, in einer spezialisierten Domäne wie rechtlichen oder medizinischen Dokumenten ohne zusätzliches Feintuning schlecht abschneiden kann. Trotz dieser Vorbehalte bleiben Embeddings einer der langlebigsten und am weitesten verbreiteten Bausteine in modernen KI-Systemen, konzeptionell seit dem word2vec-Durchbruch 2013 weitgehend unverändert, auch wenn die Modelle, die sie erzeugen, erheblich leistungsfähiger geworden sind.