Semantische Suche ist ein Retrieval-Ansatz, der Ergebnisse basierend auf der zugrunde liegenden Bedeutung einer Anfrage einordnet und zurückgibt, anstatt zu verlangen, dass die wörtlichen Wörter der Anfrage im übereinstimmenden Inhalt vorkommen. Während die traditionelle Stichwortsuche, veranschaulicht durch invertierte Indexsysteme und die Ranking-Formeln TF-IDF und BM25, Dokumente abgleicht, die dieselben Token wie die Anfrage enthalten, stellt die semantische Suche eine andere Frage: Welche gespeicherten Elemente sind konzeptionell am nächsten zu dem, was der Benutzer meinte. Eine Suche nach „erschwingliche Unterkunft in Strandnähe“ sollte eine Auflistung anzeigen, die als „preisgünstige Zimmer mit Meerblick“ beschrieben wird, obwohl die beiden Phrasen fast keine Wörter gemeinsam haben.
Funktionsweise
Die dominierende Technik stellt sowohl die Anfrage als auch jedes Element in einem Korpus als Embedding dar, einen dichten numerischen Vektor, der von einem trainierten Modell erzeugt wird, sodass semantisch ähnlicher Text nahe beieinanderliegende Vektoren erzeugt. Zur Abfragezeit bettet das System die eingehende Anfrage ein und ruft die Elemente ab, deren Vektoren am nächsten liegen, gemessen mit einer Distanzmetrik wie der Kosinus-Ähnlichkeit, eine Operation, die in großem Maßstab von einer Vektordatenbank unter Verwendung von approximativer Nachbarschaftsindizierung durchgeführt wird. Dieser allgemeine Ansatz, oft als dichtes Retrieval bezeichnet, steht im Gegensatz zu den spärlichen, auf Termübereinstimmung basierenden Methoden, die ihm vorausgingen.
Die semantische Suche hat frühere Wurzeln als der aktuelle embedding-basierte Ansatz. Die latente semantische Analyse in den späten 1980er und frühen 1990er Jahren nutzte Matrixfaktorisierung über Wort-Dokument-Kooperationsstatistiken, um ein gewisses Maß an thematischer Ähnlichkeit zu erfassen, und Suchmaschinen, die auf einem Wissensgraphen aufbauten, versuchten, über Entitäten und Beziehungen statt über Zeichenketten zu schließen. Die embedding-basierte Version wurde erst dominant, nachdem Word2vec und spätere kontextuelle Embedding-Modelle aus der Transformer-Ära, entwickelt im breiteren Feld der natürlichen Sprachverarbeitung, hochwertige dichte Vektoren kostengünstig in großem Maßstab produzierbar machten.
Anwendungen
Semantische Suche ist der Retrieval-Mechanismus hinter retrieval-augmentierter Generierung-Systemen, bei denen relevante Passagen aus einem Dokumentenspeicher abgerufen und in den Prompt eines LLM eingefügt werden, um dessen Ausgabe in spezifischem Quellmaterial zu verankern und Halluzinationen zu reduzieren. Sie wird auch direkt in Verbraucher- und Unternehmenssuchprodukten, E-Commerce-Produktentdeckung, Kundensupport-Ablenkung, juristischer und medizinischer Dokumentenprüfung sowie Codesuche eingesetzt, überall dort, wo die Formulierung eines Benutzers wahrscheinlich nicht genau mit dem Vokabular des Zielinhalts übereinstimmt.
Hybride Ansätze und Einschränkungen
Reine semantische Suche kann bei Anfragen, die von exakten Zeichenketten abhängen, wie Produktcodes, Eigennamen oder seltenen technischen Begriffen, schlechter abschneiden, wo eine Stichwortübereinstimmung eindeutig ist und dichtes Retrieval zu einem lediglich thematisch verwandten, aber falschen Ergebnis abweichen kann. Aus diesem Grund verwenden die meisten Produktionssysteme hybride Suche, die ein spärliches stichwortbasiertes Signal wie BM25 mit einem dichten embedding-basierten Signal kombiniert und dann die beiden Ergebnismengen zusammenführt oder neu einordnet. Ein Re-Ranker in der zweiten Stufe, oft ein kleineres Transformer-Modell, das speziell darauf trainiert ist, die Relevanz von Anfrage-Dokument zu bewerten, wird üblicherweise auf die besten Kandidaten aus dem ersten Retrieval-Durchgang angewendet, um die Präzision zu verbessern.
Die Qualität der semantischen Suche hängt stark von den Trainingsdaten und der Domänenübereinstimmung des Embedding-Modells ab: Ein Modell, das hauptsächlich mit allgemeinem Webtext trainiert wurde, kann in einem spezialisierten Korpus wie Fallrecht oder Chemieliteratur schlecht abrufen, es sei denn, es wurde durch Feinabstimmung angepasst oder der Korpus wird mit einem domänenspezifischen Modell eingebettet. Wie bei jedem ähnlichkeitsbasierten System kann die semantische Suche auch selbstbewusst falsche Ergebnisse liefern, wenn kein wirklich relevantes Element im Index vorhanden ist, da sie immer die nächste Übereinstimmung zurückgibt, selbst wenn diese Übereinstimmung schlecht passt.