La recherche sémantique est une approche de récupération qui classe et renvoie des résultats en fonction du sens sous-jacent d’une requête, plutôt que d’exiger que les mots littéraux de la requête apparaissent dans le contenu correspondant. Alors que la recherche par mots-clés traditionnelle, illustrée par les systèmes d’index inversé et les formules de classement TF-IDF et BM25, fait correspondre les documents contenant les mêmes termes que la requête, la recherche sémantique pose une question différente : quels éléments stockés sont conceptuellement les plus proches de ce que l’utilisateur voulait dire ? Une recherche pour « logement abordable près de la plage » devrait faire apparaître une annonce décrite comme « chambres front de mer à petit prix », même si les deux formulations ne partagent presque aucun mot.
Comment cela fonctionne
La technique dominante représente à la fois la requête et chaque élément d’un corpus sous forme d’plongement, un vecteur dense produit par un modèle entraîné, de sorte que des textes sémantiquement similaires produisent des vecteurs proches. Lors de la requête, le système plonge la requête entrante et récupère les éléments dont les vecteurs sont les plus proches selon une métrique de distance comme la similarité cosinus, une opération réalisée à grande échelle par une base de données vectorielle à l’aide d’une indexation par voisins approximatifs. Cette approche générale, souvent appelée récupération dense, contraste avec les méthodes de correspondance de termes éparses qui l’ont précédée.
La recherche sémantique a des racines plus anciennes que l’approche actuelle par plongements. L’analyse sémantique latente, dans les années 1980 et 1990, utilisait la factorisation matricielle sur des statistiques de co-occurrence mot-document pour capturer une certaine notion de similarité thématique, et les moteurs de recherche construits sur un graphe de connaissances tentaient de raisonner sur des entités et des relations plutôt que sur des chaînes de caractères. La version par plongements n’est devenue dominante qu’après Word2vec et les modèles contextuels ultérieurs issus de l’ère du transformeur, développés dans le cadre plus large du traitement du langage naturel, qui ont rendu la production de vecteurs denses de haute qualité peu coûteuse à grande échelle.
Applications
La recherche sémantique est le mécanisme de récupération derrière les systèmes de génération augmentée par récupération, où des passages pertinents sont extraits d’un magasin de documents et insérés dans l’invite d’un grand modèle de langage pour ancrer sa sortie dans des sources spécifiques et réduire les hallucinations. Elle est également utilisée directement dans les produits de recherche grand public et d’entreprise, la découverte de produits en commerce électronique, la redirection du support client, la revue de documents juridiques et médicaux, ainsi que la recherche de code, partout où la formulation de l’utilisateur risque de ne pas correspondre exactement au vocabulaire du contenu cible.
Approches hybrides et limites
La recherche sémantique pure peut échouer sur des requêtes qui dépendent de chaînes exactes, comme les codes produit, les noms propres ou les termes techniques rares, où une correspondance par mots-clés est sans ambiguïté et où la récupération dense peut dériver vers un résultat simplement lié par le thème mais incorrect. Pour cette raison, la plupart des systèmes de production utilisent une recherche hybride, combinant un signal épars basé sur les mots-clés comme BM25 avec un signal dense basé sur les plongements, puis fusionnant ou reclassant les deux ensembles de résultats. Un reclassement en seconde étape, souvent effectué par un petit modèle transformeur entraîné spécifiquement pour évaluer la pertinence requête-document, est couramment appliqué aux meilleurs candidats issus de la passe de récupération initiale afin d’améliorer la précision.
La qualité de la recherche sémantique dépend fortement des données d’entraînement du modèle de plongement et de l’adéquation au domaine : un modèle entraîné principalement sur du texte web général peut mal récupérer dans un corpus spécialisé comme la jurisprudence ou la littérature scientifique, à moins d’être adapté par réglage fin ou que le corpus soit plongé avec un modèle spécifique au domaine. Comme tout système basé sur la similarité, la recherche sémantique peut également produire avec assurance des résultats incorrects lorsqu’aucun élément réellement pertinent n’existe dans l’index, car elle renverra toujours la correspondance la plus proche, même si celle-ci est de mauvaise qualité.