Un espace d'embedding est une construction mathématique utilisée en apprentissage automatique et en intelligence artificielle pour représenter des objets discrets - tels que des mots, des images, des utilisateurs ou des produits - sous forme de vecteurs continus dans un espace de faible dimension. La propriété définissant un espace d'embedding est que les objets sémantiquement similaires sont placés à proximité, tandis que les objets dissemblables sont éloignés. Cet agencement géométrique permet aux algorithmes d'effectuer des tâches comme la recherche de similarité, le regroupement et la classification en mesurant les distances ou les angles entre les vecteurs.
Les espaces d'embedding sont fondamentaux pour les systèmes modernes de Deep learning, y compris les Large language models et les architectures de Neural network. Ils transforment des représentations de haute dimension et éparses (comme les mots encodés en one-hot) en vecteurs denses et de faible dimension qui capturent les relations sous-jacentes. Le concept a évolué des premières sémantiques distributionnelles aux embeddings appris sophistiqués entraînés par rétropropagation, et il sous-tend de nombreuses applications en traitement du langage naturel, en vision par ordinateur et en systèmes de recommandation.
Origines historiques
L'idée de représenter le sens à travers des relations spatiales remonte aux années 1950, avec des linguistes et des scientifiques cognitifs explorant les espaces sémantiques. En 1954, Zellig Harris a proposé la sémantique distributionnelle, suggérant que les mots apparaissant dans des contextes similaires ont des significations similaires. Ce principe a ensuite inspiré des modèles statistiques comme l'analyse sémantique latente (LSA), introduite en 1990 par Scott Deerwester et ses collègues, qui utilisait la décomposition en valeurs singulières pour créer des vecteurs de mots de faible dimension à partir de matrices document-terme.
Dans les années 2000, les modèles de langage neuronaux probabilistes, comme le travail de Bengio en 2003, ont commencé à apprendre des embeddings de mots comme sous-produit de la prédiction du mot suivant. Cependant, la percée est venue en 2013 avec le modèle Word2vec de Tomas Mikolov et son équipe chez Google. Word2vec utilisait un réseau neuronal peu profond pour produire des embeddings qui capturaient de riches relations sémantiques et syntaxiques, permettant notamment l'arithmétique vectorielle comme "roi - homme + femme ≈ reine". Cela a démontré que les espaces d'embedding encodent une structure analogique, suscitant une adoption généralisée.
Fondements mathématiques
Formellement, un espace d'embedding est un espace vectoriel, généralement euclidien, de dimension d (souvent comprise entre 50 et 1000 ou plus). Chaque objet est mappé à un point de cet espace via une fonction d'embedding, apprise pendant l'entraînement. Le mappage est généralement une table de correspondance ou une couche de réseau neuronal qui transforme les caractéristiques d'entrée en vecteurs.
Les métriques de distance sont cruciales. Les plus courantes sont la distance euclidienne et la similarité cosinus. La similarité cosinus mesure le cosinus de l'angle entre deux vecteurs, ignorant la magnitude, ce qui est souvent préféré pour les embeddings de texte car cela se concentre sur la direction. L'agencement des points reflète la structure sémantique : les catégories forment des grappes, et les attributs continus (comme la taille ou le sentiment) peuvent correspondre à des directions dans l'espace.
Les espaces d'embedding sont généralement de faible dimension par rapport à l'espace d'entrée, mais suffisamment élevés pour capturer des relations complexes. La dimensionnalité est un hyperparamètre qui équilibre l'expressivité et l'efficacité computationnelle. Des techniques comme l'analyse en composantes principales (PCA) et t-SNE sont souvent utilisées pour visualiser ces espaces en deux ou trois dimensions pour l'analyse.
Apprentissage des embeddings
Les embeddings sont appris à travers divers objectifs d'entraînement. Dans les contextes supervisés, les embeddings sont optimisés pour prédire des étiquettes. Dans les contextes non supervisés ou auto-supervisés, ils sont appris à partir du contexte. Pour les mots, les architectures skip-gram et continuous bag-of-words (CBOW) de Word2vec prédisent respectivement les mots environnants ou le mot cible à partir du contexte. GloVe (Global Vectors) de Jeffrey Pennington et ses collègues (2014) factorise les matrices de co-occurrence de mots pour produire des embeddings.
Pour les phrases et les documents, des modèles comme les Transformer (architecture)s apprennent des embeddings contextuels, où la représentation d'un mot dépend de son contexte environnant. C'est une avancée majeure par rapport aux embeddings de mots statiques, qui attribuent un vecteur unique à chaque mot indépendamment du contexte. Les embeddings contextuels, comme ceux de BERT (2018) et GPT, capturent la polysémie et le sens nuancé.
L'apprentissage moderne des embeddings utilise souvent l'apprentissage contrastif, où le modèle est entraîné à rapprocher les paires similaires et à éloigner les paires dissemblables. Cette approche est courante dans les modèles vision-langage comme CLIP (2021), qui alignent les images et le texte dans un espace d'embedding partagé.
Applications à travers les domaines
Les espaces d'embedding sont utilisés dans une large gamme d'applications. En traitement du langage naturel, ils constituent la couche d'entrée de la plupart des Large language models, leur permettant de traiter le texte. Dans les systèmes de recommandation, les embeddings d'utilisateurs et d'articles sont appris pour prédire les préférences, comme on le voit dans les modèles de filtrage collaboratif comme la factorisation matricielle et les recommandateurs neuronaux.
En vision par ordinateur, les embeddings d'images sont utilisés pour la recherche de similarité, la reconnaissance faciale et l'apprentissage zero-shot. Par exemple, FaceNet (2015) mappe les images de visages dans un espace d'embedding où les distances correspondent à la similarité d'identité. En bioinformatique, les embeddings représentent des gènes, des protéines ou des molécules de médicaments, aidant à la découverte de médicaments et à l'analyse génomique.
Les espaces d'embedding permettent également l'apprentissage par transfert : un modèle pré-entraîné sur un grand corpus peut être affiné pour des tâches spécifiques en ajustant l'espace d'embedding. C'est une pierre angulaire des systèmes modernes d'Artificial intelligence, y compris ceux développés par OpenAI, Anthropic et Google DeepMind.
Propriétés et défis
Les espaces d'embedding présentent plusieurs propriétés notables. Ils montrent souvent une structure linéaire, permettant le raisonnement analogique. Ils présentent également un regroupement, où les éléments liés se rassemblent. Cependant, ils peuvent souffrir de problèmes comme l'anisotropie, où les embeddings occupent un cône étroit dans l'espace, limitant l'expressivité. Des techniques comme le post-traitement et la régularisation abordent ce problème.
Un autre défi est la malédiction de la dimensionnalité : à mesure que les dimensions augmentent, les distances deviennent moins significatives. Ainsi, choisir la bonne dimensionnalité est critique. De plus, les embeddings peuvent encoder des biais présents dans les données d'entraînement, conduisant à des résultats injustes ou nuisibles. Les chercheurs étudient activement des méthodes pour débiaiser les embeddings.
L'interprétabilité est limitée : il est souvent difficile de savoir ce que chaque dimension représente. Cela a motivé des travaux sur les embeddings désentrelacés et les modèles interprétables. De plus, les espaces d'embedding ne sont pas statiques ; ils évoluent avec de nouvelles données, nécessitant une gestion attentive dans les systèmes de production.
Techniques avancées d'embedding
Les avancées récentes incluent les embeddings hyperboliques, qui représentent des données hiérarchiques plus efficacement en les intégrant dans un espace hyperbolique, où les distances croissent exponentiellement. Cela est utile pour les taxonomies et les graphes de connaissances. Une autre technique est les embeddings de graphes, comme Node2Vec et GraphSAGE, qui intègrent les nœuds d'un réseau tout en préservant les relations structurelles.
Dans le contexte de la Generative AI, les espaces d'embedding sont utilisés pour contrôler la génération. Par exemple, dans les modèles texte-image, une invite textuelle est intégrée puis utilisée pour guider la génération d'images. Dans le Reinforcement learning, les embeddings représentent les états et les actions.
Des entreprises comme AMD, Apple et Samsung Electronics intègrent des fonctionnalités basées sur les embeddings dans leur matériel et leurs logiciels, comme la recherche sémantique sur appareil et les assistants personnalisés. Les fournisseurs de cloud comme Amazon Web Services, Microsoft Azure et Google Cloud offrent des API d'embedding et des bases de données vectorielles, permettant aux développeurs de créer des applications de recherche de similarité sans gérer l'infrastructure.
Orientations futures
L'avenir des espaces d'embedding réside dans les embeddings multimodaux et unifiés, où le texte, les images, l'audio et d'autres modalités partagent un espace commun. Des modèles comme CLIP et DALL-E démontrent ce potentiel. Il y a aussi un intérêt pour l'apprentissage continu, où les embeddings s'adaptent à de nouvelles données sans oublier les connaissances anciennes.
Une autre direction est les embeddings économes en énergie, car l'entraînement de grands modèles consomme des ressources significatives. La recherche sur les embeddings épars et la quantification vise à réduire la mémoire et le calcul. De plus, les embeddings préservant la confidentialité, comme l'apprentissage fédéré, permettent l'entraînement sans centraliser les données.
Alors que l'Artificial intelligence continue d'évoluer, les espaces d'embedding resteront une abstraction centrale, permettant aux machines de comprendre et de raisonner sur le monde de manière géométrique. Leur simplicité et leur puissance garantissent qu'ils seront un pilier de la recherche et des applications en IA pour les années à venir.