Le lien d'entités (également connu sous le nom de résolution d'entités ou désambiguïsation d'entités nommées) est une tâche de traitement du langage naturel qui connecte les mentions textuelles d'objets du monde réel, comme des personnes, des organisations ou des lieux, à leurs entrées correspondantes dans une base de connaissances structurée, généralement un graphe de connaissances comme Wikidata ou Wikipédia. L'objectif est de résoudre l'ambiguïté : une mention comme « Washington » pourrait désigner l'État américain, la ville, la personne ou le journal. Les systèmes de lien d'entités doivent déterminer le référent visé en fonction du contexte, ancrant ainsi le texte libre dans une représentation lisible par machine.
La tâche est issue de travaux antérieurs sur la reconnaissance d'entités nommées (NER), qui identifie des segments de texte comme des entités mais ne leur attribue pas d'identités uniques. Le lien d'entités étend la NER en ajoutant une étape de désambiguïsation, utilisant souvent des caractéristiques telles que les mots environnants, la cohérence du type d'entité et les probabilités a priori des entités candidates. C'est un composant fondamental des pipelines d'extraction d'informations, permettant des applications en aval comme la réponse à des questions, l'extraction de relations et la population de bases de connaissances. Dans les systèmes d'IA modernes, le lien d'entités soutient également la génération augmentée par récupération, où les grands modèles de langage consultent des sources de connaissances externes pour produire des réponses plus précises et vérifiables.
Développement historique
Les racines du lien d'entités remontent aux années 1990 et au début des années 2000, lorsque les chercheurs travaillant sur la recherche d'informations et l'exploration de textes ont commencé à aborder le problème de l'ambiguïté des noms. Les premiers systèmes reposaient sur des règles artisanales et des correspondances lexicales, mais le domaine a pris de l'ampleur avec l'introduction de campagnes d'évaluation à grande échelle. La conférence sur l'analyse de textes (TAC) et son prédécesseur, la conférence sur la compréhension de messages (MUC), incluaient des tâches exigeant de lier des entités nommées à des bases de connaissances. En 2009, la piste TAC-KBP (population de bases de connaissances) a formalisé le lien d'entités comme une évaluation autonome, fournissant des ensembles de données de référence et stimulant des progrès systématiques.
Au cours des années 2010, les approches statistiques et d'apprentissage automatique ont dominé, utilisant des caractéristiques comme le contexte en sac de mots, la popularité des entités et des mesures basées sur les graphes. Des systèmes tels que AIDA et DBpedia Spotlight sont devenus largement utilisés. L'avènement de l'apprentissage profond au milieu des années 2010 a apporté des modèles neuronaux qui apprenaient des représentations denses des mentions et des entités, améliorant la précision sur les cas ambigus. À la fin des années 2010, les modèles basés sur les transformeurs, y compris BERT et ses successeurs, ont établi de nouveaux résultats de pointe en capturant des sémantiques contextuelles riches.
Défis fondamentaux
Le lien d'entités fait face à plusieurs difficultés inhérentes. La plus importante est l'ambiguïté : de nombreux noms d'entités sont polysémiques, et le référent correct dépend souvent d'indices contextuels subtils. Par exemple, « Apple » pourrait désigner le fruit, l'entreprise technologique ou un label de disques. Inversement, une seule entité peut avoir plusieurs formes de surface, comme « JFK », « John F. Kennedy » et « Président Kennedy », nécessitant une résolution d'alias.
Un autre défi est l'incomplétude des bases de connaissances. De nombreuses entités du monde réel ne sont pas encore représentées, ce qui conduit au problème des mentions « NIL », où le système doit décider s'il faut créer une nouvelle entrée ou laisser la mention non résolue. De plus, le lien d'entités doit traiter des textes bruités, comme les publications sur les réseaux sociaux ou les transcriptions de discours, où les erreurs d'orthographe et le langage informel sont courants. Le lien d'entités multilingue, où les mentions sont dans une langue et la base de connaissances dans une autre, ajoute une complexité supplémentaire.
Méthodes et techniques
Les approches traditionnelles de lien d'entités suivent un pipeline : génération de candidats, classement des candidats et, éventuellement, prédiction des mentions non liables. La génération de candidats récupère un ensemble d'entités possibles depuis la base de connaissances en utilisant la correspondance de chaînes, des tables d'alias ou des index de recherche. Le classement des candidats évalue ensuite chaque candidat en utilisant des caractéristiques comme la similarité contextuelle, la popularité des entités et la compatibilité des types. Les méthodes basées sur les graphes exploitent la structure de la base de connaissances, utilisant des algorithmes comme PageRank ou PageRank personnalisé pour propager des preuves à travers des entités liées.
Les méthodes neuronales et d'apprentissage profond ont largement supplanté les approches basées sur des caractéristiques. Les systèmes modernes utilisent des encodeurs à transformeurs pour produire des plongements contextualisés pour les mentions et les entités. Certains modèles apprennent conjointement des représentations de mentions et d'entités dans un espace partagé, tandis que d'autres utilisent des encodeurs croisés qui concatènent le contexte de la mention et la description de l'entité. Des travaux récents ont exploré des approches génératives, où un modèle séquence-à-séquence génère directement l'identifiant de l'entité, et des méthodes augmentées par récupération qui combinent la récupération dense de passages avec le lien d'entités. Les grands modèles de langage, tels que ceux développés par OpenAI et Anthropic, ont également été appliqués au lien d'entités de manière zero-shot ou few-shot, bien que leur fiabilité sur les cas ambigus reste un domaine de recherche actif.
Applications et impact
Le lien d'entités est essentiel pour construire et maintenir des graphes de connaissances. Dans Google Cloud et d'autres plateformes cloud, des services de lien d'entités sont proposés sous forme d'API, permettant aux développeurs d'enrichir du texte non structuré sans construire de modèles personnalisés. Les moteurs de recherche utilisent le lien d'entités pour comprendre les requêtes et afficher des panneaux de connaissances. Dans le domaine biomédical, le lien d'entités connecte les mentions de gènes, de médicaments et de maladies à des ontologies comme l'UMLS, soutenant l'exploration de la littérature et l'aide à la décision clinique.
Dans le contexte de l'intelligence artificielle et de l'apprentissage automatique, le lien d'entités sert de pont entre le langage naturel et les données structurées. C'est un composant clé des systèmes de réponse à des questions, où le lien des entités dans une question aide à récupérer des faits pertinents depuis une base de connaissances. Il soutient également la vérification des faits et la détection de désinformation en ancrant les affirmations dans des sources vérifiables. Alors que les systèmes de grands modèles de langage deviennent plus répandus, le lien d'entités est de plus en plus utilisé pour réduire l'hallucination en ancrant le texte généré à des connaissances externes.
Évaluation et références
La métrique d'évaluation standard pour le lien d'entités est la précision, définie comme la fraction de mentions correctement liées à l'entité de référence. Cependant, cette métrique peut être trompeuse lorsque de nombreuses mentions ne sont pas liables, donc des variantes comme la précision micro-moyenne sur toutes les mentions et la précision macro-moyenne sur les documents sont également utilisées. Des références comme les ensembles de données TAC-KBP, CoNLL-YAGO et le corpus AIDA-CoNLL fournissent un terrain commun pour la comparaison. Des références plus récentes, comme l'ensemble de données de lien d'entités zero-shot, testent la généralisation à des entités et des domaines non vus.
Malgré des progrès significatifs, le lien d'entités reste un problème ouvert, en particulier pour les entités de longue traîne, les langues à faibles ressources et les domaines dynamiques où de nouvelles entités émergent fréquemment. Les directions de recherche futures incluent l'intégration plus étroite du lien d'entités avec des modèles neuronaux de bout en bout, l'exploitation de signaux multimodaux et le développement de méthodes capables de fonctionner sur des bases de connaissances en évolution continue.