La recherche d'information multilingue (CLIR) est un sous-domaine de la recherche d'information qui relève le défi de rechercher des documents rédigés dans une langue à l'aide d'une requête exprimée dans une langue différente. Contrairement à la recherche monolingue, qui fait correspondre directement les termes de la requête au texte du document, la CLIR nécessite de combler l'écart lexical et sémantique entre les langues. Ce domaine a émergé dans les années 1990 avec la croissance des archives numériques multilingues et le besoin pour les utilisateurs d'accéder à des contenus au-delà de leur langue maternelle. Les premiers systèmes reposaient sur des dictionnaires lisibles par machine et des lexiques bilingues, tandis que les approches modernes exploitent des modèles de réseaux neuronaux et des plongements multilingues à grande échelle.
Le problème central de la CLIR est qu'une requête et un document peuvent partager le même sens sans avoir de formes de surface qui se chevauchent. Par exemple, un utilisateur recherchant « intelligence artificielle » en anglais peut avoir besoin de récupérer un document allemand intitulé « Künstliche Intelligenz ». Les systèmes de CLIR doivent donc traduire ou mapper la requête dans la langue du document, ou mapper les deux dans un espace sémantique partagé. L'efficacité d'un système de CLIR est généralement mesurée par des métriques standard de recherche d'information telles que la précision moyenne moyenne (MAP) et le rappel, mais avec la complexité supplémentaire de l'ambiguïté de traduction et des termes hors vocabulaire.
Approches de traduction
Les premiers systèmes de CLIR utilisaient une traduction basée sur des dictionnaires, où chaque terme de la requête était remplacé par ses traductions possibles issues d'un dictionnaire bilingue. Cette approche était simple mais souffrait d'ambiguïté : un seul terme pouvait avoir plusieurs traductions, conduisant à des documents non pertinents. Pour atténuer ce problème, les chercheurs ont utilisé des techniques d'expansion de requête, ajoutant des synonymes et des termes connexes pour améliorer le rappel. La traduction automatique statistique (SMT) a ensuite amélioré les dictionnaires en apprenant des probabilités de traduction à partir de corpus parallèles, mais la SMT a toujours eu du mal avec les termes rares et le vocabulaire spécifique à un domaine.
Une méthode plus robuste est la traduction basée sur corpus, qui utilise des corpus parallèles ou comparables pour inférer des associations entre termes. Par exemple, la technique d'indexation sémantique latente multilingue (CL-LSI) projette les documents et les requêtes dans un espace de faible dimension partagé en utilisant la décomposition en valeurs singulières. Cela permet une correspondance basée sur des modèles de cooccurrence plutôt que sur des traductions exactes. Une autre approche, le modèle probabiliste, estime la probabilité qu'un document soit pertinent pour une requête en modélisant les probabilités de traduction au niveau du mot ou de la phrase.
Méthodes neuronales et basées sur les plongements
Avec l'essor de l'apprentissage profond, la CLIR s'est orientée vers des approches neuronales qui apprennent des représentations distribuées des mots et des phrases. Les plongements multilingues, tels que ceux produits par BERT multilingue ou XLM-R, mappent les mots de différentes langues dans un espace vectoriel commun où les termes sémantiquement similaires sont proches. Une requête peut être encodée dans cet espace et comparée directement aux vecteurs de documents, contournant ainsi la traduction explicite. Cette méthode, connue sous le nom de recherche dense, a montré de fortes performances sur des références multilingues comme les collections CLEF et NTCIR.
Des systèmes plus récents utilisent des modèles de séquence à séquence ou de grands modèles de langage pour traduire la requête dans la langue cible avant d'effectuer une recherche monolingue. Par exemple, un Large language model peut générer une traduction fluide de la requête, qui est ensuite introduite dans un moteur de recherche standard. Cette approche hybride combine les forces de la traduction neuronale avec une infrastructure de recherche monolingue mature. Cependant, elle introduit une latence et un coût de calcul, la rendant moins adaptée aux applications en temps réel.
Défis et évaluation
Un défi majeur de la CLIR est la gestion des langues à faibles ressources, où les corpus parallèles et les modèles pré-entraînés sont rares. Pour ces langues, les méthodes basées sur des dictionnaires ou le transfert multilingue depuis des langues apparentées peuvent être la seule option viable. Une autre question est la richesse morphologique : des langues comme le finnois ou le turc ont des formes de mots complexes, nécessitant une racinisation ou une lemmatisation pour faire correspondre efficacement les termes de la requête. Les entités nommées, telles que les noms de personnes et les lieux, posent également des difficultés car elles apparaissent souvent sous des formes translittérées ou localisées.
L'évaluation des systèmes de CLIR est généralement effectuée sur des collections de test standard, telles que le Cross-Language Evaluation Forum (CLEF) ou le projet NTCIR. Ces collections fournissent des requêtes, des documents et des jugements de pertinence dans plusieurs langues, permettant aux chercheurs de comparer les systèmes dans des conditions contrôlées. Des métriques comme la MAP et le rappel à un seuil fixe sont couramment rapportées. Au début des années 2020, les méthodes de recherche dense neuronale ont constamment surpassé la recherche sparse traditionnelle sur ces références, mais elles nécessitent des ressources de calcul importantes pour l'entraînement et l'inférence.
Applications et orientations futures
La CLIR a des applications pratiques dans les moteurs de recherche multilingues, les bibliothèques numériques et l'accès transfrontalier à l'information juridique ou médicale. Par exemple, les référentiels de documents multilingues de l'Union européenne bénéficient de la CLIR pour permettre aux citoyens de rechercher dans leur propre langue. Dans le domaine médical, la CLIR aide les chercheurs à trouver des essais cliniques ou des publications dans des langues étrangères. Des entreprises comme Google Cloud et Amazon Web Services proposent des services de recherche multilingues qui intègrent des techniques de CLIR, souvent en s'appuyant sur des modèles basés sur Transformer (architecture).
Les orientations futures de la recherche incluent l'amélioration de la CLIR en zéro-shot pour des langues non vues, l'intégration du retour d'information des utilisateurs pour une recherche interactive, et le développement de modèles efficaces fonctionnant sur des appareils de périphérie. L'avènement des systèmes de Generative AI et d'Artificial intelligence pourrait également permettre un question-réponse multilingue plus naturel, où le système non seulement récupère mais aussi synthétise des réponses dans la langue de l'utilisateur. Alors que le contenu multilingue continue de croître, la CLIR reste un composant critique de l'accès mondial à l'information.