跨语言信息检索（CLIR）是信息检索的一个子领域，旨在解决使用一种语言的查询来搜索以另一种语言撰写的文档这一挑战。与单语检索（直接将查询词与文档文本匹配）不同，CLIR需要弥合语言之间的词汇和语义鸿沟。该领域于20世纪90年代随着多语言数字档案的增长以及用户访问非母语内容的需求而兴起。早期系统依赖机器可读词典和双语词汇表，而现代方法则利用神经网络模型和大规模多语言嵌入。
CLIR的核心问题在于，查询和文档可能具有相同含义，但表面形式没有重叠。例如，用户用英语搜索“artificial intelligence”可能需要检索一篇德语文档，标题为“Künstliche Intelligenz”。因此，CLIR系统必须将查询翻译或映射到文档语言，或将两者映射到共享的语义空间。CLIR系统的有效性通常通过标准信息检索指标（如平均准确率均值（MAP）和召回率）来衡量，但还需考虑翻译歧义和词汇表外术语带来的额外复杂性。
翻译方法
早期CLIR系统采用基于词典的翻译，即用双语词典中每个查询词的可能翻译替换该词。这种方法简单，但存在歧义问题：一个词可能有多种翻译，导致检索到不相关的文档。为缓解这一问题，研究人员使用查询扩展技术，添加同义词和相关词以提高召回率。统计机器翻译（SMT）后来通过从平行语料库中学习翻译概率改进了词典方法，但SMT在处理稀有术语和领域特定词汇时仍存在困难。
更稳健的方法是语料库翻译，它利用平行或可比语料库推断词项关联。例如，跨语言潜在语义索引（CL-LSI）技术通过奇异值分解将文档和查询投影到共享的低维空间。这允许基于共现模式而非精确翻译进行匹配。另一种方法是概率模型，它通过建模词或短语级别的翻译概率来估计给定查询下文档的相关性。
神经和嵌入方法
随着深度学习的兴起，CLIR转向神经方法，学习词和句子的分布式表示。多语言嵌入（如多语言BERT或XLM-R生成的嵌入）将不同语言的词映射到公共向量空间，其中语义相似的术语彼此接近。查询可以编码到该空间并直接与文档向量比较，从而绕过显式翻译。这种方法称为密集检索，在跨语言基准测试（如CLEF和NTCIR集合）上表现出色。
更近期的系统使用序列到序列模型或大型语言模型将查询翻译为目标语言，然后执行单语检索。例如，Large language model可以生成查询的流畅翻译，然后输入标准搜索引擎。这种混合方法结合了神经翻译的优势和成熟的单语检索基础设施。然而，它引入了延迟和计算成本，使其不太适合实时应用。
挑战与评估
CLIR的一个主要挑战是处理低资源语言，这些语言的平行语料库和预训练模型稀缺。对于此类语言，基于词典的方法或从相关语言的跨语言迁移可能是唯一可行的选择。另一个问题是形态丰富性：芬兰语或土耳其语等语言具有复杂的词形，需要词干提取或词形还原才能有效匹配查询词。命名实体（如人名和地名）也构成困难，因为它们通常以音译或本地化形式出现。
CLIR系统的评估通常在标准测试集合上进行，例如跨语言评估论坛（CLEF）或NTCIR项目。这些集合提供多种语言的查询、文档和相关性判断，使研究人员能够在受控条件下比较系统。通常报告MAP和固定截断点的召回率等指标。截至21世纪20年代初，神经密集检索方法在这些基准上持续优于传统稀疏检索，但它们在训练和推理时需要大量计算资源。
应用与未来方向
CLIR在多语言搜索引擎、数字图书馆以及跨境法律或医学信息访问中具有实际应用。例如，欧盟的多语言文档存储库受益于CLIR，允许公民用自己的语言搜索。在医学领域，CLIR帮助研究人员查找外语的临床试验或出版物。Google Cloud和Amazon Web Services等公司提供结合CLIR技术的多语言搜索服务，通常利用Transformer (architecture)模型。
未来研究方向包括改进对未见语言的零样本CLIR、整合用户反馈进行交互式搜索，以及开发可在边缘设备上运行的高效模型。Generative AI和Artificial intelligence系统的出现可能还会实现更自然的跨语言问答，其中系统不仅检索，还能用用户的语言综合答案。随着多语言内容的持续增长，CLIR仍然是全球信息访问的关键组成部分。