XNLI（クロスリンガル自然言語推論）は、自然言語処理モデルが複数の言語にわたって自然言語推論を実行する能力を評価するために設計されたベンチマークデータセットである。2018年にFacebook AI Researchの研究者によって導入され、このデータセットはクロスリンガル理解の標準的な評価ツールとなっており、特に、ある言語で訓練されたモデルが、追加のタスク固有の訓練データなしに他の言語へ一般化できるかどうかをテストするために使用される。このデータセットは、英語、フランス語、スペイン語、ドイツ語、ギリシャ語、ブルガリア語、ロシア語、トルコ語、アラビア語、ベトナム語、タイ語、中国語、ヒンディー語、スワヒリ語、ウルドゥー語を含む15言語をカバーしている。
自然言語推論は、テキスト含意とも呼ばれ、与えられた仮説が前提に対して含意されるか、矛盾するか、または中立であるかを判定するタスクである。XNLIは、15言語それぞれにおいて前提と仮説のペアを提供し、各ペアは含意、矛盾、中立の3つのカテゴリのいずれかにラベル付けされる。このデータセットは、英語の文ペアを含むMultiNLIコーパスに基づいて構築され、開発セットとテストセットをプロの人間翻訳者を用いて他の14言語に翻訳することで拡張されている。この設計により、研究者は、英語データで訓練されたモデルを非英語言語でテストするクロスリンガル転移や、ゼロショットおよび少数ショット学習シナリオを評価できる。
構築と構成
XNLIデータセットは、MultiNLIコーパスから5,000の開発ペアと5,000のテスト前提・仮説ペアを選択して構築された。各ペアは、プロの翻訳者によって英語から他の14言語に翻訳され、高い言語品質と文化的適切性が確保されている。ただし、訓練データは英語のままであり、39万ペア以上を含む元のMultiNLI訓練セットから抽出されている。この設定により、モデルは英語から推論推論を学習し、それを他の言語に適用することが強制され、XNLIはクロスリンガル一般化の厳格なテストとなる。
15言語は、インド・ヨーロッパ語族（英語、フランス語、スペイン語、ドイツ語、ギリシャ語、ブルガリア語、ロシア語、トルコ語、ヒンディー語、ウルドゥー語）、アフロ・アジア語族（アラビア語）、シナ・チベット語族（中国語）、オーストロアジア語族（ベトナム語）、クラ・ダイ語族（タイ語）、ニジェール・コンゴ語族（スワヒリ語）を含む多様な語族と文字体系を代表するように選ばれた。この多様性は、モデルに形態的、統語的、および文字の変異を処理することを課す。各言語サブセットには同じ10,000ペア（開発5,000とテスト5,000）が含まれており、言語間の直接比較が可能である。
評価指標と使用例
XNLIは通常、前提・仮説ペアの正しく分類された割合を測定する精度を使用して評価される。このデータセットは、訓練データを対象言語に機械翻訳するtranslate-trainと、テストセットを英語に翻訳するtranslate-testの2つの主要な評価プロトコルをサポートしている。translate-trainアプローチはより一般的であり、低リソース言語でラベル付きデータが不足している実際のシナリオを反映している。研究者はまた、英語のみで訓練されたモデルが、対象言語の訓練データなしで他の言語で直接評価されるゼロショットクロスリンガル転移を評価するためにXNLIを使用する。
このデータセットは、多言語モデルの進歩に大きく貢献してきた。例えば、多言語BERTやXLMなどのモデルは、以前のアプローチと比較してXNLIで大幅な改善を報告しており、言語全体の平均精度は約60%から70%以上に上昇している。2023年時点では、GPT-4やPaLMなどの最先端の大規模言語モデルがXNLIで85%以上の精度を達成しているが、性能は言語によって依然として異なり、スワヒリ語やウルドゥー語などの低リソース言語は、フランス語やドイツ語などの高リソース言語よりも低いスコアを示すことが多い。
他のベンチマークとの関係
XNLIは、質問応答や固有表現認識などの複数のタスクを集約するXGLUEやXTREMEを含む、より広範なクロスリンガル理解ベンチマークの一部である。XNLIは、その明確な設計と明確な評価指標により、これらの大規模ベンチマークの中核コンポーネントとしてよく使用される。これは、SNLIやMultiNLIなどの他の自然言語推論データセットを補完し、多言語の次元を追加することで、クロスリンガル表現学習と転移学習に関する研究を可能にする。
このデータセットはまた、多言語事前学習目的の開発にも影響を与えてきた。複数の言語にわたるマスク言語モデリングでモデルを訓練するクロスリンガル言語モデル事前学習などの技術は、XNLIで直接評価されている。このベンチマークは数千の研究論文で引用されており、多言語自然言語処理の分野における基礎的なリソースとなっている。
制限と批判
広く使用されているにもかかわらず、XNLIには制限がある。このデータセットは英語のソーステキストから派生しているため、非英語版は原文ではなく翻訳であり、それらの言語での自然な使用法を反映しない翻訳eseのアーティファクトを導入する可能性がある。さらに、前提・仮説ペアは比較的短く、実世界のアプリケーションで必要な複雑な推論を捉えられない場合がある。一部の研究者は、XNLIでの高い精度が、生成や対話などの他のタスクでの堅牢なクロスリンガル理解に必ずしもつながらないと指摘している。固定された15言語のセットはまた、多くの低リソース言語を除外しており、真に低リソースのシナリオへの適用可能性を制限している。
影響と遺産
XNLIは、機械学習コミュニティにおけるクロスリンガル評価の普及に極めて重要な役割を果たしてきた。これは、XLM-RやmT5などの多言語トランスフォーマーモデルの開発の主要な推進力となっており、これらはベンチマークで新しい標準を設定している。このデータセットは研究目的で公開されており、Hugging FaceのデータセットやPyTorchなどの一般的なライブラリに統合され、簡単なアクセスと再現性を容易にしている。その設計は、他のタスクの多言語版の作成などの同様の取り組みに影響を与え、クロスリンガル自然言語理解の進歩を測定するための標準的な参照点であり続けている。