MultiNLI（Multi-Genre Natural Language Inferenceの略）は、自然言語推論（NLI）タスク用に設計された大規模データセットである。2017年にスタンフォード大学の研究者らによって導入され、それ以前のSNLI（Stanford Natural Language Inference）コーパスを基盤としている。このデータセットには43万3000組の文ペアが含まれ、各ペアは含意、矛盾、中立の3つの関係のいずれかにラベル付けされている。その特徴的な点は、フィクションや旅行ガイドから電話音声や911緊急通報まで、10種類の異なるジャンルのテキストを含むことであり、前身よりも困難で現実的なベンチマークとなっている。
MultiNLIの主な目的は、テキスト含意認識タスクにおける機械学習モデルの訓練と評価である。このタスクでは、モデルに前提文と仮説文が与えられ、仮説が前提から論理的に導かれるか（含意）、直接矛盾するか（矛盾）、または無関係か（中立）を判断しなければならない。MultiNLIは自然言語処理の分野で広く使用されており、ニューラルネットワークモデル、特にトランスフォーマーに基づくモデルの推論能力を評価するための標準ベンチマークとなっている。
データセットの構造とジャンル
データセットは、マッチドとミスマッチドの2つの主要なテストセットに分割されている。マッチドセットには訓練データと同じジャンルの例が含まれ、ミスマッチドセットには訓練中に見られなかったジャンルが含まれる。この設計は、異なるタイプのテキストに対するモデルの汎化能力をテストするものである。10のジャンルには、対面対話、フィクション、政府文書、手紙、9/11報告書、電話音声、旅行ガイドなどが含まれる。各ジャンルはほぼ同数の例を提供し、バランスの取れた表現を確保している。訓練セットは約39万2000組で構成され、残りは検証セットとテストセットに割り当てられている。
作成とアノテーション
データセットは、SNLIと同様にクラウドソーシングプラットフォームを使用して作成された。人間のアノテーターは、ソーステキストからの前提文を提示され、前提に対して含意、矛盾、または中立となる仮説を書くよう求められた。各ペアはその後、複数のアノテーターによって品質を検証された。最終的なラベルは、アノテーター間の多数決によって決定された。このプロセスにより、アノテーター間の高い一致率を備えた高品質のデータセットが生まれ、訓練と評価のための信頼できるリソースとなっている。
モデル開発における役割
MultiNLIは、現代の大規模言語モデルの開発において重要な役割を果たしてきた。これは、2018年に導入されたGLUE（General Language Understanding Evaluation）ベンチマークスイートで使用された主要なベンチマークの1つである。BERT、RoBERTa、その他多くのモデルが、複雑な推論タスクを実行する能力を測定するためにMultiNLIで評価されてきた。このデータセットは、質問応答やテキスト要約などの他の下流タスクのモデル訓練にも使用されており、モデルが堅牢な意味表現を学習することを促進している。
限界と批判
その人気にもかかわらず、MultiNLIは特定の限界について批判されてきた。1つの問題は、クラウドソーシングによる仮説が時として人工的であり、モデルが悪用できるアーティファクトを含むことがあり、性能の過大評価につながることである。例えば、一部の仮説には矛盾の強い指標となる否定語が含まれており、モデルがテキストを完全に理解せずに予測を行うことを可能にしている。さらに、このデータセットの文レベルの推論への焦点は、複数文の文脈や世界知識を必要とするより複雑な推論形式を捉えていない。研究者らは、これらの欠点の一部に対処するために、ANLI（Adversarial NLI）などの代替データセットを提案している。
影響と遺産
MultiNLIは、人工知能と機械学習の分野に永続的な影響を与えてきた。数千の研究論文で引用され、自然言語理解を評価するための標準ベンチマークであり続けている。マルチジャンルデータの導入は、その後のデータセットの設計に影響を与え、より多様で現実的な評価設定への移行を促進した。2020年代初頭の時点で、MultiNLIは学術研究や産業応用で引き続き使用されており、特に強力な推論能力を必要とする生成AIシステムの開発において重要である。