QNLI（Question Natural Language Inferenceの略称）は、人工知能および機械学習の分野におけるベンチマークデータセットである。これは、GLUE（General Language Understanding Evaluation）ベンチマークの一部として導入されたもので、多様な自然言語理解の課題に対するモデルの性能を評価するために設計されたタスク群で構成されている。このデータセットは、Stanford Question Answering Dataset（SQuAD）、具体的にはそのv1.1版に由来し、質問応答タスクを二値分類問題に変換したものである。
QNLIにおける中核的なタスクは、与えられた文が所与の質問に対する回答を含むかどうかを判定することである。各事例は質問と文のペアで構成され、モデルはそのペアを「含意」（文が回答を提供する）または「非含意」（文が回答を提供しない）のいずれかに分類しなければならない。この定式化により、元の抽出型質問応答タスクが自然言語推論問題へと変換され、これがQuestion Natural Language Inferenceという名称の由来となっている。
起源と構築
QNLIは、スタンフォードAIラボのチームによって、2018年にリリースされたGLUEベンチマークの一部として作成された。このデータセットは、SQuAD v1.1から質問と回答のペアを取得し、各質問を対応する文脈からの文とペアリングすることで構築された。各質問について、正しい回答を含む文は「含意」とラベル付けされ、同じ文脈からの他の文は「非含意」とラベル付けされる。このプロセスにより、正例と負例がほぼ同数となるバランスの取れたデータセットが得られる。
元のSQuADデータセットには、Wikipediaの記事に基づく10万以上の質問と回答のペアが含まれている。QNLIでは、作成者がそのサブセットを選択して再フォーマットし、約10万8千件のトレーニング事例と約5,700件の検証事例が生成された。テストセットは非公開とされ、ベンチマーク内の全9タスクにわたる性能を追跡する公式のGLUEリーダーボードに使用されている。
タスク定義と評価
QNLIでは、各入力は質問と文という2つのテキストセグメントのペアである。モデルは、文が質問に対する回答を含意するかどうかを示す二値ラベルを出力しなければならない。評価指標は精度であり、正しく分類されたペアの割合を測定する。この単純な指標により、タスクは異なるモデルやアプローチ間での比較が容易となっている。
このタスクは、モデルの自然言語推論能力と、質問とテキストの断片との関係を理解する能力をテストするように設計されている。モデルは、関連情報を特定するだけでなく、その情報が質問に直接回答しているかどうかを推論する必要がある。これには、構文および意味の理解に加え、言い換えや言い直された質問を処理する能力が関与する。
GLUEベンチマークにおける役割
QNLIは、汎用言語理解モデルの標準化された評価を提供するために導入されたGLUEベンチマークの9タスクの1つである。このベンチマークには、感情分析、テキスト含意、質問応答などのタスクが含まれており、それぞれに独自のデータセットと評価指標がある。GLUEは、単一のタスクに特化するのではなく、複数のタスクにわたって良好に機能するモデルの開発を促進するように設計された。
リリース以来、QNLIはトランスフォーマーベースのモデル、特に大規模言語モデルを評価するための標準的なテストベッドとなっている。BERT、RoBERTa、T5など多くの著名なモデルが、そのベンチマーク結果の一部としてQNLIでの性能を報告している。このタスクはまた、GLUEのより挑戦的な後継であるSuperGLUEベンチマークにも含まれており、そこではBoolQとして異なる定式化で参照されている。
影響と重要性
QNLIの導入は、自然言語処理の分野に大きな影響を与えた。質問応答タスクを分類問題に変換することで、モデルの読解力と推論能力を評価するための、より単純でありながら効果的な方法が提供された。これにより、研究者がアーキテクチャや学習手法を迅速に反復できるようになり、モデル開発の急速な進歩が促進された。
さらに、QNLIは、共参照解決や論理的推論などの複雑な言語現象をモデルがどの程度扱えるかについての広範な理解に貢献してきた。また、モデルの弱点、例えば表面的な手がかりに依存し深い理解を欠く傾向を特定するための診断ツールとしても使用されている。その結果、より新しく複雑なデータセットが導入された後も、QNLIは関連性のあるベンチマークであり続けている。