SQuAD-Adversarial（SQuAD-Adversarial）は、読解モデルの堅牢性を評価するためのベンチマークデータセットである。これは、ウィキペディアの記事から派生した広く使用される質問応答ペアのコレクションである元のスタンフォード質問応答データセット（SQuAD）に、敵対的摂動を導入することで構築された。SQuAD-Adversarialの主な目的は、標準的なベンチマークでは良好な性能を発揮するものの、入力質問に対する微妙で人間が作成した変更に直面すると失敗するモデルの弱点を明らかにすることである。これらの摂動は、元の質問と意味的に等価になるように設計されているが、表面的な語彙的手がかりに依存し深い理解に欠けるモデルを誤解させる可能性のある、気を散らすフレーズや節を含む。
このデータセットは、2018年にカーネギーメロン大学とワシントン大学の研究者らによって導入され、ロビン・ジアとパーシー・リャンが主導した。この研究は、2017年の自然言語処理に関する経験的方法会議（EMNLP）で発表され、論文タイトルは「Adversarial Examples for Evaluating Reading Comprehension Systems」であった。作成プロセスには、意味や回答を変えずに元のSQuAD質問に無関係な文を追加するよう求められた人間のアノテーターが関与した。例えば、「空は何色ですか？」という質問は、「草が緑であるとして、空は何色ですか？」のように摂動される可能性がある。追加されたテキストは文法的に正しく、トピック的に関連しているため、モデルが摂動を無視することが困難になっている。
構築と設計
SQuAD-Adversarialの構築は、体系的な手順に従った。アノテーターには、元のSQuAD質問と対応するコンテキスト段落が与えられた。彼らのタスクは、意図された回答を変更しない短くてもっともらしい文を質問に追加することであった。追加された文は、しばしばコンテキスト内のエンティティや事実を参照し、パターンマッチングやキーワードの重複に依存するモデルを混乱させる可能性のある一種のディストラクターを作り出した。最終的なデータセットには、9,537の敵対的質問が含まれており、それぞれがSQuADからの元のコンテキストと回答とペアになっている。摂動は、人間の読者が質問に正しく回答できることを確認するために検証され、困難さが自動システムに固有であることが確認された。
モデル評価への影響
SQuAD-Adversarialは、読解モデルの標準的なストレステストとしてすぐに定着した。元のSQuADベンチマークでは、多くのモデルがF1スコア90%を超える人間に近い性能を達成した。しかし、SQuAD-Adversarialで評価された場合、同じモデルは大幅な性能低下を示し、F1スコアで20〜30パーセントポイント低下することが多かった。この不一致は、ニューラル読解システム、特にDeep learningアーキテクチャやTransformer (architecture)モデルに基づくものの脆さを浮き彫りにした。このデータセットは、モデルが基礎となる意味論を捉えるのではなく、質問とコンテキスト間の正確な単語一致などの表面的な特徴に頻繁に依存していることを実証した。
敵対的堅牢性との関連
SQuAD-Adversarialの作成は、Machine learningにおける敵対的堅牢性を理解し改善するためのより広範な研究努力の一部である。画像分類における敵対的例が、しばしば知覚不可能なピクセル摂動を含むのとは異なり、SQuAD-Adversarialの摂動は、人間が容易に知覚できる自然言語の追加である。これにより、このベンチマークは、Large language modelや、質問応答や会話型AIなどの実世界アプリケーションで使用される他のシステムを評価するために特に適している。SQuAD-Adversarialからの発見は、その後のデータ拡張やトレーニング戦略に関する研究、例えばトレーニング中に敵対的例を組み込んで一般化を改善することに影響を与えた。
その後の発展と遺産
SQuAD-Adversarialのリリース後、回答不可能な質問を追加したSQuAD 2.0や、自然言語推論や機械翻訳のための他の敵対的データセットなど、いくつかの関連ベンチマークが開発された。人間参加型の敵対的摂動の方法論は、他の研究グループによって採用され、より挑戦的な評価セットを作成している。このデータセットは、堅牢な読解の進歩を測定するための参照点であり続け、Neural networkの解釈可能性と堅牢性に関する論文で頻繁に引用されている。2020年代初頭の時点で、OpenAIやGoogle DeepMindによって開発されたような現代のLarge language modelは、SQuAD-Adversarialで改善された性能を示しているが、このベンチマークは複雑な言語的ディストラクターの処理におけるギャップを依然として明らかにしている。
限界と批判
一部の研究者は、SQuAD-Adversarialが特定のタイプの摂動、すなわち無関係な節の追加に焦点を当てており、言い換えや単語レベルの置換などの他の形式の敵対的攻撃を捉えていない可能性があると指摘している。さらに、このデータセットはウィキペディアの記事から派生しているため、そのドメインのカバレッジが制限されている。これらの限界にもかかわらず、SQuAD-Adversarialは、モデルの弱点を診断し、より堅牢なArtificial intelligenceシステムの開発を導くための貴重なツールであり続けている。その影響は学界を超えて広がり、質問応答製品を構築する企業は、展開前にシステムをテストするために同様の敵対的評価技術を使用している。