SuperGLUEは、自然言語理解（NLU）モデルの性能を評価するためのベンチマークスイートである。2019年に公開され、以前のGLUE（General Language Understanding Evaluation）ベンチマークの後継として設計された。GLUEは、モデルがそのタスクで人間レベルの性能に近づいたり超えたりするにつれて飽和状態になっていた。SuperGLUEは、推論、常識知識、複数文の理解を必要とする8つのより困難なタスクを提示し、モデルの一般的な言語能力のより堅牢な尺度を提供することを目指している。
このベンチマークは、「SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems」という論文で紹介され、著者はAlex Wang、Yada Pruksachatkun、Nikita Nangia、Amanpreet Singh、Julian Michael、Felix Hill、Omer Levy、Samuel R. Bowmanである。この研究は、ニューヨーク大学、DeepMind、ワシントン大学の共同作業であった。名前は接着剤ブランドのSuper Glueに由来し、モデルが解くのがより難しい「粘着性のある」ベンチマークとしての目的を反映している。
タスクと評価
SuperGLUEは8つのタスクで構成され、それぞれが言語理解の異なる側面を対象としている：
- BoolQ（ブール質問）：短い文章を与えられて、はい/いいえの質問に答える。
- CB（CommitmentBank）：前提が仮説を含意するか、矛盾するか、中立かを判断する。
- COPA（選択可能な代替案の選択）：前提が与えられた場合、2つの選択肢からより妥当な原因または結果を選択する。
- MultiRC（複数文の読解）：文章について複数の質問に答え、各質問には複数の可能な回答がある。
- ReCoRD（常識推論を伴う読解）：常識推論を使用して、ニュース記事内のマスクされたエンティティを埋める。
- RTE（テキスト含意認識）：いくつかの初期データセットを組み合わせた二値含意タスク。
- WiC（文脈内の単語）：2つの異なる文で単語が同じ意味で使用されているかどうかを判断する。
- WSC（Winogradスキーマチャレンジ）：単純な統計モデルにとって曖昧になるように設計された文内の代名詞参照を解決する。
各タスクには特定の指標がある：BoolQ、CB、COPA、RTE、WSCには正確度、MultiRCとReCoRDにはF1スコア、WiCには正確度。SuperGLUE全体のスコアは、個々のタスクスコアの平均であり、各タスクは均等に重み付けされる。
動機と設計
2018年に公開されたGLUEベンチマークは、汎用言語モデルの評価の標準となっていた。しかし、2019年初頭までに、BERTやその変種などのモデルは、GLUEで推定される人間ベースラインに近いまたは超えるスコアを達成しており、モデル間の区別が困難になっていた。SuperGLUEは、WinogradスキーマチャレンジやCOPAなど、常識知識と因果推論を含む、より困難で深い推論を必要とするタスクを含めることで、この飽和状態に対処するために作成された。
タスクは、当時の現代モデルにとって難しすぎると考えられた既存のデータセットから選択された。著者らはまた、ベンチマークのために特別に作成された新しいデータセットReCoRDを導入した。評価フレームワークには公開リーダーボードが含まれており、研究者は標準的な指標セットと人間の性能ベースラインに対してモデルを比較できる。
影響と評価
SuperGLUEは、Natural language processingコミュニティで広く使用されるベンチマークとなった。OpenAI、Google DeepMind、Microsoft (AI)などの主要な研究グループや企業によって、新しいアーキテクチャとトレーニング方法の標準的なテストベッドとして採用された。このベンチマークは、特にLarge language modelの時代におけるTransformer (architecture)ベースのモデルの開発において重要な役割を果たした。
2019年、公開直後に、BERT-largeやXLNetなどのモデルは70点台後半のスコアを達成し、人間のベースラインは89.8と推定された。2021年までに、T5やDeBERTaなどのモデルが人間のベースラインを超え、DeBERTaは2021年1月に90.8のスコアを達成した。この急速な進歩により、多くの人々によってベンチマークは「解決された」と見なされ、SuperGLUEの後継であるBIG-benchや、後のHELMベンチマークなど、さらに困難なベンチマークの作成が促された。
その成功にもかかわらず、SuperGLUEは批判にも直面している。一部の研究者は、タスクは挑戦的であるものの、現実世界の言語理解の複雑さを完全には捉えておらず、ベンチマークでの高いスコアが実用的なアプリケーションでの堅牢な性能に必ずしも変換されないと主張した。他の研究者は、ベンチマークが英語のみのタスクに焦点を当てていることが、多言語設定での適用可能性を制限していると指摘した。
遺産と後継
SuperGLUEの遺産は2つある。第一に、Artificial intelligenceの研究を推進するために、徐々に困難なベンチマークを作成する価値を実証したこと。第二に、モデルが人間未満から人間以上へとわずか2年で進歩したため、Machine learningの急速な進歩のペースを浮き彫りにしたこと。多様なタスク、明確な指標、公開リーダーボードを使用するというベンチマークの設計原則は、GLUEの後継、SuperGLUE自身の後継、およびより広範な評価エコシステムなど、その後のベンチマークに採用されている。
元のGLUEベンチマークは2021年に廃止され、SuperGLUEのリーダーボードは2022年に凍結されたが、モデルは改善を続けた。しかし、タスクとデータセットは研究開発に使用され続けており、ベンチマークは言語モデルの評価における歴史的なマイルストーンとして、学術論文や業界レポートで今も参照されている。