STS-B（Semantic Textual Similarity Benchmark、意味的テキスト類似度ベンチマーク）は、文ペアの意味的等価性を評価する計算モデルの能力を評価するために、自然言語処理（NLP）で広く使用されているデータセットです。これは2017年にSemEval-2017 Task 1の一部として導入され、2012年から2016年までの初期の意味的テキスト類似度（STS）共有タスクを基盤としています。このベンチマークは8,628組の英語の文ペアで構成され、各ペアには0（完全に無関係）から5（意味的に等価）までの人間による類似度スコアが注釈付けされています。これらのスコアは通常、複数の注釈者間で平均化され、ゴールドスタンダードラベルが生成されます。
このデータセットは、画像キャプション、ニュース見出し、ユーザー生成フォーラム投稿など、さまざまなドメインから抽出されており、意味理解のための多様なテストベッドとなっています。STS-Bは、文埋め込み、意味検索、言い換え検出などのタスクでモデルを訓練・評価するために一般的に使用されています。これは機械学習および人工知能コミュニティにおける標準的なベンチマークとなっており、大規模言語モデル評価のリーダーボードに頻繁に含まれています。
タスク定義とスコアリング
STS-Bタスクでは、モデルに文のペアが与えられ、0から5の間の連続的な類似度スコアを出力する必要があります。主要な評価指標は、モデルの予測スコアと人間が注釈付けしたゴールドスコアとの間のピアソン相関です。一部の評価ではスピアマン相関も報告されます。このタスクでは、含意、言い換え、矛盾の違いなど、微妙な意味的区別を捉えることがモデルに求められます。
例えば、「A man is playing a guitar」（男性がギターを弾いている）と「A man is strumming a guitar」（男性がギターをかき鳴らしている）というペアは高いスコア（5に近い）を受け取りますが、「A man is playing a guitar」と「A dog is barking」（犬が吠えている）というペアは低いスコア（0に近い）を受け取ります。このベンチマークの難しさは、構文のバリエーション、語彙の重複、および世界知識を扱うことにあります。
歴史的背景
STS-Bベンチマークは、Microsoft Research Paraphrase Corpusなどのデータを使用したSemEval-2012のSTSパイロットタスクから発展しました。Daniel Cer、Mona Diabらを含む研究者によって組織された2017年版は、以前の年のデータを、固定された訓練、検証、テスト分割を持つ単一の再利用可能なベンチマークに統合しました。テストセットのラベルは当初非公開で、過学習を防ぐために後日公開されました。これは共有タスクで一般的な慣行です。
リリース以来、STS-Bは多くの研究で使用されてきました。特に、2018年に導入されたGLUEベンチマーク（General Language Understanding Evaluation）に含まれ、汎用言語モデルを評価するために9つのNLPタスクを統合しました。STS-BはGLUEとその後継であるSuperGLUEの構成要素であり続けていますが、SuperGLUEはより困難なタスクに置き換えました。
モデル開発における使用
STS-Bは、トランスフォーマーアーキテクチャに基づくものなど、文埋め込みモデルの訓練に頻繁に使用されます。Sentence-BERT（SBERT）やその後の変種などのモデルは、埋め込み間のコサイン類似度を最適化するサイアムネットワークまたはトリプレットネットワークを介して、訓練ターゲットとしてSTS-Bを使用します。このベンチマークは、深層学習システムやOpenAI、Anthropic、Google DeepMindによって開発された大規模言語モデルなどのニューラルネットワークモデルの評価にも使用されます。
大規模な事前学習モデルの時代において、STS-Bは、モデルが堅牢な意味表現を学習したかどうかを評価するためのプロービングタスクとしてよく使用されます。また、データセットの翻訳版でモデルが評価される、言語横断的および多言語設定でも使用されます。
限界と批判
その人気にもかかわらず、STS-Bには既知の限界があります。データセットは比較的小さく、その注釈スケール（0-5）は主観的であり得るため、注釈者間のばらつきが生じます。テストセットは、モデルがデータセットの公開版で訓練された場合、データ漏洩の影響を受けやすくなります。さらに、このベンチマークは英語に焦点を当てており、他の言語への適用可能性が制限されています。一部の研究者は、STS-Bでの高いパフォーマンスが、質問応答や要約などの下流タスクでのより良いパフォーマンスに必ずしもつながらないと主張しています。
関連ベンチマークと拡張
STS-Bは、データセットを複数の言語に翻訳するSTS-B Multilingual（STS-B-M）や、アラビア語STSベンチマークなど、いくつかの拡張に影響を与えています。また、意味的テキスト類似度（STS）共有タスク、Microsoft Research Paraphrase Corpus、Quora Question Pairsデータセットなど、他の意味的類似度タスクとも関連しています。生成AIの文脈では、STS-Bは生成テキストの一貫性を評価するために使用されることがありますが、MT-BenchやChatbot Arenaなどの新しいベンチマークが、会話モデル向けに重要性を増しています。