Yelp Polarityは、Yelpプラットフォーム上の事業者レビューから構築された、感情分類のための広く使用されるベンチマークデータセットである。2015年にXiang Zhang、Junbo Zhao、Yann LeCunによって、論文「Character-level Convolutional Networks for Text Classification」で紹介された。このデータセットは598,000件のトレーニングサンプルと65,000件のテストサンプルで構成され、各サンプルはポジティブ（1）またはネガティブ（0）の感情としてラベル付けされている。星1または2の評価のレビューはネガティブとみなされ、星4または5のレビューはポジティブとみなされる。星3のレビューは、明確な二値分類を作り出すために除外されている。
このデータセットは、さまざまな事業カテゴリにわたる数百万件のレビューを含む、より大規模なYelp Dataset Challengeから派生している。各サンプルは単一のレビューテキストであり、標準的な前処理では通常、最大長1,014文字に切り詰められる。極性ラベルはバランスが取れており、トレーニングセットとテストセットの両方でポジティブとネガティブの例が同数含まれているため、単純な二値分類問題となっている。Yelp Polarityは、姉妹データセットであるYelp Full（5クラスの詳細ラベルを使用）と組み合わせて使用されることが多く、AG NewsやDBPediaなどの他のテキスト分類ベンチマークと並んで一般的に使用されている。
構築と前処理
元のYelpレビューは2004年から2015年までの期間に収集され、データセットは2015年に公開された。作成者は単純なフィルタリングプロセスを適用した。星3の評価のレビューを削除し、その後、星1〜2と星4〜5のレビューを同数ランダムにサンプリングしてバランスを確保した。テキストは小文字化され、句読点と数字は保持された。これは文字レベルの分析に焦点を当てていたためである。標準バージョンでは、1,014文字を超えるレビューは切り詰められ、短いレビューはその長さにパディングされた。この固定長表現により、ニューラルネットワークトレーニングでの効率的なバッチ処理が可能になる。
機械学習研究における役割
Yelp Polarityは、特に畳み込みニューラルネットワーク（CNN）とリカレントニューラルネットワーク（RNN）に基づくテキスト分類モデルを評価するための標準的なベンチマークとなっている。元の論文では、文字レベルのCNNが、トークン化や単語埋め込みなどの単語レベルの前処理なしで、このタスクで高い精度（約95%）を達成できることを実証した。この発見は、自然言語処理における深層学習のその後の研究に影響を与え、単語ベースのアプローチの代替として文字ベースのモデルの探求を促進した。
その後、このデータセットはトランスフォーマーベースのモデル、特にBERTとその変種をテストするために使用されており、通常97%を超える精度を達成している。また、データ拡張技術、モデルプルーニング手法、転移学習戦略を評価するための一般的な選択肢でもある。このデータセットは、現代の大規模言語モデルのトレーニングコーパスと比較して比較的小さいため、新しいアーキテクチャやハイパーパラメータ調整のための迅速かつ再現可能なテストベッドとして機能する。
他の感情データセットとの比較
Yelp Polarityは、映画レビューから得られるが二値感情ラベルを使用するIMDb Reviewsデータセットとよく比較される。主な違いは、Yelpのレビューは一般的に短く、より口語的で、レストランや地域サービスに特化しているのに対し、IMDbのレビューは長く、より物語的であることである。これにより、Yelp Polarityは、レビューに皮肉、スラング、ドメイン固有の用語が含まれることが多いため、文脈に依存するモデルにとってより困難なテストとなる。もう1つの関連データセットは、Amazon Reviewsの極性であり、製品レビューから同様に構築されている。研究者は、ドメイン間の一般化を実証するために、3つすべての結果を報告することが多い。
制限と批判
Yelp Polarityの1つの制限は、感情を二値のポジティブ/ネガティブの区別に還元し、中立または混合意見のニュアンスを無視していることである。星3のレビューを除外することで、モデルは現実世界のアプリケーションで一般的な曖昧なフィードバックを処理することを決して学習しない。さらに、このデータセットは単一のプラットフォームから派生しているため、他のドメインや言語にうまく一般化できない可能性がある。一部の研究者は、文字レベルの切り詰めが長いレビューの末尾の重要な文脈を切り落とし、モデルにバイアスをかける可能性があると指摘している。これらの問題にもかかわらず、クリーンなラベル付け、バランスの取れたクラス、使いやすさにより、人気のある選択肢であり続けている。
影響と遺産
Yelp Polarityの導入は、機械学習の進歩を促進するために大規模で公開されたデータセットを使用するという広範なトレンドに貢献した。これは何千もの研究論文で引用され、GLUEやSuperGLUEなどの主要なベンチマークスイートに下流タスクとして含まれている。このデータセットはまた、テキスト分類における文字レベルの特徴の使用を普及させるのに役立ち、後にFastTextや特定のトランスフォーマー変種などのモデルの設計に影響を与えた。実務者にとって、これは感情分析システムのプロトタイピングのための頼りになるリソースであり続け、チュートリアルやコース課題でよく使用されている。