Yelp Fullは、レビューの評価分類タスクにおいて自然言語処理（NLP）で広く使用されるベンチマークデータセットです。これは、1から5までの星評価が付けられたYelpのレビューで構成されており、レビューのテキストが与えられたときに評価を予測することが目的です。このデータセットは、従来の機械学習アプローチや現代の深層学習アーキテクチャを含むテキスト分類モデルの性能を評価するために一般的に使用されます。
このデータセットは、2015年にXiang Zhangらによる「Character-level Convolutional Networks for Text Classification」という論文の一部として導入されました。これは、地元のビジネスに関する数百万件のユーザーレビューを含む、より大規模なYelpデータセットから派生したものです。Yelp Fullバージョンは、レビューのサブセットを取得し、5つの評価クラス間でバランスの取れた分布を確保して構築されています。トレーニングセットには65万サンプル、テストセットには5万サンプルが含まれています。各レビューは生のテキスト文字列であり、ラベルは対応する星評価（1から5）です。
データセットの構築
Yelp Fullデータセットは、ユーザーレビューの大規模なコレクションを提供するYelp Dataset Challengeから作成されています。バランスの取れたサブセットを構築するために、著者らはトレーニング用に各評価クラスから13万件のレビューをランダムにサンプリングし、合計65万件とし、テスト用に各クラスから1万件をサンプリングして合計5万件としました。このバランスの取れた設計により、ランダムな推測では20%の精度となるため、精度が意味のある指標であることが保証されます。レビューは基本的なトークン化以外の前処理は行われず、文字レベルまたは単語レベルのモデリングのために元のテキストが保持されます。
研究での使用
Yelp Fullは、テキスト分類の標準的なベンチマークとして頻繁に使用されます。これは、畳み込みニューラルネットワーク（CNN）、リカレントニューラルネットワーク（RNN）、およびトランスフォーマーベースのモデルを評価する研究論文に登場します。例えば、これはZhangらによる広く引用されるベンチマークスイートのデータセットの1つであり、AG News、DBPedia、Amazonレビューも含まれます。このデータセットは、モデルアーキテクチャ、埋め込み技術、およびトレーニング戦略が分類精度に与える影響を研究するのに特に役立ちます。
近年、Yelp Fullは大規模言語モデル（LLM）や転移学習アプローチをテストするために使用されています。BERTやその変種などのモデルは、このタスクで高い精度を達成し、テストセットで95%を超えることがよくあります。しかし、このデータセットは、事前学習された表現を活用しないモデルにとっては依然として挑戦的であり、異なるNLP手法を比較するための有用なベースラインとなっています。
関連タスクとバリアント
Yelp Fullは、評価1〜2が否定的、4〜5が肯定的（評価3は除外）とラベル付けされる二値分類バージョンであるYelp Polarityデータセットと対比されることがよくあります。フルバージョンはより細かく、したがってより挑戦的です。研究者は、評価に自然な順序があるため、Yelp Fullを使用して回帰アプローチや順序分類手法を評価することがあります。このデータセットは、モデルが評価とレビューの有用性などの他の属性の両方を予測するマルチタスク学習設定でも使用されます。
評価指標
Yelp Fullの主な評価指標は精度であり、クラスがバランスしているためです。一部の研究では、特にクラスごとの性能を分析する際に、F1スコア、適合率、再現率も報告されます。データセットがバランスしているため、精度はモデル間の直接的な比較を提供します。Yelp Fullでの最先端の結果は、導入以来大幅に改善されており、文字レベルCNNの約60%の精度から、微調整されたトランスフォーマーモデルで96%以上に達しています。
関連項目
参考文献
- Zhang, X., Zhao, J., & LeCun, Y. (2015). Character-level Convolutional Networks for Text Classification. Advances in Neural Information Processing Systems.
- Yelp Dataset Challenge (https://www.yelp.com/dataset)