Amazon Polarityは、Amazonの商品レビューから構築された大規模な感情分類データセットである。これは、バイナリテキスト分類タスクにおける機械学習および深層学習モデルの評価のためのベンチマークとして一般的に使用されている。このデータセットは、各レビューを、レビューの星評価から導出された肯定的または否定的な感情表現を示すラベルとペアにする。
このデータセットは、IMDBやYelp Polarityなどの類似データセットと並んで、文分類のための標準化されたベンチマークを作成するより広範な取り組みの一環として導入された。これは、2015年にXiang Zhang、Junbo Zhao、Yann LeCunによって発表された論文で初めて提示され、関連するAmazon Fullデータセットも同時に紹介された。極性バージョンは、元の5クラスの評価問題を2クラスに単純化し、1つ星または2つ星のレビューは「否定」とラベル付けされ、4つ星または5つ星のレビューは「肯定」とラベル付けされる。3つ星の評価のレビューは、データセットから除外されている。
構築と統計
このデータセットは、18年以上にわたる製品フィードバックを網羅する、より大規模なAmazonレビューのコレクションから派生している。元のコーパスには、書籍、電子機器、衣類、家庭用品など、幅広い製品カテゴリにわたる3500万件以上のレビューが含まれている。極性バージョンでは、作成者らが2つのクラス間のバランスを確保するためにサブセットをサンプリングした。
最終的なデータセットには、360万件のトレーニング例と40万件のテスト例が含まれている。各例は、レビューテキストとバイナリのラベルで構成される。レビューは、前処理なしの生テキストとして提示され、元の大文字と小文字の区別、句読点、時折の誤字が保持されている。これにより、ノイズの多い非形式的言語を扱わなければならないモデルにとって、このデータセットは現実的なテストとなる。
研究における利用
Amazon Polarityは、自然言語処理研究における標準的なベンチマークとなっている。これは、サポートベクターマシンやロジスティック回帰などの伝統的な手法から、現代のDeep learningアーキテクチャまで、さまざまな分類器の性能を比較するためによく使用される。このデータセットの大規模さは、Transformer (architecture)ベースのアーキテクチャを含むNeural networkモデルのトレーニングに特に適している。
研究者は、テストセットでの正解率を主要な評価指標として報告することが多い。最新のモデル、特にBERTやその後継モデルなどのLarge language modelに基づくモデルは、95%を超える正確率を達成している。このデータセットは、ドメイン適応、転送学習、敵対的な例に対するdai安定性などの研究でも使用されている。レビューが多様な商品カテゴリから得られているため、Amazon Polarityで学習されたモデルは、消費者ベースの言語のさまざまなドメインでないにも適用できると期待されている。
他のデータセットとの関係
Amazon Polarityは、同じ著者によって作成されたAmazon Full、IMDB、Yelp Polarityを含むデータセットグループの一部である。これらのデータセットは共通の形式を共有し、比較研究で一緒に使用されることが多い。例えば、IMDBのデータセットは映画レビューに特化している一方、Yelp Polarityはレストランやビジネスのレビューを対象としている。ともに、テキストのスタイルと語彙の範囲を提供し、研究者がドメインを横断したモデルの汎用化をテストできるようにする。
このデータセットは、Julian McAuleyらによって作成された元のAmazonレビュー分類とも関連しており、その分類はレコメンデァーシステムの研究に広く使用されている。そのコーパスには、極性バージョンには含まれていない生産IDなどの追加のメタデータが含まれている。含まれていない。
限界と考慮事項
Amazon Polarityの限定の一つは、微妙な5つの星の評価システムをバイナリ分類に還元することである。この単純化により、1つ星と2つ星のレビューは同一に扱われるため、感情の強さに関する情報が失われる。さらに、3つ星のレビューの除外は、感情のスペクトルの中間にギャップを作り出しており、実際の配布を反映していない可能性がある。
このデータセットはまた、極端な評価をつける傾向や、製品カテゴリによってレビューコンパイルが異なるといった、Amazonのレビューに存在するバイアスを継承している。一部の研究者は、このデータセットに重複または類似のレビューが含まれており、注意深く扱わないと性能指標が水増しされる可能性があると指摘している。これらの問題にもかかわらず、Amazon Polarityは感情分析のための広く使用され、信頼性の高いベンチマークとして残っている。