Amazon Reviewsは、世界最大級のeコマースプラットフォームであるAmazon.comの製品レビューとメタデータで構成される、公開データセットである。このデータセットは、自然言語処理（NLP）や機械学習、特に感情分析、アスペクトベースの意見マイニング、レコメンデーションシステムなどのタスクにおける標準的なベンチマークとなっている。2011年にJ. McAuleyとJ. Leskovecによる論文で初めて紹介され、2014年には書籍、電子機器、衣料品、家庭用品など20以上の製品カテゴリにわたる1億3000万件以上のレビューを含むよう拡張された。
歴史とバージョン
元のAmazon Reviewsデータセットは、しばしば「Amazon product data」コレクションとも呼ばれ、カリフォルニア大学サンディエゴ校のJulian McAuleyとその同僚らによって公開された。2011年版には約3500万件のレビューが含まれていたが、2014年の拡張では、製品説明、価格、併買情報などのメタデータとともに、より多くのカテゴリが追加された。その後、McAuleyのグループによって「Amazon Reviews 2018」データセットとして知られる新版が公開され、2018年半ばまでの2億3300万件以上のレビューと、画像や検証済み購入フラグなどのより豊富なメタデータが含まれている。これらのデータセットは学術研究や業界のコンペティションで広く使用されており、カリフォルニア大学サンディエゴ校のウェブサイトからダウンロード可能である。
データ構造と特徴
データセット内の各レビューには通常、一意の識別子、レビュアーID、製品ID（ASIN）、総合評価（1〜5の尺度）、レビューテキスト、レビュータイトル、レビューのタイムスタンプ、場合によっては他のユーザーからの有用性投票が含まれる。メタデータファイルには、タイトル、説明、価格、カテゴリ、売上ランクなどの製品情報が含まれる。データセットはJSON形式で提供され、各行が1件のレビューまたは製品を表す。この構造により、研究者はPythonやRなどのプログラミング言語を使用してデータを簡単に解析および分析できる。データセットの大規模さと多様性は、Transformer (architecture)ベースのアーキテクチャを含む深層学習モデルのトレーニングに適している。
研究と産業における応用
Amazon Reviewsは、テキストに基づいてレビューの極性（肯定的、否定的、中立的）を予測する感情分析の学術研究で広く使用されてきた。また、テキスト分類、トピックモデリング、および過去のレビューに基づいてユーザーの好みを予測することを目的としたレコメンデーションシステムのベンチマークとしても機能する。産業界では、企業が同様のレビューデータを使用して製品品質を監視し、顧客フィードバックを理解し、レコメンデーションアルゴリズムを改善している。このデータセットは、偽レビューの影響、レビューの有用性、オンラインの口コミのダイナミクスを研究するためにも使用されてきた。多くのMachine learningおよびDeep learningの論文がこのデータセットで結果を報告しており、新しいNLPモデルを評価するための事実上の標準となっている。
課題と限界
その人気にもかかわらず、Amazon Reviewsデータセットにはいくつかの限界がある。第一に、レビューの大半が肯定的（評価4および5）であるため、データが高度に不均衡であり、モデルが肯定的な予測に偏る可能性がある。第二に、データセットにはタイプミス、スラング、非標準的な文法などのノイズの多いテキストが含まれており、従来のNLPパイプラインにとって課題となる可能性がある。第三に、レビューは自己選択によるものであるため、Amazonユーザーの全人口を必ずしも代表しているわけではない。第四に、データセットは静的であり、製品ラインやユーザー行動の最近の変化を反映していない。最後に、データにはレビュアーIDが含まれるため、ある程度匿名化されているものの、プライバシーの懸念が生じる。研究者は、サンプリング手法、データ拡張、ドメイン適応手法を使用してこれらの問題に対処することが多い。
関連データセットと拡張
Amazon Reviewsからは、いくつかの拡張版や関連データセットが開発されている。例えば、Amazon Review Data（2018）には、画像や検証済み購入ステータスなどの追加フィールドが含まれている。Amazon Multilingual Reviewデータセットは、複数言語のレビューを提供し、言語横断的な研究を可能にする。別の変種であるAmazon Counterfactualデータセットは、NLPにおける反事実的推論のために作成された。さらに、このデータセットは、SemEvalタスクなどのアスペクトベース感情分析のベンチマークを作成するためにも使用されてきた。これらの拡張により、研究者はマルチモーダル学習（テキストと画像）やレコメンデーションシステムにおける公平性など、より複雑な問題を探求できる。このデータセットは、クラウド環境での大規模処理のために、Google CloudやAzureサービスなどの他のソースと組み合わせられることも多い。
NLPとAI開発への影響
Amazon Reviewsデータセットは、NLPおよびArtificial intelligence研究の進歩に重要な役割を果たしてきた。BERT、GPT、その他のLarge language modelアーキテクチャなどのモデルのトレーニングと評価に使用されている。例えば、研究者はAmazon ReviewsでBERTを微調整し、感情分類において最先端の結果を達成している。このデータセットは、一般的なテキストで事前トレーニングされたモデルを特定のドメインに適応させるTransfer learning技術の開発にも貢献した。さらに、畳み込みニューラルネットワークや再帰型ニューラルネットワークを含むNeural networkアーキテクチャの有効性を研究する上でも重要な役割を果たしてきた。このような大規模で実世界のデータセットが利用可能になったことで、NLPにおけるイノベーションのペースが加速し、研究者は仮説を検証し、後に商用システムに展開される新しいアルゴリズムを開発できるようになった。
アクセスと利用ガイドライン
Amazon Reviewsデータセットは研究目的で自由に利用できるが、ユーザーは提供者が指定する利用規約を遵守する必要がある。通常、データセットは非商用ライセンスの下で配布され、研究者は出版物でデータを使用する際に元の論文を引用する必要がある。データセットは圧縮形式でダウンロードでき、読み込みと前処理を容易にするためのさまざまなツールやライブラリが開発されている。例えば、Hugging Face Datasetsライブラリは、Amazon Reviewsにアクセスするための便利なインターフェースを提供する。データセットを使用する際には、ユーザーのプライバシーを保護し、バイアスの伝播を回避するなどの倫理的影響を考慮することが重要である。研究者は、データ処理のベストプラクティスに従い、再現可能性のために前処理の手順を文書化することが推奨される。