Amazon Polarity ist ein groß angelegter Datensatz zur Stimmungsklassifikation, der aus Amazon-Produktbewertungen erstellt wurde. Er wird häufig als Benchmark zur Bewertung von maschinellen Lern- und Deep-Learning-Modellen bei binären Textklassifikationsaufgaben verwendet. Der Datensatz ordnet jeder Bewertung ein Label zu, das angibt, ob die ausgedrückte Stimmung positiv oder negativ ist, abgeleitet aus der Sternebewertung der Rezension.
Der Datensatz wurde im Rahmen einer breiteren Initiative zur Schaffung standardisierter Benchmarks für die Satzklassifikation eingeführt, zusammen mit ähnlichen Datensätzen wie IMDB und Yelp Polarity. Er wurde erstmals in einem Paper von Xiang Zhang, Junbo Zhao und Yann LeCun aus dem Jahr 2015 vorgestellt, das auch den verwandten Datensatz Amazon Full einführte. Die Polarity-Version vereinfacht das ursprüngliche Fünf-Klassen-Bewertungsproblem auf zwei Klassen: Bewertungen mit 1 oder 2 Sternen werden als negativ gekennzeichnet, während solche mit 4 oder 5 Sternen als positiv gelten. Bewertungen mit 3 Sternen werden aus dem Datensatz ausgeschlossen.
Konstruktion und Statistiken
Der Datensatz wird aus einer größeren Sammlung von Amazon-Bewertungen abgeleitet, die über 18 Jahre Produktfeedback umfasst. Das ursprüngliche Korpus enthält mehr als 35 Millionen Bewertungen, die eine breite Palette von Produktkategorien abdecken, darunter Bücher, Elektronik, Kleidung und Haushaltswaren. Für die Polarity-Version haben die Ersteller eine Teilmenge ausgewählt, um ein Gleichgewicht zwischen den beiden Klassen sicherzustellen.
Der endgültige Datensatz enthält 3.600.000 Trainingsbeispiele und 400.000 Testbeispiele. Jedes Beispiel besteht aus dem Bewertungstext und einem binären Label. Die Bewertungen werden als roher Text ohne Vorverarbeitung präsentiert, wobei ursprüngliche Großschreibung, Zeichensetzung und gelegentliche Tippfehler erhalten bleiben. Dies macht den Datensatz zu einem realistischen Test für Modelle, die mit verrauschter, informeller Sprache umgehen müssen.
Verwendung in der Forschung
Amazon Polarity ist zu einem Standard-Benchmark in der Forschung zur natürlichen Sprachverarbeitung geworden. Er wird häufig verwendet, um die Leistung verschiedener Klassifikatoren zu vergleichen, von traditionellen Methoden wie Support Vector Machines und logistischer Regression bis hin zu modernen Deep learning-Architekturen. Die große Größe des Datensatzes macht ihn besonders geeignet für das Training von Neural network-Modellen, einschließlich Transformer (architecture)-basierter Architekturen.
Forscher berichten oft über die Genauigkeit auf dem Testsatz als primäre Metrik. State-of-the-Art-Modelle, insbesondere solche, die auf Large language models wie BERT und seinen Nachfolgern basieren, erreichen eine Genauigkeit von über 95 %. Der Datensatz wird auch in Studien zu Domänenanpassung, Transferlernen und Robustheit gegenüber adversarialen Beispielen verwendet. Da die Bewertungen aus verschiedenen Produktkategorien stammen, wird erwartet, dass Modelle, die auf Amazon Polarity trainiert wurden, über verschiedene Domänen der Verbrauchersprache hinweg generalisieren.
Beziehung zu anderen Datensätzen
Amazon Polarity ist Teil einer Familie von Datensätzen, die von denselben Autoren erstellt wurden, darunter Amazon Full, IMDB und Yelp Polarity. Diese Datensätze teilen ein gemeinsames Format und werden oft zusammen in vergleichenden Studien verwendet. Der IMDB-Datensatz beispielsweise konzentriert sich speziell auf Filmkritiken, während Yelp Polarity aus Restaurant- und Geschäftsbewertungen stammt. Zusammen bieten sie eine Reihe von Textstilen und Vokabular, sodass Forscher die Generalisierung von Modellen über Domänen hinweg testen können.
Der Datensatz ist auch mit dem ursprünglichen Amazon-Bewertungskorpus verwandt, das von Julian McAuley und Kollegen zusammengestellt wurde und in der Forschung zu Empfehlungssystemen weit verbreitet ist. Dieses Korpus enthält zusätzliche Metadaten wie Produkt-IDs, Benutzer-IDs und Zeitstempel, die in der Polarity-Version nicht enthalten sind.
Einschränkungen und Überlegungen
Eine Einschränkung von Amazon Polarity besteht darin, dass es ein nuanciertes Fünf-Sterne-Bewertungssystem auf eine binäre Klassifikation reduziert. Diese Vereinfachung verliert Informationen über die Intensität der Stimmung, da eine 1-Sterne- und eine 2-Sterne-Bewertung identisch behandelt werden. Darüber hinaus erzeugt der Ausschluss von 3-Sterne-Bewertungen eine Lücke in der Mitte des Stimmungsspektrums, die möglicherweise nicht reale Verteilungen widerspiegelt.
Der Datensatz erbt auch Verzerrungen, die in Amazon-Bewertungen vorhanden sind, wie eine Tendenz zu extremen Bewertungen und Unterschiede im Bewertungsverhalten über Produktkategorien hinweg. Einige Forscher haben festgestellt, dass der Datensatz doppelte oder nahezu doppelte Bewertungen enthält, die Leistungsmetriken aufblähen können, wenn sie nicht sorgfältig behandelt werden. Trotz dieser Probleme bleibt Amazon Polarity ein weit verbreiteter und zuverlässiger Benchmark für die Stimmungsanalyse.