SST-2 (Stanford Sentiment Treebank binaire) est un jeu de données de référence pour la classification binaire des sentiments, où chaque exemple est une phrase unique issue de critiques de films, étiquetée comme positive ou négative. Il s'agit d'un sous-ensemble du Stanford Sentiment Treebank (SST) plus vaste, introduit en 2013 par des chercheurs de Stanford University pour permettre une analyse fine des sentiments. SST-2 simplifie les cinq classes originales (très négatif, négatif, neutre, positif, très positif) en deux classes en éliminant les phrases neutres et en regroupant les étiquettes restantes, ce qui en fait une tâche standard pour évaluer les modèles de apprentissage automatique et de apprentissage profond sur la compréhension au niveau de la phrase.
Le jeu de données contient 6 920 phrases dans la partition d'entraînement, 872 dans la partition de développement et 1 821 dans la partition de test. Chaque phrase provient de critiques de films initialement collectées sur Rotten Tomatoes. La formulation binaire a été popularisée par des recherches ultérieures, notamment dans le contexte des architectures de réseaux de neurones, et est devenue l'un des benchmarks les plus cités en traitement du langage naturel (NLP). SST-2 est souvent utilisé aux côtés d'autres tâches dans le benchmark GLUE (General Language Understanding Evaluation), publié en 2018 pour mesurer la compréhension générale du langage à travers neuf tâches.
Définition de la tâche et évaluation
Dans SST-2, l'objectif est de prédire si une phrase donnée exprime un sentiment positif ou négatif. La métrique d'évaluation est la précision, définie comme la proportion de phrases correctement classifiées. Comme les étiquettes sont équilibrées (environ autant d'exemples positifs que négatifs), la précision sert de mesure simple de la performance du modèle. La tâche est considérée comme un problème de classification de phrase unique, distinct des tâches par paires comme l'inférence en langage naturel. Les modèles sont généralement pré-entraînés sur de grands corpus, puis affinés sur l'ensemble d'entraînement de SST-2, avec des performances rapportées sur l'ensemble de test via le classement GLUE ou d'autres cadres d'évaluation.
Contexte historique et création
Le Stanford Sentiment Treebank original a été créé par Richard Socher et ses collègues du Stanford AI Lab, avec l'article « Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank » publié en 2013. Le treebank inclut des arbres d'analyse pour chaque phrase, avec des étiquettes de sentiment à chaque nœud, permettant aux modèles compositionnels d'apprendre la sémantique au niveau des phrases. La version binaire, SST-2, a été extraite plus tard par des chercheurs de OpenAI et d'autres pour une évaluation plus simple. La construction du jeu de données a impliqué l'étiquetage participatif via Amazon Mechanical Turk, chaque phrase étant étiquetée par plusieurs annotateurs pour garantir la fiabilité. Le treebank original contient 239 232 phrases uniques, mais SST-2 se concentre uniquement sur les phrases complètes, offrant un benchmark propre pour le sentiment au niveau de la phrase.
Rôle dans le développement des modèles
SST-2 a joué un rôle central dans le suivi des progrès en NLP. Les premiers modèles, tels que les réseaux de neurones récursifs et les LSTM, ont atteint des précisions de l'ordre de 80 à 85 %. L'introduction des modèles basés sur Transformers, à commencer par BERT en 2018, a poussé la précision au-delà de 90 %, et des modèles ultérieurs comme les grands modèles de langage ont atteint des performances proches de celles des humains. Par exemple, BERT-base a atteint environ 92,7 % de précision sur SST-2, tandis que des modèles plus récents comme RoBERTa et T5 ont dépassé 95 %. Le benchmark est également utilisé pour tester la robustesse, car les modèles doivent généraliser à diverses structures de phrases et vocabulaires. En 2024, les modèles de pointe rapportent des précisions supérieures à 96 %, bien que la tâche soit considérée comme largement résolue pour des fins pratiques, les erreurs restantes étant souvent dues au sarcasme, à la nuance ou au sentiment dépendant du contexte.
Relation avec d'autres benchmarks
SST-2 fait partie du benchmark GLUE, qui inclut des tâches comme CoLA (acceptabilité linguistique), MNLI (inférence en langage naturel) et QQP (paraphrase de questions). GLUE a été introduit par l'équipe de Google en 2018 pour fournir une évaluation standardisée de la compréhension générale du langage. SST-2 est également inclus dans SuperGLUE, un successeur plus difficile, bien que SuperGLUE utilise une tâche de sentiment différente (BoolQ). Au-delà de GLUE, SST-2 est fréquemment utilisé dans la recherche sur l'IA générative et la sécurité de l'intelligence artificielle, car il offre un banc d'essai simple pour sonder le comportement des modèles. De nombreux frameworks de apprentissage automatique, comme la bibliothèque de jeux de données de Hugging Face, incluent SST-2 comme jeu de données intégré, facilitant la reproductibilité.
Limites et critiques
Malgré sa popularité, SST-2 présente des limites connues. L'étiquetage binaire élimine les phrases neutres, qui peuvent être ambiguës dans des applications réelles. Le jeu de données provient de critiques de films, ce qui limite la diversité des domaines ; les modèles entraînés sur SST-2 peuvent ne pas bien généraliser à d'autres domaines comme les critiques de produits ou les médias sociaux. De plus, les étiquettes fines du treebank original sont perdues dans la version binaire, empêchant l'analyse de l'intensité. Certains chercheurs ont noté que la précision de SST-2 peut être gonflée par des modèles exploitant des indices superficiels, comme la présence de certains adjectifs. Néanmoins, SST-2 reste une référence standard pour les nouvelles architectures, et sa simplicité en fait un point de départ idéal pour les étudiants et les praticiens entrant dans le domaine du NLP.