Yahoo! Answers était une plateforme de questions-réponses communautaire lancée en 2005 par Yahoo!. Elle permettait aux utilisateurs de poser des questions sur un large éventail de sujets et de recevoir des réponses d'autres membres de la communauté. La plateforme a fonctionné jusqu'à sa fermeture en 2021, mais ses données archivées sont devenues une ressource précieuse pour la recherche en apprentissage automatique, en particulier pour les tâches de classification de texte.
Le jeu de données Yahoo! Answers, dérivé du contenu de la plateforme, est un benchmark largement utilisé en traitement du langage naturel. Il se compose de questions et de leurs réponses correspondantes, étiquetées en 10 classes thématiques distinctes. Ce jeu de données a joué un rôle clé dans l'entraînement et l'évaluation de modèles à réseaux de neurones pour des tâches telles que la classification thématique et la réponse aux questions.
Structure et classes du jeu de données
Le jeu de données Yahoo! Answers comprend plus de 1,4 million de questions et réponses, chacune assignée à l'une des 10 catégories suivantes : Société et culture, Sciences et mathématiques, Santé, Éducation et référence, Ordinateurs et Internet, Sports, Affaires et finance, Divertissement et musique, Famille et relations, et Politique et gouvernement. Le jeu de données est souvent divisé en ensembles d'entraînement et de test, avec une répartition typique de 1,4 million d'échantillons d'entraînement et 60 000 échantillons de test. Chaque échantillon comprend le titre de la question, le contenu de la question et la meilleure réponse, ainsi que l'étiquette de catégorie.
Rôle dans la recherche en apprentissage automatique
Le jeu de données a été largement utilisé dans la recherche en apprentissage automatique pour évaluer les algorithmes de classification. C'est un benchmark standard pour évaluer les modèles de apprentissage profond, y compris les architectures basées sur les transformeurs. Les chercheurs l'ont utilisé pour tester les performances des grands modèles de langage et d'autres systèmes de IA générative dans la compréhension et la catégorisation de contenu généré par les utilisateurs. La nature multi-classes et le texte réel du jeu de données en font un banc d'essai difficile et réaliste pour la généralisation des modèles.
Impact sur le développement de l'IA
La disponibilité du jeu de données Yahoo! Answers a contribué aux avancées en intelligence artificielle en fournissant un corpus volumineux et étiqueté pour l'entraînement et l'évaluation. Il a été utilisé dans des études comparant l'efficacité de diverses fonctions de perte, techniques d'optimisation et méthodes de augmentation de données. Le jeu de données soutient également la recherche en apprentissage par transfert et en apprentissage en quelques exemples, où des modèles pré-entraînés sur de grands corpus sont affinés sur des jeux de données étiquetés plus petits comme celui-ci.
Héritage et utilisation continue
Malgré la fermeture de la plateforme, le jeu de données Yahoo! Answers reste une ressource populaire dans la recherche académique et industrielle. Il est inclus dans de nombreuses suites de benchmark et est utilisé pour évaluer les performances de nouveaux modèles, y compris ceux basés sur l'attention multi-têtes et l'encodage positionnel. La longévité du jeu de données souligne la valeur du contenu généré par la communauté pour faire progresser la recherche en intelligence artificielle.