TACRED (TAC Relation Extraction Dataset) est un ensemble de données de référence largement utilisé pour la tâche d'extraction de relations en traitement du langage naturel. Il a été introduit par des chercheurs de l'Université Stanford et de l'Allen Institute for Artificial Intelligence en 2017. L'ensemble de données fournit une grande collection de phrases annotées avec des paires d'entités et leurs relations sémantiques correspondantes, servant de banc d'essai standard pour développer et évaluer des modèles d'extraction de relations, en particulier ceux basés sur des techniques de apprentissage automatique et de apprentissage profond.
L'ensemble de données a été construit à partir des évaluations TAC KBP (Knowledge Base Population), plus précisément des compétitions annuelles de 2009 à 2012. Il contient 106 264 phrases, chacune associée à une paire d'entités de requête (sujet et objet) et à une étiquette de relation. Les relations sont tirées d'un ensemble prédéfini de 41 types, comprenant 18 relations générales (par exemple, per:spouse, org:founded_by) et 23 relations spécifiques à la tâche TAC KBP (par exemple, per:title, org:top_members/employees). De plus, une étiquette spéciale 'no_relation' est utilisée pour les paires d'entités qui n'expriment aucune des relations définies, ce qui constitue la majorité des instances.
TACRED est remarquable par sa taille et sa complexité. Chaque phrase est un extrait de texte réel provenant d'articles de presse ou de textes web, ce qui rend la tâche difficile en raison de la variabilité linguistique, des dépendances à longue portée et de la nécessité de connaissances du monde. L'ensemble de données est divisé en ensembles d'entraînement (68 124 phrases), de développement (22 631 phrases) et de test (15 509 phrases), avec une attention particulière pour éviter le chevauchement des documents entre les divisions afin de garantir une évaluation réaliste.
La principale métrique d'évaluation pour TACRED est le score F1 micro-moyenné, qui équilibre la précision et le rappel sur tous les types de relations. Les premiers modèles de référence, tels que la régression logistique avec des caractéristiques artisanales, ont atteint des scores F1 d'environ 50 à 60 %. L'introduction de modèles de réseaux de neurones, en particulier ceux utilisant des architectures de transformeurs, a conduit à des améliorations significatives. Par exemple, le modèle basé sur BERT de Zhang et al. (2019) a atteint un score F1 de 71,5 %, et des modèles ultérieurs avec des mécanismes d'attention plus sophistiqués et des connaissances externes ont poussé les scores au-dessus de 80 %.
Construction et annotation
L'ensemble de données a été créé en extrayant automatiquement des phrases du corpus source TAC KBP, qui comprend des textes de presse et du web. Pour chaque document, les mentions d'entités ont été identifiées à l'aide d'un reconnaisseur d'entités nommées, et des paires d'entités ont été sélectionnées comme instances candidates de relations. Des annotateurs humains ont ensuite étiqueté chaque phrase avec la relation appropriée, en suivant des directives d'annotation détaillées. Le processus d'annotation a impliqué plusieurs cycles de contrôle qualité, y compris l'arbitrage des désaccords, pour garantir un accord inter-annotateurs élevé. L'ensemble de données final comprend non seulement la phrase et l'étiquette de relation, mais aussi les positions des entités sujet et objet dans la phrase, qui sont cruciales pour l'entraînement des modèles.
Impact et utilisation dans la recherche
TACRED est devenu une référence standard dans la communauté de l'extraction de relations. Il a été utilisé pour évaluer une large gamme de modèles, des classificateurs traditionnels basés sur des caractéristiques aux approches modernes basées sur les grands modèles de langage. L'ensemble de données a également engendré plusieurs tâches dérivées, telles que l'extraction de relations en apprentissage few-shot et l'extraction de relations au niveau documentaire, où les chercheurs adaptent TACRED pour tester les capacités de généralisation. De plus, TACRED a joué un rôle déterminant dans l'avancement de la recherche sur l'intégration de bases de connaissances externes, comme Wikidata, dans les modèles neuronaux pour améliorer les performances sur les relations nécessitant un raisonnement de sens commun ou factuel.
Limites et critiques
Malgré sa popularité, TACRED présente des limitations connues. L'ensemble de données est relativement petit par rapport à d'autres références en traitement du langage naturel, et ses types de relations sont limités à ceux définis par TAC KBP, ce qui peut ne pas couvrir toute la diversité des relations dans les textes de domaine ouvert. De plus, l'ensemble de données a été critiqué pour contenir des erreurs d'annotation et pour son protocole d'évaluation, qui peut ne pas refléter pleinement les performances réelles. Certaines études ont montré que les modèles peuvent obtenir des scores élevés en exploitant des biais spécifiques à l'ensemble de données, comme se fier aux informations sur les types d'entités plutôt que d'apprendre la sémantique réelle des relations. Ces problèmes ont motivé la création de nouveaux ensembles de données, tels que TACREV (une version réannotée de TACRED) et Re-TACRED, qui visent à remédier à certaines de ces lacunes.
Travaux connexes et extensions
TACRED fait partie d'une famille plus large d'ensembles de données d'extraction de relations. Il est étroitement lié à l'ensemble de données SemEval-2010 Task 8, qui se concentre sur un ensemble plus restreint de 19 types de relations, et à l'ensemble de données NYT-FB, qui utilise la supervision distante. Des ensembles de données plus récents comme FewRel et TACREV s'appuient sur la structure de TACRED pour explorer l'apprentissage few-shot et fournir des annotations plus propres. À l'ère de la IA générative, TACRED a également été utilisé pour évaluer la capacité de modèles comme la série GPT de OpenAI à effectuer une extraction de relations en mode zero-shot ou few-shot, souvent avec des résultats compétitifs par rapport aux modèles plus petits affinés.
Voir aussi
- intelligence artificielle
- traitement du langage naturel (note : non inclus dans la liste fournie, mais connexe)
- laboratoire d'IA de Stanford
- apprentissage automatique