SciTail est un ensemble de données de référence pour l'inférence en langage naturel (NLI), spécifiquement conçu pour tester si un système peut déterminer si une déclaration scientifique (l'hypothèse) est impliquée par une prémisse donnée. Créé par des chercheurs de l'Université de Washington et de l'Allen Institute for Artificial Intelligence, l'ensemble de données a été introduit en 2018 pour combler l'écart entre les ensembles de données NLI à usage général et le langage spécialisé de l'éducation scientifique. Il comprend 27 026 paires prémisse-hypothèse, où chaque hypothèse est une réponse à une question d'examen scientifique, et chaque prémisse est une phrase pertinente extraite d'un manuel scientifique ou d'une source web. La tâche consiste à classer chaque paire comme « impliquée » (la prémisse soutient l'hypothèse) ou « non impliquée » (elle ne la soutient pas).
Contrairement aux ensembles de données NLI antérieurs tels que SNLI ou MultiNLI, qui contiennent souvent des contradictions évidentes ou des exemples artificiels, SciTail se concentre sur un raisonnement scientifique subtil et réel. Les hypothèses sont tirées de questions à choix multiples dans des tests scientifiques de niveau élémentaire et intermédiaire, couvrant des sujets comme la physique, la biologie, les sciences de la Terre et la chimie. Les prémisses sont sélectionnées à partir d'un corpus de textes scientifiques, et les relations d'implication sont souvent implicites, nécessitant des connaissances de fond et la capacité de gérer la variation lexicale, la paraphrase et l'inférence logique. L'ensemble de données est divisé en ensembles d'entraînement (23 596 paires), de développement (1 304 paires) et de test (2 126 paires), avec une distribution équilibrée des étiquettes d'implication (environ 50 % positives et 50 % négatives).
Construction et annotation
La construction de SciTail a impliqué un pipeline semi-automatisé. D'abord, les hypothèses ont été générées à partir de questions d'examen en associant chaque réponse correcte à l'énoncé de la question. Ensuite, pour chaque hypothèse, des prémisses candidates ont été extraites d'un grand corpus de manuels scientifiques et de pages web à l'aide de techniques de recherche d'information. Des annotateurs humains ont ensuite étiqueté chaque paire candidate comme impliquée ou non impliquée, en suivant des directives strictes pour garantir la cohérence. Le processus d'annotation était itératif, avec plusieurs cycles de formation et de retour d'information pour maintenir un accord inter-annotateurs élevé, qui a atteint un kappa de Cohen de 0,82. L'ensemble de données final ne comprend que les paires où les annotateurs ont atteint un consensus, garantissant des étiquettes de haute qualité.
Importance dans l'inférence en langage naturel
SciTail est devenu une référence standard pour évaluer les modèles d'inférence en langage naturel, en particulier ceux conçus pour le raisonnement spécifique à un domaine. Il défie les modèles d'aller au-delà de la correspondance lexicale de surface et d'effectuer une analyse sémantique plus profonde. L'ensemble de données est souvent utilisé en conjonction avec d'autres références NLI pour tester la généralisation, car il présente une distribution différente des phénomènes linguistiques par rapport aux ensembles de données à usage général. Par exemple, le langage scientifique implique souvent des termes techniques, des relations causales et des comparaisons quantitatives, qui sont moins fréquents dans les textes quotidiens. Par conséquent, les modèles entraînés sur des données NLI générales montrent souvent une baisse significative de performance sur SciTail, soulignant la nécessité d'une adaptation au domaine et d'un entraînement spécialisé.
Performance des modèles d'apprentissage automatique
Depuis sa publication, SciTail a été utilisé pour évaluer une large gamme de modèles d'Machine learning et de Deep learning. Les premières lignes de base utilisant des architectures de Neural network, telles que les modèles d'attention décomposable et les modèles d'inférence séquentielle améliorés, ont atteint des précisions dans les hautes années 80 à basses années 90. Des approches plus récentes ont intégré des architectures basées sur Transformer (architecture), y compris les Large language models, qui ont poussé la performance au-dessus de 95 % de précision. Cependant, même les modèles de pointe rencontrent encore des difficultés avec certains types d'implication, en particulier ceux nécessitant un raisonnement en plusieurs étapes ou l'intégration de connaissances externes. L'ensemble de données a également été utilisé pour étudier l'impact des techniques de Data Augmentation, l'Transfer learning à partir d'ensembles de données NLI généraux, et l'efficacité des mécanismes de Multi-Head Attention pour capturer les relations scientifiques.
Relation avec la réponse aux questions scientifiques
SciTail est étroitement lié à la tâche plus large de réponse aux questions scientifiques, car il aborde directement la composante d'implication dans la réponse aux questions à choix multiples. L'ensemble de données est souvent utilisé comme composant dans les systèmes de réponse aux questions de bout en bout, où un modèle récupère d'abord des preuves pertinentes puis détermine si ces preuves impliquent une réponse candidate. Cette approche en deux étapes est courante dans les systèmes qui participent à des références comme l'ARC (AI2 Reasoning Challenge) de l'Allen Institute. SciTail fournit un cadre contrôlé pour évaluer l'étape d'implication de manière isolée, permettant aux chercheurs d'isoler et d'améliorer cette capacité critique. L'ensemble de données a également inspiré des efforts similaires dans d'autres domaines, tels que l'implication médicale et juridique, démontrant son influence sur le domaine.
Limites et orientations futures
Malgré son utilité, SciTail présente plusieurs limites. L'ensemble de données est relativement petit par rapport aux corpus NLI modernes, ce qui peut entraîner un surajustement lors de l'entraînement de grands modèles. De plus, les prémisses sont souvent des phrases courtes, et les relations d'implication sont parfois triviales, car l'hypothèse peut être une copie quasi textuelle de la prémisse. Cela a conduit certains chercheurs à soutenir que SciTail mesure plus le chevauchement lexical que le véritable raisonnement. Pour résoudre ces problèmes, les travaux futurs pourraient impliquer l'expansion de l'ensemble de données avec des exemples plus diversifiés et complexes, l'incorporation de prémisses multi-phrases, ou l'intégration de bases de connaissances externes. L'ensemble de données reste une ressource précieuse pour l'évaluation comparative et pour stimuler les progrès dans la recherche en Artificial intelligence spécifique au domaine, en particulier dans la technologie éducative et les systèmes de tutorat automatisés.
Voir aussi
- natural-language-inference
- science-question-answering
- textual-entailment
- decomposable-attention
Références
- Zellers, R., Bisk, Y., Schwartz, R., & Choi, Y. (2018). SWAG: A Large-Scale Adversarial Dataset for Commonsense Reasoning. (Note : il s'agit d'un travail connexe, pas de l'article original SciTail)
- Khot, T., Sabharwal, A., & Clark, P. (2018). SciTail: A Textual Entailment Dataset from Science Question Answering. Proceedings of AAAI.
(Note : L'article original est de Tushar Khot, Ashish Sabharwal et Peter Clark, publié à AAAI 2018.)