Construction et annotation
L'ensemble de données a été construit à partir de requêtes Google anonymisées, échantillonnées entre janvier et décembre 2018. Chaque requête a été associée à une page Wikipédia que le système de classement de Google jugeait susceptible de contenir la réponse. Les annotateurs ont ensuite effectué un processus d'annotation en deux étapes : ils ont d'abord sélectionné la réponse longue, qui pouvait être un paragraphe, un tableau ou une liste, puis ont extrait la réponse courte, qui pouvait être une entité unique, un passage de texte ou une réponse « oui »/« non ». Si aucune réponse n'était présente sur la page, les annotateurs la marquaient comme telle. Ce processus a abouti à un ensemble de données présentant une distribution naturelle des types de réponses, y compris des questions sans réponse, un scénario courant mais souvent négligé dans la recherche en问答.
Importance pour la recherche
Natural Questions est rapidement devenu une référence standard pour la recherche en问答 ouvert, complétant des ensembles de données antérieurs comme SQuAD. Contrairement à SQuAD, qui fournit un passage contenant la réponse, Natural Questions exige des systèmes qu'ils retrouvent les informations pertinentes dans un vaste corpus (généralement Wikipédia) avant d'extraire la réponse. Cette configuration s'aligne sur le paradigme de la génération augmentée par récupération, devenu central pour les applications des grands modèles de langage. L'ensemble de données a été utilisé pour évaluer à la fois des modèles extractifs et génératifs, et a stimulé le développement de techniques de récupération dense, comme le modèle DPR (Dense Passage Retriever) introduit par Facebook AI en 2020, qui a obtenu des résultats solides sur ce benchmark.
Impact sur la recherche en问答
Natural Questions a influencé la conception d'ensembles de données et de systèmes问答 ultérieurs. L'accent mis sur les requêtes réelles des utilisateurs a souligné l'importance de traiter le bruit, l'ambiguïté et les questions sans réponse. L'ensemble de données a également contribué à la transition d'un问答 purement extractif vers un问答 génératif, où les modèles synthétisent des réponses plutôt que de simplement copier des passages. Au début des années 2020, de nombreux systèmes de pointe évalués sur Natural Questions utilisaient des architectures basées sur les transformeurs, notamment des encodeurs de type BERT pour la récupération et des décodeurs de type T5 ou GPT pour la génération. L'ensemble de données reste largement cité et est souvent utilisé comme ressource d'évaluation pour les modèles de apprentissage automatique dans la communauté du traitement automatique des langues.
Limites et critiques
Malgré son influence, Natural Questions présente des limites. L'ensemble de données se limite à Wikipédia comme source de réponses, ce qui peut ne pas refléter toute la diversité du contenu web. Le processus d'annotation, bien que rigoureux, est long et coûteux, ce qui limite la taille de l'ensemble de données par rapport aux corpus générés automatiquement. De plus, certains chercheurs ont noté que les annotations de réponses courtes peuvent être incohérentes, en particulier pour les questions comportant plusieurs réponses valides ou lorsque la réponse est implicite. Ces problèmes ont motivé la création d'ensembles de données complémentaires, tels que TyDi QA, qui couvre plusieurs langues, et ELI5, qui se concentre sur des réponses explicatives longues.
Héritage et utilisation continue
Natural Questions demeure une ressource clé pour l'évaluation des systèmes de问答 ouvert, en particulier dans le contexte des pipelines de génération augmentée par récupération utilisés dans les applications modernes d'intelligence artificielle. Il est également utilisé dans la recherche académique pour étudier la robustesse des modèles, l'interprétabilité et l'écart entre les performances humaines et machines sur des requêtes réelles. Les principes de conception de l'ensemble de données, notamment l'accent mis sur les questions authentiques des utilisateurs, ont influencé la manière dont les chercheurs abordent le problème du问答 en domaine ouvert, et il continue de servir de référence pour de nouveaux benchmarks et modèles.