Wikipédia est une encyclopédie en ligne, libre et multilingue, modifiée en collaboration par des bénévoles du monde entier. Lancée le 15 janvier 2001 par Jimmy Wales et Larry Sanger, elle fonctionne sur un modèle wiki qui permet à toute personne disposant d'un accès à Internet de créer et de modifier des articles. Au début des années 2020, Wikipédia héberge des millions d'articles dans plus de 300 langues, ce qui en fait l'une des œuvres de référence les plus vastes et les plus consultées de l'histoire. Son contenu est publié sous des licences libres, autorisant sa réutilisation et sa redistribution, ce qui en fait une ressource essentielle tant pour les lecteurs humains que pour les systèmes automatisés.
La structure de l'encyclopédie, avec ses nombreux renvois croisés, ses citations et ses catégories hiérarchiques, s'est révélée extrêmement précieuse pour la recherche computationnelle. Son ampleur et sa relative cohérence entre les langues en ont fait une source primaire pour l'entraînement et l'évaluation des systèmes d'intelligence artificielle, en particulier dans les domaines de l'apprentissage automatique et du traitement du langage naturel.
Rôle en tant que jeu de données dans la recherche en IA
Le rôle de Wikipédia en tant que jeu de données est fondamental pour le développement des grands modèles de langage modernes. Sa prose encyclopédique soignée et ses métadonnées structurées constituent un corpus de haute qualité pour entraîner les modèles à comprendre un langage factuel et à générer un texte cohérent. De nombreux modèles importants, notamment ceux développés par OpenAI, Anthropic et Google DeepMind, ont intégré des instantanés de Wikipédia comme composante significative de leurs données d'entraînement. Les fichiers de dump, qui sont des instantanés périodiques de tous les articles, sont librement téléchargeables et ont été utilisés dans de nombreuses tâches de référence, telles que la réponse à des questions et la vérification de faits.
La nature multilingue de l'encyclopédie favorise également l'entraînement et l'évaluation de modèles multilingues. Les chercheurs ont utilisé des articles alignés entre différentes éditions linguistiques pour construire des corpus parallèles, facilitant la traduction automatique et la recherche sur les plongements multilingues. De plus, l'historique des modifications et les pages de discussion de Wikipédia ont été étudiés pour comprendre la production collaborative de connaissances et pour développer des algorithmes de détection des biais ou du vandalisme.
Infrastructure technique et accès
Wikipédia offre plusieurs voies techniques pour accéder à son contenu. Le logiciel MediaWiki, qui alimente le site, propose une API pour des requêtes programmatiques, permettant aux développeurs de récupérer le texte des articles, les métadonnées et les historiques de révision. Pour les analyses en masse, la Wikimedia Foundation publie des dumps complets de la base de données, généralement mis à jour chaque mois, aux formats SQL et XML. Ces dumps sont hébergés sur des serveurs publics et des sites miroirs, permettant aux chercheurs de télécharger des téraoctets de données pour un traitement hors ligne.
Pour l'apprentissage automatique, la disponibilité de versions prétraitées a simplifié l'adoption. La bibliothèque Hugging Face Datasets, par exemple, propose un jeu de données Wikipédia qui a été nettoyé et tokenisé, réduisant ainsi les barrières à l'entrée pour les petites équipes. Ces données sont souvent utilisées en conjonction avec d'autres corpus, tels que des livres et des explorations web, pour créer des mélanges d'entraînement diversifiés.
Défis et limites
Malgré son utilité, Wikipédia en tant que jeu de données présente plusieurs défis. Le contenu n'est pas statique ; les articles sont constamment modifiés, ce qui peut entraîner des incohérences entre les instantanés et les données en temps réel. Ce dynamisme oblige les chercheurs à figer une version spécifique pour assurer la reproductibilité. En outre, l'encyclopédie présente des biais systémiques, notamment une sous-représentation de certains sujets, régions géographiques et perspectives démographiques, qui peuvent se propager dans les modèles entraînés sur ces données.
L'exactitude factuelle varie selon les articles, et bien que Wikipédia ait des exigences robustes en matière de citations, des erreurs et du vandalisme peuvent persister. Pour les tâches exigeant une haute précision, comme les informations médicales ou juridiques, le jeu de données peut nécessiter un filtrage et une validation supplémentaires. Les chercheurs ont également noté que le style de la prose de Wikipédia est distinctif, et que les modèles fortement entraînés sur celle-ci peuvent adopter un ton formel et encyclopédique qui ne convient pas toujours aux applications conversationnelles.
Applications dans le développement de modèles
Wikipédia a joué un rôle déterminant dans plusieurs projets majeurs d'IA. L'architecture du transformeur, introduite en 2017, reposait sur de grands corpus de texte pour le pré-entraînement, et Wikipédia était un choix standard. Des modèles comme BERT, développé par Google, ont utilisé la version anglaise de Wikipédia pour le modelage de langage masqué, établissant de nouvelles références dans les tâches de compréhension. Les modèles ultérieurs, y compris la série GPT d'OpenAI et T5 de Google, ont poursuivi cette pratique.
Au-delà du pré-entraînement, Wikipédia est utilisée pour le réglage fin et l'évaluation. Des jeux de données tels que Natural Questions et TriviaQA, qui sont dérivés d'articles de Wikipédia ou liés à ceux-ci, sont des références standard pour la compréhension de lecture. L'encyclopédie soutient également la construction de graphes de connaissances, avec des projets comme DBpedia et YAGO qui extraient des données structurées de ses infobox et catégories, ensuite utilisées dans des systèmes d'IA hybrides combinant le raisonnement symbolique avec des méthodes de réseaux de neurones.
Orientations futures
La relation entre Wikipédia et l'IA continue d'évoluer. Alors que les systèmes de IA générative se répandent, l'intérêt grandit pour l'utilisation de Wikipédia afin d'ancrer les sorties des modèles dans des faits vérifiables, réduisant ainsi l'hallucination. Des initiatives comme les propres projets d'IA de la Wikimedia Foundation explorent des moyens d'utiliser l'apprentissage automatique pour améliorer la qualité et l'accessibilité du contenu. Inversement, l'essor des textes générés par l'IA soulève des questions sur l'intégrité du modèle éditorial bénévole de Wikipédia, suscitant des discussions sur la manière de détecter et de gérer les contributions synthétiques.
Les chercheurs explorent également des mises à jour dynamiques, où les modèles sont continuellement ré-entraînés sur des dumps frais de Wikipédia pour maintenir leurs connaissances à jour. Cette approche, bien que coûteuse en calcul, pourrait aider à remédier à l'obsolescence des jeux de données statiques. La collaboration continue entre la communauté de recherche en IA et l'écosystème Wikimedia suggère que Wikipédia restera une pierre angulaire du développement de jeux de données dans un avenir prévisible.