L'exploration de textes, également connue sous le nom de fouille de données textuelles (TDM) ou d'analyse textuelle, est le processus d'extraction d'informations de haute qualité à partir de textes. Elle implique la découverte par ordinateur d'informations nouvelles, auparavant inconnues, en extrayant automatiquement des modèles et des tendances à partir de ressources écrites telles que les sites Web, les livres, les courriels, les critiques et les articles. Le domaine combine des techniques de l'intelligence artificielle, de l'apprentissage automatique et des statistiques pour transformer le texte non structuré en données structurées adaptées à l'analyse. L'information de haute qualité fait généralement référence à une combinaison de pertinence, de nouveauté et d'intérêt, et est obtenue par des méthodes telles que l'apprentissage statistique de modèles et le traitement du langage naturel.
La discipline est issue des premiers travaux en recherche d'information et en découverte de connaissances, avec des racines dans les années 1980, lorsque la recherche en sciences de la vie et le renseignement gouvernemental ont appliqué pour la première fois l'analyse automatisée de textes. Une application typique analyse un ensemble de documents dans une langue naturelle et soit modélise l'ensemble de documents pour une classification prédictive, soit remplit une base de données ou un index de recherche avec des informations extraites. Le document est l'unité de base, définie comme une unité de données textuelles qui existe dans de nombreuses collections.
Tâches principales et perspectives
L'exploration de textes englobe plusieurs tâches typiques : la catégorisation de textes, le regroupement de textes, l'extraction de concepts et d'entités, la production de taxonomies granulaires, l'analyse des sentiments, le résumé de documents et la modélisation des relations entre entités. Selon Hotho et al. (2005), le domaine peut être envisagé sous trois perspectives : l'extraction d'informations, l'exploration de données et la découverte de connaissances dans les bases de données (KDD). Le processus implique généralement la structuration du texte d'entrée (analyse syntaxique, ajout ou suppression de caractéristiques linguistiques et insertion dans une base de données), la dérivation de modèles au sein des données structurées, et enfin l'évaluation et l'interprétation de la sortie.
L'analyse textuelle implique la recherche d'informations, l'analyse lexicale pour étudier les distributions de fréquence des mots, la reconnaissance de modèles, l'étiquetage et l'annotation, l'extraction d'informations, les techniques d'exploration de données, y compris l'analyse de liens et d'associations, la visualisation et l'analytique prédictive. L'objectif global est de transformer le texte en données pour l'analyse, l'interprétation étant une phase finale critique.
Analyse textuelle et usage commercial
L'analyse textuelle décrit un ensemble de techniques linguistiques, statistiques et d'apprentissage automatique qui modélisent et structurent le contenu informationnel de sources textuelles pour l'intelligence d'affaires, l'analyse exploratoire de données, la recherche ou l'investigation. Le terme est à peu près synonyme d'exploration de textes ; Ronen Feldman a modifié une description de « text mining » datant de 2000 en 2004 pour décrire « text analytics ». Ce dernier terme est désormais plus fréquemment utilisé dans les contextes commerciaux, tandis que « text mining » reste courant dans les domaines d'application précoces tels que la recherche en sciences de la vie et le renseignement gouvernemental.
Dans le domaine commercial, l'analyse textuelle est appliquée pour répondre à des problèmes de manière indépendante ou en conjonction avec l'interrogation et l'analyse de données numériques structurées. On affirme souvent que 80 % des informations pertinentes pour les entreprises proviennent de formes non structurées, principalement du texte. Ces techniques découvrent et présentent des connaissances - des faits, des règles métier et des relations - qui resteraient autrement enfermées sous forme textuelle et imperméables au traitement automatisé.
Processus d'analyse et sous-tâches
Les systèmes d'exploration de textes impliquent généralement plusieurs sous-tâches. La réduction de dimensionnalité est une technique de prétraitement importante utilisée pour identifier les mots racines et réduire la taille des données textuelles. La recherche d'informations ou l'identification de corpus est une étape préparatoire qui collecte ou identifie un ensemble de matériaux textuels provenant du Web, de systèmes de fichiers, de bases de données ou de gestionnaires de corpus de contenu.
Alors que certains systèmes appliquent exclusivement des méthodes statistiques avancées, beaucoup d'autres utilisent un traitement approfondi du langage naturel, tel que l'étiquetage morpho-syntaxique, l'analyse syntaxique et d'autres analyses linguistiques. La reconnaissance d'entités nommées utilise des gazetiers ou des techniques statistiques pour identifier des caractéristiques textuelles nommées telles que des personnes, des organisations, des noms de lieux, des symboles boursiers et des abréviations. La désambiguïsation utilise des indices contextuels pour décider, par exemple, si « Ford » fait référence à un ancien président américain, à un constructeur automobile, à une star de cinéma ou à un passage à gué. Les entités identifiées par des modèles, telles que les numéros de téléphone et les adresses électroniques, peuvent être discernées via des expressions régulières.
D'autres sous-tâches incluent le regroupement de documents (identification d'ensembles de documents similaires), la résolution de coréférence (identification de syntagmes nominaux qui se réfèrent au même objet), l'extraction de relations, de faits et d'événements, et l'analyse des sentiments (discernement de matériel subjectif et extraction d'attitudes, d'opinions, d'humeurs et d'émotions). L'analyse textuelle quantitative, issue des sciences sociales, utilise des juges humains ou des ordinateurs pour extraire des relations sémantiques ou grammaticales entre les mots à des fins telles que le profilage psychologique. Le prétraitement implique généralement la tokenisation, le filtrage et la racinisation.
Applications dans divers domaines
La technologie d'exploration de textes est largement appliquée aux besoins gouvernementaux, de recherche et commerciaux. Les professionnels du droit l'utilisent pour la découverte électronique, tandis que les gouvernements et les groupes militaires l'utilisent pour la sécurité nationale et le renseignement. Les chercheurs scientifiques intègrent l'exploration de textes pour organiser de grands ensembles de données textuelles, déterminer les idées communiquées par le texte (par exemple, l'analyse des sentiments dans les médias sociaux) et soutenir la découverte scientifique dans des domaines comme les sciences de la vie et la bioinformatique. Dans le domaine commercial, les applications soutiennent l'intelligence concurrentielle et le placement publicitaire automatisé.
Applications de sécurité
De nombreux logiciels d'exploration de textes sont commercialisés pour des applications de sécurité, en particulier la surveillance et l'analyse de sources textuelles en ligne en clair, telles que les actualités Internet et les blogs, à des fins de sécurité nationale. L'exploration de textes est également impliquée dans l'étude du chiffrement et du déchiffrement de textes.
Applications biomédicales
Une gamme d'applications d'exploration de textes dans la littérature biomédicale a été décrite, notamment l'extraction de relations entre les gènes et les maladies, l'identification des interactions médicamenteuses et le soutien à la découverte basée sur la littérature. Ces applications combinent souvent la reconnaissance d'entités nommées avec l'extraction de relations pour construire des bases de connaissances structurées à partir d'articles de recherche non structurés.
Relation avec l'IA moderne
L'exploration de textes a évolué parallèlement aux progrès de l'apprentissage automatique et de l'apprentissage profond. Les approches modernes exploitent de plus en plus les grands modèles de langage et les architectures transformeur pour des tâches telles que l'analyse des sentiments et l'extraction d'entités, bien que les méthodes statistiques traditionnelles restent utilisées. Le domaine continue d'être un composant fondamental des systèmes d'IA générative, qui s'appuient sur des techniques d'exploration de textes pour la préparation et l'évaluation des données.