Le traitement du langage naturel, ou TALN, est le sous-domaine de l'intelligence artificielle qui se concentre sur la capacité des ordinateurs à traiter, interpréter et générer le langage humain, qu'il soit parlé ou écrit. Il couvre des tâches allant de celles qui sont étroites, comme la vérification orthographique et l'étiquetage morphosyntaxique, à celles qui sont ouvertes, comme la traduction, le résumé et la conversation, et il est le domaine parent de la technologie des grands modèles de langage qui domine le discours sur l'IA au milieu des années 2020.
Ère des règles : symboles et grammaires
Les premiers systèmes de TALN, des années 1950 aux années 1980, reposaient sur des règles linguistiques codées à la main et une logique symbolique, une approche alignée sur l'IA symbolique. ELIZA, un chatbot créé par Joseph Weizenbaum en 1966, utilisait un simple appariement de motifs pour simuler un psychothérapeute rogérien et constituait une démonstration précoce, bien que limitée, des ambitions du domaine. Des systèmes de traduction automatique fondés sur des règles ont également été développés durant cette période, avec un succès mitigé.
Ère statistique : probabilités et corpus
De la fin des années 1980 aux années 2000, le TALN s'est orienté vers des méthodes statistiques, utilisant des probabilités apprises à partir de corpus de textes plutôt que des règles écrites à la main pour traiter des tâches comme la traduction, l'étiquetage et l'analyse syntaxique. Cette période a vu l'émergence de techniques telles que les modèles de langage à n-grammes et la traduction automatique statistique, et a établi les grands corpus annotés comme une infrastructure de recherche centrale, préfigurant l'accent moderne mis sur l'échelle des données d'entraînement.
Ère neuronale : plongements et transformeurs
Les approches neuronales ont commencé à remplacer les pipelines statistiques au début des années 2010, grâce aux plongements de mots au niveau lexical comme Word2vec (2013), qui représentaient les mots sous forme de vecteurs denses capturant des relations sémantiques, et aux architectures de réseau de neurones récurrent et de LSTM pour les tâches de séquence à séquence telles que la traduction. L'introduction de l'architecture transformeur en 2017 a transformé le domaine, permettant un entraînement bien plus efficace sur de grands corpus de textes. BERT (2018) a démontré la puissance du pré-entraînement à grande échelle pour la compréhension du langage, tandis que la série GPT a montré qu'un seul modèle autorégressif entraîné sur la prédiction du prochain jeton pouvait accomplir une vaste gamme de tâches de TALN sans architectures spécifiques, aboutissant à des grands modèles de langage polyvalents.
Portée moderne
La recherche et les applications contemporaines en TALN couvrent la traduction automatique, la reconnaissance vocale, la recherche sémantique, l'analyse des sentiments, le résumé automatique, le question-réponse et les systèmes de dialogue qui sous-tendent les chatbots et les assistants vocaux. Depuis l'avènement des grands modèles de langage, de nombreuses sous-tâches de TALN auparavant distinctes sont désormais couramment traitées en sollicitant un modèle polyvalent unique plutôt qu'en entraînant des architectures spécialisées, un changement qui a réduit le besoin de systèmes supervisés étroits mais a soulevé de nouvelles questions sur l'évaluation et la fiabilité, notamment concernant l'Hallucination (AI).
Défis
Les systèmes de TALN continuent de rencontrer des difficultés avec les langues peu dotées en ressources, qui manquent de grands corpus d'entraînement, avec les expressions idiomatiques et les contextes culturels spécifiques, et avec la fiabilité factuelle constante. Les biais présents dans les textes d'entraînement peuvent être reproduits ou amplifiés dans les sorties des modèles, une préoccupation mise en évidence par la critique du perroquet stochastique, et restent un domaine de recherche actif parallèlement aux efforts plus larges d'atténuation des biais algorithmiques.