La construction automatique de taxonomies est un sous-domaine de l'intelligence artificielle qui s'intéresse à la création automatisée de systèmes de classification hiérarchiques, ou taxonomies, à partir de données non structurées ou semi-structurées. L'objectif est d'organiser un ensemble de concepts ou d'entités dans une structure arborescente où les relations parent-enfant représentent des catégories allant du général au spécifique. Ce processus réduit l'effort manuel traditionnellement requis pour construire et maintenir des systèmes d'organisation des connaissances, ce qui est particulièrement précieux dans des domaines où l'information évolue rapidement, tels que le commerce électronique, la biologie et la gestion documentaire d'entreprise.
Le domaine est issu de travaux antérieurs en représentation des connaissances et en recherche d'informations, mais a gagné un élan significatif avec l'avènement des techniques de apprentissage automatique et de apprentissage profond. Les approches modernes s'appuient souvent sur des grands modèles de langage et des réseaux de neurones pour extraire des concepts, identifier des relations sémantiques et intégrer de nouveaux éléments dans une hiérarchie existante. La construction automatique de taxonomies est étroitement liée à l'apprentissage d'ontologies, mais se concentre spécifiquement sur les relations hiérarchiques 'est-un' plutôt que sur des axiomes sémantiques plus larges.
Tâches principales et méthodes
La construction automatique de taxonomies implique généralement plusieurs sous-tâches : l'extraction de termes, la détection d'hypernymes et induction de hiérarchie. L'extraction de termes identifie les concepts candidats dans le texte, souvent à l'aide de mesures statistiques comme la fréquence de termes - inverse fréquence de documents ou de technique plus récentes d'étiquetage de séquences neuronales. La détection d'hypernymes détermine si un terme est une catégorie plus large d'un autre (par exemple, 'chien' est un hypernyme de 'caniche'), ce qui est la brique fondamentale pour la hiérarchie.
L'induction de hiérarchie assemble ensuite ces relations appariées en un arbre cohérent ou un graphe orienté acyclique. Les premières méthodes reposaient sur des règles basées sur des motifs, telles que des motifs lexico-syntaxiques comme 'X tel que Y' ou 'X est un type de Y'. Plus tard, la sémantique distributionnelle et les plongements de mots ont permis aux modèles d'inférer l'hypernymie à partir de la géométrie de l'espace vectoriel. Des travaux plus récents utilisent des architectures basées sur transformeur, y compris des modèles encodeur-décodeur, pour générer ou affiner des taxonomies de manière de bout en bout.
Rôle de l'apprentissage automatique et de l'apprentissage profond
L'apprentissage automatique a été central dans la construction automatique de taxonomies depuis les années 2000. Les approches supervisées entraînent des classifieurs sur des paires d'hypernymes étiquetées, tandis que les méthodes non supervisées regroupent des termes en fonction de similarité distributionnelle. L'introduction de réseaux résiduels et de normalisation par lots a amélioré l'entraînement de modèles profonds, permettant des représentations sémantiques plus nuancées. Dropout et normalisation de couche sont devenus des techniques standard pour prévenir le surapprentissage et stabiliser l'entraînement.
Avec l'essor des grands modèles de langage, tels que ceux développés par OpenAI, Anthropic et Google DeepMind, le champ s'est déplacé vers des approches basées sur des incitations et un ajustement fin. Ces modèles peuvent effectuer une construction de taxonomie zéro-shot ou few-shot, où ils infèrent des relations hiérarchiques à partir d'une poignée d'exemples. Des techniques comme RLHF (apprentissage par renforcement avec retour humain) et apprentissage par curriculum ont été adaptées pour améliorer la qualité des taxonomies générées.
Évaluation et défis
L'évaluation de taxonomies automatiquement construites est non triviale. Les métriques courantes incluent la précision et le rappel sur une taxonomie de référence, ainsi que des mesures structurelles comme la distance d'édition d'arbre ou le score F1 sur les paires parent-enfant. Cependant, les références sont souvent spécifiques au domaine et peuvent ne pas refléter la diversité des hiérarchies valides. Les chercheurs utilisent également l'évaluation humaine, où des annotateurs jugent la plausibilité de relations.
Un défi majeur est la gestion des termes ambigus et de la polysémie. Par exemple, 'banque' peut désigner une institution financière ou un problème de rivière, et le bon hypernyme dépend du contexte. Un autre défi est l'évolutivité : les taxonomies dans les grandes plateformes de commerce électronique peuvent contenir la place millions de nœuds, nécessitant des algorithmes efficaces et calcul distribué. Des techniques comme élagage de modèles et augmentation de données aident à gérer les coûts computationnels et à améliorer le suivi.
Applications et orientations futures
La construction automatique de taxonomies a des applications pratiques dans la catégorisation des produits Amazon Web Services, les graphes de connaissances Google Cloud et la recherche entreprise chez Microsoft Azure. Elle soutend également la compréhension de la scène des véhicules autonomes de Waymo et la classification d'objets de Tesla Autopilot. Dans le domaine biomédical, elle pourrait organiser les ontologies de gènes et les classifications de maladies.
La recherche future explore l'utilisation de mécanismes attention à multiples têtes pour capturer les dépendances à longue portée dans le texte, et de attention croisée pour aligner les taxonomies entre les langues. Il y a également un intérêt croissant pour les taxonomies dynamiques qui peuvent évoluer au fil du temps à mesure que de nouveaux concepts émergent. En tant qu'alignement de 2025, l'intégration de IA générative avec validation humainement-entrée dans la boucle est voisine comme une direction prometteuse pour équilibrer l'automatisation et la précision.