L'adaptation de domaine est un domaine associé à l'apprentissage automatique et au transfert d'apprentissage. Elle aborde le défi d'entraîner un modèle sur une distribution de données, appelée domaine source, et de l'appliquer à une distribution de données liée mais différente, appelée domaine cible. Un exemple courant est le filtrage du spam, où un modèle entraîné sur les courriels d'un utilisateur (domaine source) est adapté pour traiter les courriels d'un autre utilisateur présentant des schémas significativement différents (domaine cible). Les techniques d'adaptation de domaine peuvent également exploiter des sources de données non liées pour améliorer l'apprentissage, et lorsque plusieurs distributions sources sont impliquées, le problème s'étend à l'adaptation de domaine multi-source.
L'adaptation de domaine est un type spécifique de transfert d'apprentissage. Selon la taxonomie établie par Pan et Yang (2010), elle relève de la catégorie du transfert d'apprentissage transductif. Dans ce cadre, les tâches source et cible sont identiques (par exemple, toutes deux sont de la reconnaissance d'objets), mais les domaines diffèrent dans leurs distributions marginales. Cela la distingue du transfert d'apprentissage inductif, où des données étiquetées sont disponibles pour la tâche cible, et du transfert d'apprentissage non supervisé, où les étiquettes sont indisponibles dans les deux domaines.
Classification des Problèmes d'Adaptation de Domaine
Les configurations d'adaptation de domaine sont classifiées de deux manières : selon le décalage de distribution entre les domaines, et selon les données disponibles du domaine cible.
Décalages de Distribution
Les décalages de distribution courants sont classifiés comme suit :
Décalage de Covariable se produit lorsque les distributions d'entrée de la source et de la cible changent, mais la relation entre les entrées et les étiquettes reste inchangée. L'exemple du filtrage du spam relève typiquement de cette catégorie : les distributions (schémas) des courriels peuvent différer entre les domaines, mais les courriels étiquetés comme spam dans un domaine devraient être étiquetés de manière similaire dans un autre.
Décalage de Prior (Décalage d'Étiquettes) se produit lorsque la distribution des étiquettes diffère entre les ensembles de données source et cible, tandis que la distribution conditionnelle des caractéristiques étant donné les étiquettes reste la même. Un exemple est un classifieur de couleur de cheveux sur des images d'Italie (domaine source) et de Norvège (domaine cible). Les proportions de couleurs de cheveux (étiquettes) diffèrent, mais les images au sein des classes comme les populations blondes et brunes restent cohérentes entre les domaines. Un classifieur pour la population norvégienne peut exploiter cette connaissance préalable des proportions de classes pour améliorer ses estimations.
Décalage de Concept (Décalage Conditionnel) fait référence aux changements dans la relation entre les caractéristiques et les étiquettes, même si la distribution d'entrée reste la même. Par exemple, dans le diagnostic médical, les mêmes symptômes (entrées) peuvent indiquer des maladies entièrement différentes (étiquettes) dans différentes populations (domaines).
Données Disponibles Pendant l'Entraînement
Les problèmes d'adaptation de domaine supposent généralement que certaines données du domaine cible sont disponibles pendant l'entraînement. Les problèmes peuvent être classifiés selon le type de ces données disponibles :
Non supervisé : Des données non étiquetées du domaine cible sont disponibles, mais aucune donnée étiquetée. Dans l'exemple du filtrage du spam, cela correspond au cas où les courriels du domaine cible (utilisateur) sont disponibles, mais ils ne sont pas étiquetés comme spam. Les méthodes d'adaptation de domaine peuvent bénéficier de telles données non étiquetées en comparant leur distribution (schémas) avec les données étiquetées du domaine source.
Semi-supervisé : La plupart des données disponibles du domaine cible sont non étiquetées, mais certaines données étiquetées sont également disponibles. Dans le cas de la conception du filtre anti-spam, cela correspond à l'utilisateur cible ayant étiqueté certains courriels comme spam ou non.
Supervisé : Toutes les données disponibles du domaine cible sont étiquetées. Dans ce cas, l'adaptation de domaine se réduit à un raffinement du prédicteur du domaine source. Par exemple, dans la classification de la couleur des cheveux à partir d'images, cela pourrait correspondre au raffinement d'un réseau déjà entraîné sur un grand ensemble de données d'images étiquetées d'Italie, en utilisant de nouvelles images étiquetées de Norvège.
Formalisation
Soit \(X\) l'espace d'entrée (ou espace de description) et \(Y\) l'espace de sortie (ou espace d'étiquettes). L'objectif d'un algorithme d'apprentissage automatique est d'apprendre un modèle mathématique (une hypothèse) \(h: X \to Y\) capable d'attacher une étiquette de \(Y\) à un exemple de \(X\). Ce modèle est appris à partir d'un échantillon d'apprentissage \(S = \{(x_i, y_i) \in (X \times Y)\}_{i=1}^m\).
Habituellement, dans l'apprentissage supervisé (sans adaptation de domaine), nous supposons que les exemples \((x_i, y_i) \in S\) sont tirés i.i.d. d'une distribution \(D_S\) de support \(X \times Y\) (inconnue et fixe). L'objectif est alors d'apprendre \(h\) (à partir de \(S\)) tel qu'il commette la moindre erreur possible pour étiqueter de nouveaux exemples provenant de la distribution \(D_S\).
La principale différence entre l'apprentissage supervisé et l'adaptation de domaine est que dans cette dernière situation, nous étudions deux distributions différentes (mais liées) \(D_S\) et \(D_T\) sur \(X \times Y\). La tâche d'adaptation de domaine consiste alors au transfert de connaissances du domaine source \(D_S\) vers le domaine cible \(D_T\).
Approches et Techniques
Les méthodes d'adaptation de domaine peuvent être largement catégorisées en plusieurs approches, bien que le domaine soit diversifié et en évolution. Une approche courante est le rééchantillonnage d'instances, où les exemples d'entraînement du domaine source sont pondérés pour mieux correspondre à la distribution cible, souvent en utilisant l'échantillonnage d'importance. Une autre est l'apprentissage de représentations de caractéristiques, qui vise à apprendre un espace de caractéristiques partagé où les distributions source et cible sont alignées, réduisant le décalage de domaine. Cela peut être réalisé par des techniques comme l'entraînement adversarial, où un discriminateur tente de distinguer les caractéristiques source et cible, et l'extracteur de caractéristiques est entraîné pour le tromper. L'auto-étiquetage itératif est une autre technique, où un modèle entraîné sur le domaine source est utilisé pour générer des pseudo-étiquettes pour les données cibles, qui sont ensuite incorporées dans l'entraînement, souvent de manière itérative.
Dans le contexte de l'apprentissage profond, l'adaptation de domaine exploite souvent les architectures de réseaux de neurones. Par exemple, les modèles de réseaux résiduels peuvent être adaptés par un ajustement fin sur les données cibles. Le choix des fonctions de perte et des méthodes d'optimisation, telles que l'optimiseur Adam ou les variantes de SGD, peut également influencer la performance d'adaptation. De plus, les techniques de augmentation de données peuvent aider à simuler des variations similaires à la cible pendant l'entraînement.
Applications
L'adaptation de domaine a des applications pratiques dans de nombreux domaines. En vision par ordinateur, les modèles entraînés sur des images synthétiques (par exemple, des scènes rendues) peuvent être adaptés à des images du monde réel, ce qui est crucial pour des applications comme la conduite autonome, où les données réelles étiquetées sont rares. En traitement du langage naturel, les classifieurs de sentiment entraînés sur des avis de produits d'un domaine (par exemple, les livres) peuvent être adaptés à un autre (par exemple, l'électronique). En reconnaissance vocale, les modèles acoustiques entraînés sur un locuteur ou un environnement peuvent être adaptés à de nouveaux locuteurs ou à des conditions bruyantes. En imagerie médicale, les modèles entraînés sur des images d'un équipement d'un hôpital peuvent être adaptés à un scanner différent d'un autre hôpital, car les distributions de données peuvent changer en raison des variations des protocoles d'imagerie.
Défis et Limitations
Malgré sa promesse, l'adaptation de domaine fait face à plusieurs défis. Un problème majeur est le transfert négatif, où le processus d'adaptation dégrade la performance sur le domaine cible, souvent parce que les domaines source et cible sont trop dissimilaires ou que la méthode d'adaptation est inappropriée. Un autre défi est le manque de données cibles étiquetées, surtout dans les contextes non supervisés, ce qui rend difficile la validation du modèle adapté. De plus, le décalage de distribution peut être complexe, impliquant plusieurs types de décalages simultanément, ce qui rend difficile de l'aborder avec une seule technique. Les garanties théoriques pour l'adaptation de domaine sont souvent limitées, et de nombreuses méthodes reposent sur des heuristiques qui peuvent ne pas se généraliser à différents problèmes.
Relation avec d'Autres Domaines
L'adaptation de domaine est étroitement liée au transfert d'apprentissage, mais elle est plus spécifique : le transfert d'apprentissage englobe tout scénario où les connaissances d'une tâche ou d'un domaine sont utilisées pour améliorer l'apprentissage dans un autre, tandis que l'adaptation de domaine se concentre sur le cas où les tâches sont identiques mais les domaines diffèrent. Elle croise également l'apprentissage semi-supervisé, car de nombreuses méthodes d'adaptation de domaine utilisent des données cibles non étiquetées. De plus, l'adaptation de domaine est pertinente pour l'apprentissage multi-tâches, où des modèles sont entraînés sur plusieurs tâches liées simultanément, et pour le méta-apprentissage, qui vise à apprendre des modèles capables de s'adapter rapidement à de nouvelles tâches ou domaines.
Directions Futures
La recherche en adaptation de domaine continue d'évoluer, avec des tendances incluant l'adaptation de domaine non supervisée utilisant des modèles génératifs, la généralisation de domaine (où aucune donnée cible n'est disponible pendant l'entraînement), et l'adaptation de domaine continue pour les environnements non stationnaires. L'essor des modèles de langage de grande taille et des architectures de transformeurs a également ouvert de nouvelles voies, comme l'adaptation de modèles à de nouvelles langues ou domaines avec un ajustement fin minimal. Alors que les systèmes d'intelligence artificielle sont déployés dans des contextes réels de plus en plus diversifiés, l'adaptation de domaine reste un domaine critique pour garantir la robustesse et la fiabilité.