Domain Adaptation ist ein Forschungsfeld, das mit Machine learning und Transfer Learning verbunden ist. Es befasst sich mit der Herausforderung, ein Modell auf einer Datenverteilung zu trainieren, die als Quelldomäne bezeichnet wird, und es auf eine verwandte, aber unterschiedliche Datenverteilung anzuwenden, die als Zieldomäne bezeichnet wird. Ein häufiges Beispiel ist die Spam-Filterung, bei der ein Modell, das auf E-Mails eines Benutzers (Quelldomäne) trainiert wurde, angepasst wird, um E-Mails für einen anderen Benutzer mit deutlich unterschiedlichen Mustern (Zieldomäne) zu verarbeiten. Techniken der Domain Adaptation können auch unabhängige Datenquellen nutzen, um das Lernen zu verbessern, und wenn mehrere Quellverteilungen beteiligt sind, erweitert sich das Problem zur Multi-Source-Domain-Adaptation.
Domain Adaptation ist eine spezifische Art des Transfer Learning. Gemäß der von Pan und Yang (2010) aufgestellten Taxonomie fällt sie in die Kategorie des transduktiven Transfer Learning. In diesem Setting sind die Quell- und Zielaufgaben identisch (z. B. beide Objekterkennung), aber die Domänen unterscheiden sich in ihren Randverteilungen. Dies unterscheidet sie vom induktiven Transfer Learning, bei dem beschriftete Daten für die Zielaufgabe verfügbar sind, und vom unüberwachten Transfer Learning, bei dem in beiden Domänen keine Beschriftungen verfügbar sind.
Klassifikation von Domain-Adaptation-Problemen
Domain-Adaptation-Setups werden auf zwei Arten klassifiziert: nach der Verteilungsverschiebung zwischen den Domänen und nach den verfügbaren Daten aus der Zieldomäne.
Verteilungsverschiebungen
Häufige Verteilungsverschiebungen werden wie folgt klassifiziert:
Kovariatenverschiebung tritt auf, wenn sich die Eingabeverteilungen von Quelle und Ziel ändern, aber die Beziehung zwischen Eingaben und Beschriftungen unverändert bleibt. Das Beispiel der Spam-Filterung fällt typischerweise in diese Kategorie: Die Verteilungen (Muster) von E-Mails können sich zwischen Domänen unterscheiden, aber E-Mails, die in einer Domäne als Spam gekennzeichnet sind, sollten in einer anderen ähnlich gekennzeichnet werden.
Priorverschiebung (Labelverschiebung) tritt auf, wenn sich die Beschriftungsverteilung zwischen Quell- und Zieldatensatz unterscheidet, während die bedingte Verteilung der Merkmale gegeben der Beschriftungen gleich bleibt. Ein Beispiel ist ein Klassifikator für Haarfarben in Bildern aus Italien (Quelldomäne) und Norwegen (Zieldomäne). Die Anteile der Haarfarben (Beschriftungen) unterscheiden sich, aber Bilder innerhalb von Klassen wie blonden und schwarzhaarigen Populationen bleiben über Domänen hinweg konsistent. Ein Klassifikator für die norwegische Bevölkerung kann dieses Vorwissen über Klassenanteile nutzen, um seine Schätzungen zu verbessern.
Konzeptverschiebung (Bedingte Verschiebung) bezieht sich auf Änderungen in der Beziehung zwischen Merkmalen und Beschriftungen, selbst wenn die Eingabeverteilung gleich bleibt. Beispielsweise können in der medizinischen Diagnose dieselben Symptome (Eingaben) in verschiedenen Populationen (Domänen) völlig unterschiedliche Krankheiten (Beschriftungen) anzeigen.
Während des Trainings verfügbare Daten
Domain-Adaptation-Probleme nehmen typischerweise an, dass während des Trainings einige Daten aus der Zieldomäne verfügbar sind. Probleme können nach der Art dieser verfügbaren Daten klassifiziert werden:
Unüberwacht: Unbeschriftete Daten aus der Zieldomäne sind verfügbar, aber keine beschrifteten Daten. Im Beispiel der Spam-Filterung entspricht dies dem Fall, dass E-Mails aus der Zieldomäne (Benutzer) verfügbar sind, aber nicht als Spam beschriftet sind. Domain-Adaptation-Methoden können von solchen unbeschrifteten Daten profitieren, indem sie deren Verteilung (Muster) mit den beschrifteten Quelldomänendaten vergleichen.
Teilüberwacht: Die meisten Daten aus der Zieldomäne sind unbeschriftet, aber einige beschriftete Daten sind ebenfalls verfügbar. Im Fall des Spam-Filter-Designs entspricht dies dem Fall, dass der Zielbenutzer einige E-Mails als Spam oder nicht beschriftet hat.
Überwacht: Alle verfügbaren Daten aus der Zieldomäne sind beschriftet. In diesem Fall reduziert sich die Domain Adaptation auf die Verfeinerung des Prädiktors der Quelldomäne. Beispielsweise könnte dies bei der Haarfarbenklassifikation aus Bildern der Verfeinerung eines Netzwerks entsprechen, das bereits auf einem großen Datensatz beschrifteter Bilder aus Italien trainiert wurde, unter Verwendung neu verfügbarer beschrifteter Bilder aus Norwegen.
Formalisierung
Sei \(X\) der Eingaberaum (oder Beschreibungsraum) und \(Y\) der Ausgaberaum (oder Beschriftungsraum). Das Ziel eines maschinellen Lernalgorithmus ist es, ein mathematisches Modell (eine Hypothese) \(h: X \to Y\) zu lernen, das in der Lage ist, einem Beispiel aus \(X\) eine Beschriftung aus \(Y\) zuzuordnen. Dieses Modell wird aus einer Lernstichprobe \(S = \{(x_i, y_i) \in (X \times Y)\}_{i=1}^m\) gelernt.
Normalerweise wird im überwachten Lernen (ohne Domain Adaptation) angenommen, dass die Beispiele \((x_i, y_i) \in S\) i.i.d. aus einer Verteilung \(D_S\) mit Träger \(X \times Y\) (unbekannt und fest) gezogen werden. Das Ziel ist dann, \(h\) (aus \(S\)) so zu lernen, dass es den geringstmöglichen Fehler bei der Beschriftung neuer Beispiele aus der Verteilung \(D_S\) begeht.
Der Hauptunterschied zwischen überwachtem Lernen und Domain Adaptation besteht darin, dass in letzterer Situation zwei verschiedene (aber verwandte) Verteilungen \(D_S\) und \(D_T\) auf \(X \times Y\) untersucht werden. Die Domain-Adaptation-Aufgabe besteht dann aus der Übertragung von Wissen von der Quelldomäne \(D_S\) auf die Zieldomäne \(D_T\).
Ansätze und Techniken
Domain-Adaptation-Methoden können grob in mehrere Ansätze kategorisiert werden, obwohl das Feld vielfältig und sich entwickelnd ist. Ein häufiger Ansatz ist Instanzgewichtung, bei der Trainingsbeispiele aus der Quelldomäne gewichtet werden, um besser zur Zielverteilung zu passen, oft unter Verwendung von Importance Sampling. Ein anderer ist Merkmalsrepräsentationslernen, das darauf abzielt, einen gemeinsamen Merkmalsraum zu lernen, in dem die Quell- und Zielverteilungen ausgerichtet sind, wodurch die Domänenverschiebung reduziert wird. Dies kann durch Techniken wie adversariales Training erreicht werden, bei dem ein Diskriminator versucht, zwischen Quell- und Zielmerkmalen zu unterscheiden, und der Merkmalsextraktor trainiert wird, ihn zu täuschen. Iterative Selbstbeschriftung ist eine weitere Technik, bei der ein auf der Quelldomäne trainiertes Modell verwendet wird, um Pseudo-Beschriftungen für Zieldaten zu generieren, die dann in das Training einbezogen werden, oft iterativ.
Im Kontext von Deep learning nutzt Domain Adaptation oft Neural network-Architekturen. Beispielsweise können Residual Network (ResNet)-Modelle durch Feinabstimmung auf Zieldaten angepasst werden. Die Wahl von Loss Functions und Optimierungsmethoden wie Adam (Optimizer) oder Stochastic Gradient Descent Variants kann ebenfalls die Anpassungsleistung beeinflussen. Darüber hinaus können Data Augmentation-Techniken helfen, zielähnliche Variationen während des Trainings zu simulieren.
Anwendungen
Domain Adaptation hat praktische Anwendungen in vielen Bereichen. In der Computer Vision können Modelle, die auf synthetischen Bildern (z. B. gerenderten Szenen) trainiert wurden, an reale Bilder angepasst werden, was für Anwendungen wie autonomes Fahren entscheidend ist, wo beschriftete reale Daten knapp sind. In der natürlichen Sprachverarbeitung können Sentiment-Klassifikatoren, die auf Produktbewertungen aus einer Domäne (z. B. Bücher) trainiert wurden, an eine andere (z. B. Elektronik) angepasst werden. In der Spracherkennung können akustische Modelle, die auf einem Sprecher oder einer Umgebung trainiert wurden, an neue Sprecher oder verrauschte Bedingungen angepasst werden. In der medizinischen Bildgebung können Modelle, die auf Bildern von Geräten eines Krankenhauses trainiert wurden, an ein anderes Krankenhaus mit einem anderen Scanner angepasst werden, da sich die Datenverteilungen aufgrund von Variationen in den Bildgebungsprotokollen verschieben können.
Herausforderungen und Einschränkungen
Trotz seines Potenzials steht die Domain Adaptation vor mehreren Herausforderungen. Ein Hauptproblem ist negativer Transfer, bei dem der Anpassungsprozess die Leistung auf der Zieldomäne verschlechtert, oft weil die Quell- und Zieldomänen zu unähnlich sind oder die Anpassungsmethode ungeeignet ist. Eine weitere Herausforderung ist der Mangel an beschrifteten Zieldaten, insbesondere in unüberwachten Einstellungen, was die Validierung des angepassten Modells erschwert. Darüber hinaus kann die Verteilungsverschiebung komplex sein und mehrere Arten von Verschiebungen gleichzeitig umfassen, was es schwierig macht, sie mit einer einzigen Technik zu adressieren. Die theoretischen Garantien für Domain Adaptation sind oft begrenzt, und viele Methoden stützen sich auf Heuristiken, die möglicherweise nicht über verschiedene Probleme hinweg verallgemeinern.
Beziehung zu anderen Feldern
Domain Adaptation ist eng mit Transfer Learning verwandt, aber spezifischer: Transfer Learning umfasst jedes Szenario, in dem Wissen aus einer Aufgabe oder Domäne verwendet wird, um das Lernen in einer anderen zu verbessern, während sich Domain Adaptation auf den Fall konzentriert, in dem die Aufgaben gleich sind, sich aber die Domänen unterscheiden. Sie überschneidet sich auch mit teilüberwachtem Lernen, da viele Domain-Adaptation-Methoden unbeschriftete Zieldaten verwenden. Darüber hinaus ist Domain Adaptation relevant für Multi-Task-Lernen, bei dem Modelle gleichzeitig auf mehreren verwandten Aufgaben trainiert werden, und für Meta-Lernen, das darauf abzielt, Modelle zu lernen, die sich schnell an neue Aufgaben oder Domänen anpassen können.
Zukünftige Richtungen
Die Forschung in der Domain Adaptation entwickelt sich weiter, mit Trends wie unüberwachter Domain Adaptation unter Verwendung generativer Modelle, Domain Generalization (bei der während des Trainings keine Zieldaten verfügbar sind) und kontinuierlicher Domain Adaptation für nicht-stationäre Umgebungen. Der Aufstieg von Large language models und Transformer (architecture)-Architekturen hat auch neue Wege eröffnet, wie die Anpassung von Modellen an neue Sprachen oder Domänen mit minimaler Feinabstimmung. Da Artificial intelligence-Systeme in zunehmend vielfältigen realen Umgebungen eingesetzt werden, bleibt Domain Adaptation ein kritisches Gebiet zur Gewährleistung von Robustheit und Zuverlässigkeit.