ドメイン適応は、機械学習および転移学習に関連する分野である。これは、ソースドメインと呼ばれるあるデータ分布でモデルを訓練し、それを関連するが異なるデータ分布であるターゲットドメインに適用するという課題に対処するものである。一般的な例としてはスパムフィルタリングがあり、あるユーザーのメール（ソースドメイン）で訓練されたモデルが、著しく異なるパターンを持つ別のユーザーのメール（ターゲットドメイン）を処理するように適応される。ドメイン適応の手法は、無関係なデータソースを活用して学習を改善することもでき、複数のソース分布が関与する場合、問題はマルチソースドメイン適応に拡張される。
ドメイン適応は、転移学習の特定のタイプである。Pan and Yang (2010) によって示された分類法によれば、これはトランスダクティブ転移学習のカテゴリに分類される。この設定では、ソースタスクとターゲットタスクは同一（例えば、両方とも物体認識）であるが、ドメインはその周辺分布において異なる。これは、ターゲットタスク用のラベル付きデータが利用可能な帰納的転移学習や、両ドメインでラベルが利用できない教師なし転移学習とは区別される。
ドメイン適応問題の分類
ドメイン適応の設定は、ドメイン間の分布シフトと、ターゲットドメインから利用可能なデータの2つの方法で分類される。
分布シフト
一般的な分布シフトは以下のように分類される：
共変量シフトは、ソースとターゲットの入力分布が変化するが、入力とラベルの関係は不変のままである場合に発生する。スパムフィルタリングの例は典型的にこのカテゴリに該当する：メールの分布（パターン）はドメイン間で異なるかもしれないが、あるドメインでスパムとラベル付けされたメールは、別のドメインでも同様にラベル付けされるべきである。
事前シフト（ラベルシフト）は、ソースとターゲットのデータセット間でラベル分布が異なるが、ラベルが与えられた場合の特徴の条件付き分布は同じままである場合に発生する。例としては、イタリア（ソースドメイン）とノルウェー（ターゲットドメイン）の画像における髪の色の分類器がある。髪の色（ラベル）の割合は異なるが、ブロンドや黒髪の集団などのクラス内の画像はドメイン間で一貫している。ノルウェー人口の分類器は、このクラス割合の事前知識を活用して推定を改善できる。
概念シフト（条件付きシフト）は、入力分布が同じままでも、特徴とラベルの関係が変化することを指す。例えば、医学診断では、同じ症状（入力）が異なる集団（ドメイン）ではまったく異なる疾患（ラベル）を示す可能性がある。
訓練中に利用可能なデータ
ドメイン適応問題は通常、訓練中にターゲットドメインからのデータがいくつか利用可能であると想定する。問題は、この利用可能なデータのタイプに応じて分類できる：
教師なし：ターゲットドメインからのラベルなしデータは利用可能であるが、ラベル付きデータはない。スパムフィルタリングの例では、これはターゲットドメイン（ユーザー）からのメールが利用可能であるが、スパムとしてラベル付けされていない場合に相当する。ドメイン適応手法は、その分布（パターン）をラベル付きソースドメインデータと比較することで、このようなラベルなしデータから恩恵を受けることができる。
半教師あり：ターゲットドメインから利用可能なデータのほとんどはラベルなしであるが、いくつかのラベル付きデータも利用可能である。スパムフィルタ設計の場合、これはターゲットユーザーが一部のメールをスパムかどうかラベル付けしたことに相当する。
教師あり：ターゲットドメインから利用可能なすべてのデータがラベル付きである。この場合、ドメイン適応はソースドメイン予測器の改良に帰着する。例えば、画像からの髪の色分類では、イタリアのラベル付き画像の大規模データセットで既に訓練されたネットワークを、ノルウェーから新たに利用可能になったラベル付き画像を用いて改良することに相当する。
形式化
\(X\) を入力空間（または記述空間）、\(Y\) を出力空間（またはラベル空間）とする。機械学習アルゴリズムの目的は、\(X\) からの例に \(Y\) からのラベルを付けることができる数学モデル（仮説）\(h: X \to Y\) を学習することである。このモデルは、学習サンプル \(S = \{(x_i, y_i) \in (X \times Y)\}_{i=1}^m\) から学習される。
通常の教師あり学習（ドメイン適応なし）では、\(S\) 内の例 \((x_i, y_i)\) が、サポート \(X \times Y\) を持つ分布 \(D_S\)（未知かつ固定）からi.i.d.に抽出されると仮定する。目的は、\(D_S\) から来る新しい例にラベルを付ける際に可能な限り誤りを少なくするように、\(h\) を（\(S\) から）学習することである。
教師あり学習とドメイン適応の主な違いは、後者の状況では、\(X \times Y\) 上の2つの異なる（しかし関連する）分布 \(D_S\) と \(D_T\) を研究することである。ドメイン適応タスクは、ソースドメイン \(D_S\) からターゲットドメイン \(D_T\) への知識の転送から構成される。
アプローチと技法
ドメイン適応手法は、いくつかのアプローチに大別できるが、この分野は多様で進化し続けている。一般的なアプローチの1つはインスタンス再重み付けであり、ソースドメインからの訓練例に、ターゲット分布により適合するように重みを付けるもので、しばしば重要度サンプリングを用いる。もう1つは特徴表現学習であり、ソースとターゲットの分布が整列される共有特徴空間を学習することを目的とし、ドメインシフトを低減する。これは、敵対的訓練などの技法を通じて達成でき、識別器がソースとターゲットの特徴を区別しようと試み、特徴抽出器がそれを欺くように訓練される。反復的自己ラベリングも別の技法であり、ソースドメインで訓練されたモデルを使用してターゲットデータの擬似ラベルを生成し、それを訓練に組み込み、しばしば反復的に行う。
深層学習の文脈では、ドメイン適応はしばしばニューラルネットワークアーキテクチャを活用する。例えば、残差ネットワークモデルは、ターゲットデータでの微調整によって適応できる。損失関数やAdamオプティマイザやSGDの変種などの最適化手法の選択も、適応性能に影響を与える可能性がある。さらに、データ拡張技法は、訓練中にターゲットに似た変動をシミュレートするのに役立つ。
応用
ドメイン適応は、多くの分野で実用的な応用がある。コンピュータビジョンでは、合成画像（例えば、レンダリングされたシーン）で訓練されたモデルを実世界の画像に適応でき、これはラベル付き実データが乏しい自動運転などのアプリケーションにとって重要である。自然言語処理では、あるドメイン（例えば、書籍）の製品レビューで訓練された感情分類器を別のドメイン（例えば、家電）に適応できる。音声認識では、ある話者や環境で訓練された音響モデルを、新しい話者やノイズの多い条件に適応できる。医用画像では、ある病院の機器で訓練されたモデルを、別の病院の異なるスキャナに適応でき、画像化プロトコルの変動によりデータ分布がシフトする可能性がある。
課題と限界
その有望性にもかかわらず、ドメイン適応はいくつかの課題に直面している。主要な問題の1つは負の転移であり、適応プロセスがターゲットドメインでの性能を低下させる。これは多くの場合、ソースとターゲットのドメインが類似しすぎていないか、適応手法が不適切であるために発生する。もう1つの課題は、特に教師なし設定でのラベル付きターゲットデータの不足であり、適応モデルを検証することを困難にする。さらに、分布シフトは複雑であり、複数のタイプのシフトが同時に関与する可能性があり、単一の技法で対処することを困難にする。ドメイン適応の理論的保証はしばしば限られており、多くの手法は異なる問題に一般化しない可能性のあるヒューリスティックに依存している。
他の分野との関係
ドメイン適応は転移学習と密接に関連しているが、より特定的である：転移学習は、あるタスクやドメインからの知識が別のタスクでの学習を改善するために使用されるあらゆるシナリオを包含する一方、ドメイン適応はタスクが同じであるがドメインが異なる場合に焦点を当てる。また、多くのドメイン適応手法がラベルなしターゲットデータを使用するため、半教師あり学習とも交差する。さらに、ドメイン適応は、複数の関連タスクでモデルを同時に訓練するマルチタスク学習や、新しいタスクやドメインに迅速に適応できるモデルを学習することを目的とするメタ学習にも関連する。
将来の方向性
ドメイン適応の研究は進化し続けており、生成的モデルを用いた教師なしドメイン適応、ドメイン一般化（訓練中にターゲットデータが利用できない場合）、非定常環境のための継続的ドメイン適応などのトレンドがある。大規模言語モデルやトランスフォーマーアーキテクチャの台頭は、最小限の微調整でモデルを新しい言語やドメインに適応させるなどの新たな道を開いた。人工知能システムがますます多様な実世界の設定で展開されるにつれて、ドメイン適応は堅牢性と信頼性を確保するための重要な領域であり続けている。