La adaptación de dominio es un campo asociado con el aprendizaje automático y el aprendizaje por transferencia. Aborda el desafío de entrenar un modelo en una distribución de datos, llamada dominio fuente, y aplicarlo a una distribución de datos relacionada pero diferente, llamada dominio objetivo. Un ejemplo común es el filtrado de spam, donde un modelo entrenado con correos electrónicos de un usuario (dominio fuente) se adapta para manejar correos de otro usuario con patrones significativamente diferentes (dominio objetivo). Las técnicas de adaptación de dominio también pueden aprovechar fuentes de datos no relacionadas para mejorar el aprendizaje, y cuando están involucradas múltiples distribuciones fuente, el problema se extiende a la adaptación de dominio multi-fuente.
La adaptación de dominio es un tipo específico de aprendizaje por transferencia. Según la taxonomía establecida por Pan y Yang (2010), se encuadra en la categoría de aprendizaje por transferencia transductivo. En este contexto, las tareas fuente y objetivo son las mismas (por ejemplo, ambas son reconocimiento de objetos), pero los dominios difieren en sus distribuciones marginales. Esto la distingue del aprendizaje por transferencia inductivo, donde hay datos etiquetados disponibles para la tarea objetivo, y del aprendizaje por transferencia no supervisado, donde las etiquetas no están disponibles en ninguno de los dominios.
Clasificación de los Problemas de Adaptación de Dominio
Los escenarios de adaptación de dominio se clasifican de dos maneras: según el cambio de distribución entre los dominios y según los datos disponibles del dominio objetivo.
Cambios de Distribución
Los cambios de distribución comunes se clasifican de la siguiente manera:
Cambio de covariable ocurre cuando las distribuciones de entrada de la fuente y el objetivo cambian, pero la relación entre entradas y etiquetas permanece sin cambios. El ejemplo de filtrado de spam típicamente cae en esta categoría: las distribuciones (patrones) de los correos pueden diferir entre dominios, pero los correos etiquetados como spam en un dominio deberían etiquetarse de manera similar en otro.
Cambio de prioridad (cambio de etiqueta) ocurre cuando la distribución de etiquetas difiere entre los conjuntos de datos fuente y objetivo, mientras que la distribución condicional de las características dadas las etiquetas permanece igual. Un ejemplo es un clasificador de color de cabello en imágenes de Italia (dominio fuente) y Noruega (dominio objetivo). Las proporciones de colores de cabello (etiquetas) difieren, pero las imágenes dentro de clases como poblaciones rubias y de cabello negro permanecen consistentes entre dominios. Un clasificador para la población noruega puede explotar este conocimiento previo de las proporciones de clases para mejorar sus estimaciones.
Cambio de concepto (cambio condicional) se refiere a cambios en la relación entre características y etiquetas, incluso si la distribución de entrada permanece igual. Por ejemplo, en el diagnóstico médico, los mismos síntomas (entradas) pueden indicar enfermedades completamente diferentes (etiquetas) en diferentes poblaciones (dominios).
Datos Disponibles Durante el Entrenamiento
Los problemas de adaptación de dominio típicamente asumen que algunos datos del dominio objetivo están disponibles durante el entrenamiento. Los problemas pueden clasificarse según el tipo de estos datos disponibles:
No supervisado: Datos no etiquetados del dominio objetivo están disponibles, pero no hay datos etiquetados. En el ejemplo de filtrado de spam, esto corresponde al caso donde los correos del dominio objetivo (usuario) están disponibles, pero no están etiquetados como spam. Los métodos de adaptación de dominio pueden beneficiarse de tales datos no etiquetados al comparar su distribución (patrones) con los datos etiquetados del dominio fuente.
Semi-supervisado: La mayoría de los datos disponibles del dominio objetivo no están etiquetados, pero algunos datos etiquetados también están disponibles. En el caso del diseño de filtros de spam, esto corresponde a que el usuario objetivo ha etiquetado algunos correos como spam o no.
Supervisado: Todos los datos disponibles del dominio objetivo están etiquetados. En este caso, la adaptación de dominio se reduce al refinamiento del predictor del dominio fuente. Por ejemplo, en la clasificación de color de cabello a partir de imágenes, esto podría corresponder a refinar una red ya entrenada con un gran conjunto de datos de imágenes etiquetadas de Italia, utilizando nuevas imágenes etiquetadas de Noruega.
Formalización
Sea \(X\) el espacio de entrada (o espacio de descripción) y \(Y\) el espacio de salida (o espacio de etiquetas). El objetivo de un algoritmo de aprendizaje automático es aprender un modelo matemático (una hipótesis) \(h: X \to Y\) capaz de asignar una etiqueta de \(Y\) a un ejemplo de \(X\). Este modelo se aprende a partir de una muestra de aprendizaje \(S = \{(x_i, y_i) \in (X \times Y)\}_{i=1}^m\).
Generalmente, en el aprendizaje supervisado (sin adaptación de dominio), suponemos que los ejemplos \((x_i, y_i) \in S\) se extraen de manera i.i.d. de una distribución \(D_S\) de soporte \(X \times Y\) (desconocida y fija). El objetivo es entonces aprender \(h\) (a partir de \(S\)) de modo que cometa el menor error posible al etiquetar nuevos ejemplos provenientes de la distribución \(D_S\).
La principal diferencia entre el aprendizaje supervisado y la adaptación de dominio es que en esta última situación estudiamos dos distribuciones diferentes (pero relacionadas) \(D_S\) y \(D_T\) en \(X \times Y\). La tarea de adaptación de dominio consiste entonces en la transferencia de conocimiento del dominio fuente \(D_S\) al dominio objetivo \(D_T\).
Enfoques y Técnicas
Los métodos de adaptación de dominio pueden categorizarse ampliamente en varios enfoques, aunque el campo es diverso y está en evolución. Un enfoque común es el reponderación de instancias, donde los ejemplos de entrenamiento del dominio fuente se ponderan para coincidir mejor con la distribución objetivo, a menudo utilizando muestreo por importancia. Otro es el aprendizaje de representaciones de características, que busca aprender un espacio de características compartido donde las distribuciones fuente y objetivo estén alineadas, reduciendo el cambio de dominio. Esto puede lograrse mediante técnicas como el entrenamiento adversarial, donde un discriminador intenta distinguir entre características fuente y objetivo, y el extractor de características se entrena para engañarlo. El auto-etiquetado iterativo es otra técnica, donde un modelo entrenado en el dominio fuente se utiliza para generar pseudo-etiquetas para los datos objetivo, que luego se incorporan al entrenamiento, a menudo de manera iterativa.
En el contexto del aprendizaje profundo, la adaptación de dominio a menudo aprovecha arquitecturas de redes neuronales. Por ejemplo, los modelos de redes residuales pueden adaptarse mediante el ajuste fino en datos objetivo. La elección de funciones de pérdida y métodos de optimización, como el optimizador Adam o variantes de SGD, también puede influir en el rendimiento de la adaptación. Además, las técnicas de aumento de datos pueden ayudar a simular variaciones similares a las del objetivo durante el entrenamiento.
Aplicaciones
La adaptación de dominio tiene aplicaciones prácticas en muchos campos. En visión por computadora, los modelos entrenados con imágenes sintéticas (por ejemplo, escenas renderizadas) pueden adaptarse a imágenes del mundo real, lo cual es crucial para aplicaciones como la conducción autónoma, donde los datos reales etiquetados son escasos. En procesamiento de lenguaje natural, los clasificadores de sentimiento entrenados con reseñas de productos de un dominio (por ejemplo, libros) pueden adaptarse a otro (por ejemplo, electrónica). En reconocimiento de voz, los modelos acústicos entrenados con un hablante o entorno pueden adaptarse a nuevos hablantes o condiciones ruidosas. En imágenes médicas, los modelos entrenados con imágenes de equipos de un hospital pueden adaptarse a escáneres diferentes de otro hospital, ya que las distribuciones de datos pueden cambiar debido a variaciones en los protocolos de imagen.
Desafíos y Limitaciones
A pesar de su promesa, la adaptación de dominio enfrenta varios desafíos. Un problema importante es la transferencia negativa, donde el proceso de adaptación degrada el rendimiento en el dominio objetivo, a menudo porque los dominios fuente y objetivo son demasiado disímiles o el método de adaptación es inapropiado. Otro desafío es la falta de datos objetivo etiquetados, especialmente en escenarios no supervisados, lo que dificulta validar el modelo adaptado. Además, el cambio de distribución puede ser complejo, involucrando múltiples tipos de cambios simultáneamente, lo que dificulta abordarlo con una sola técnica. Las garantías teóricas para la adaptación de dominio a menudo son limitadas, y muchos métodos dependen de heurísticas que pueden no generalizarse a diferentes problemas.
Relación con Otros Campos
La adaptación de dominio está estrechamente relacionada con el aprendizaje por transferencia, pero es más específica: el aprendizaje por transferencia abarca cualquier escenario donde el conocimiento de una tarea o dominio se utiliza para mejorar el aprendizaje en otro, mientras que la adaptación de dominio se centra en el caso donde las tareas son las mismas pero los dominios difieren. También se intersecta con el aprendizaje semi-supervisado, ya que muchos métodos de adaptación de dominio utilizan datos objetivo no etiquetados. Además, la adaptación de dominio es relevante para el aprendizaje multi-tarea, donde los modelos se entrenan en múltiples tareas relacionadas simultáneamente, y para el meta-aprendizaje, que busca aprender modelos que puedan adaptarse rápidamente a nuevas tareas o dominios.
Direcciones Futuras
La investigación en adaptación de dominio continúa evolucionando, con tendencias que incluyen la adaptación de dominio no supervisada utilizando modelos generativos, la generalización de dominio (donde no hay datos objetivo disponibles durante el entrenamiento) y la adaptación de dominio continua para entornos no estacionarios. El auge de los modelos de lenguaje grandes y las arquitecturas de transformadores también ha abierto nuevas vías, como adaptar modelos a nuevos idiomas o dominios con un ajuste fino mínimo. A medida que los sistemas de inteligencia artificial se despliegan en entornos del mundo real cada vez más diversos, la adaptación de dominio sigue siendo un área crítica para garantizar la robustez y la fiabilidad.