Adaptação de domínio é um campo associado ao aprendizado de máquina e ao aprendizado por transferência. Ele aborda o desafio de treinar um modelo em uma distribuição de dados, chamada de domínio de origem, e aplicá-lo a uma distribuição de dados relacionada, mas diferente, chamada de domínio de destino. Um exemplo comum é a filtragem de spam, em que um modelo treinado em e-mails de um usuário (domínio de origem) é adaptado para lidar com e-mails de outro usuário com padrões significativamente diferentes (domínio de destino). Técnicas de adaptação de domínio também podem aproveitar fontes de dados não relacionadas para melhorar o aprendizado, e quando múltiplas distribuições de origem estão envolvidas, o problema se estende à adaptação de domínio multi-fonte.
A adaptação de domínio é um tipo específico de aprendizado por transferência. De acordo com a taxonomia estabelecida por Pan e Yang (2010), ela se enquadra na categoria de aprendizado por transferência transdutivo. Nesse cenário, as tarefas de origem e destino são as mesmas (por exemplo, ambas são reconhecimento de objetos), mas os domínios diferem em suas distribuições marginais. Isso a distingue do aprendizado por transferência indutivo, em que dados rotulados estão disponíveis para a tarefa de destino, e do aprendizado por transferência não supervisionado, em que rótulos não estão disponíveis em ambos os domínios.
Classificação de Problemas de Adaptação de Domínio
Os cenários de adaptação de domínio são classificados de duas maneiras: de acordo com a mudança de distribuição entre os domínios e de acordo com os dados disponíveis do domínio de destino.
Mudanças de Distribuição
As mudanças de distribuição comuns são classificadas da seguinte forma:
Mudança de Covariável ocorre quando as distribuições de entrada da origem e do destino mudam, mas a relação entre entradas e rótulos permanece inalterada. O exemplo de filtragem de spam normalmente se enquadra nesta categoria: as distribuições (padrões) de e-mails podem diferir entre domínios, mas e-mails rotulados como spam em um domínio devem ser rotulados de forma semelhante em outro.
Mudança de Prior (Mudança de Rótulo) ocorre quando a distribuição de rótulos difere entre os conjuntos de dados de origem e destino, enquanto a distribuição condicional das características dado os rótulos permanece a mesma. Um exemplo é um classificador de cor de cabelo em imagens da Itália (domínio de origem) e da Noruega (domínio de destino). As proporções de cores de cabelo (rótulos) diferem, mas as imagens dentro de classes como populações loiras e de cabelos pretos permanecem consistentes entre os domínios. Um classificador para a população norueguesa pode explorar esse conhecimento prévio das proporções de classes para melhorar suas estimativas.
Mudança de Conceito (Mudança Condicional) refere-se a mudanças na relação entre características e rótulos, mesmo que a distribuição de entrada permaneça a mesma. Por exemplo, no diagnóstico médico, os mesmos sintomas (entradas) podem indicar doenças completamente diferentes (rótulos) em populações diferentes (domínios).
Dados Disponíveis Durante o Treinamento
Problemas de adaptação de domínio normalmente assumem que alguns dados do domínio de destino estão disponíveis durante o treinamento. Os problemas podem ser classificados de acordo com o tipo desses dados disponíveis:
Não supervisionado: Dados não rotulados do domínio de destino estão disponíveis, mas nenhum dado rotulado. No exemplo de filtragem de spam, isso corresponde ao caso em que e-mails do domínio de destino (usuário) estão disponíveis, mas não são rotulados como spam. Métodos de adaptação de domínio podem se beneficiar desses dados não rotulados comparando sua distribuição (padrões) com os dados rotulados do domínio de origem.
Semi-supervisionado: A maioria dos dados disponíveis do domínio de destino é não rotulada, mas alguns dados rotulados também estão disponíveis. No caso do projeto de filtro de spam, isso corresponde ao usuário de destino ter rotulado alguns e-mails como spam ou não.
Supervisionado: Todos os dados disponíveis do domínio de destino são rotulados. Nesse caso, a adaptação de domínio se reduz ao refinamento do preditor do domínio de origem. Por exemplo, na classificação de cor de cabelo a partir de imagens, isso poderia corresponder ao refinamento de uma rede já treinada em um grande conjunto de dados de imagens rotuladas da Itália, usando novas imagens rotuladas disponíveis da Noruega.
Formalização
Seja \(X\) o espaço de entrada (ou espaço de descrição) e \(Y\) o espaço de saída (ou espaço de rótulos). O objetivo de um algoritmo de aprendizado de máquina é aprender um modelo matemático (uma hipótese) \(h: X \to Y\) capaz de atribuir um rótulo de \(Y\) a um exemplo de \(X\). Este modelo é aprendido a partir de uma amostra de aprendizado \(S = \{(x_i, y_i) \in (X \times Y)\}_{i=1}^m\).
Geralmente, no aprendizado supervisionado (sem adaptação de domínio), supomos que os exemplos \((x_i, y_i) \in S\) são extraídos i.i.d. de uma distribuição \(D_S\) de suporte \(X \times Y\) (desconhecida e fixa). O objetivo é então aprender \(h\) (a partir de \(S\)) de modo que ele cometa o menor erro possível ao rotular novos exemplos provenientes da distribuição \(D_S\).
A principal diferença entre aprendizado supervisionado e adaptação de domínio é que, nesta última situação, estudamos duas distribuições diferentes (mas relacionadas) \(D_S\) e \(D_T\) em \(X \times Y\). A tarefa de adaptação de domínio consiste então na transferência de conhecimento do domínio de origem \(D_S\) para o domínio de destino \(D_T\).
Abordagens e Técnicas
Os métodos de adaptação de domínio podem ser amplamente categorizados em várias abordagens, embora o campo seja diverso e esteja em evolução. Uma abordagem comum é a reponderação de instâncias, em que exemplos de treinamento do domínio de origem são ponderados para melhor corresponder à distribuição de destino, frequentemente usando amostragem por importância. Outra é a aprendizagem de representação de características, que visa aprender um espaço de características compartilhado onde as distribuições de origem e destino são alinhadas, reduzindo a mudança de domínio. Isso pode ser alcançado por meio de técnicas como treinamento adversarial, em que um discriminador tenta distinguir entre características de origem e destino, e o extrator de características é treinado para enganá-lo. A auto-rotulação iterativa é outra técnica, em que um modelo treinado no domínio de origem é usado para gerar pseudo-rótulos para dados de destino, que são então incorporados ao treinamento, frequentemente de forma iterativa.
No contexto do aprendizado profundo, a adaptação de domínio frequentemente aproveita arquiteturas de redes neurais. Por exemplo, modelos de rede residual podem ser adaptados por ajuste fino em dados de destino. A escolha de funções de perda e métodos de otimização, como otimizador Adam ou variantes de SGD, também pode influenciar o desempenho da adaptação. Além disso, técnicas de aumento de dados podem ajudar a simular variações semelhantes às do destino durante o treinamento.
Aplicações
A adaptação de domínio tem aplicações práticas em muitos campos. Na visão computacional, modelos treinados em imagens sintéticas (por exemplo, cenas renderizadas) podem ser adaptados para imagens do mundo real, o que é crucial para aplicações como direção autônoma, onde dados reais rotulados são escassos. No processamento de linguagem natural, classificadores de sentimento treinados em avaliações de produtos de um domínio (por exemplo, livros) podem ser adaptados para outro (por exemplo, eletrônicos). No reconhecimento de fala, modelos acústicos treinados em um falante ou ambiente podem ser adaptados para novos falantes ou condições ruidosas. Na imagiologia médica, modelos treinados em imagens de equipamentos de um hospital podem ser adaptados para um scanner diferente de outro hospital, pois as distribuições de dados podem mudar devido a variações nos protocolos de imagem.
Desafios e Limitações
Apesar de sua promessa, a adaptação de domínio enfrenta vários desafios. Uma questão importante é a transferência negativa, em que o processo de adaptação degrada o desempenho no domínio de destino, frequentemente porque os domínios de origem e destino são muito diferentes ou o método de adaptação é inadequado. Outro desafio é a falta de dados rotulados de destino, especialmente em cenários não supervisionados, o que dificulta a validação do modelo adaptado. Além disso, a mudança de distribuição pode ser complexa, envolvendo múltiplos tipos de mudanças simultaneamente, tornando difícil abordá-la com uma única técnica. As garantias teóricas para adaptação de domínio são frequentemente limitadas, e muitos métodos dependem de heurísticas que podem não generalizar para diferentes problemas.
Relação com Outros Campos
A adaptação de domínio está intimamente relacionada ao aprendizado por transferência, mas é mais específica: o aprendizado por transferência abrange qualquer cenário em que o conhecimento de uma tarefa ou domínio é usado para melhorar o aprendizado em outro, enquanto a adaptação de domínio se concentra no caso em que as tarefas são as mesmas, mas os domínios diferem. Ela também se cruza com o aprendizado semi-supervisionado, pois muitos métodos de adaptação de domínio usam dados não rotulados de destino. Além disso, a adaptação de domínio é relevante para o aprendizado multi-tarefa, em que modelos são treinados em múltiplas tarefas relacionadas simultaneamente, e para o meta-aprendizado, que visa aprender modelos que possam se adaptar rapidamente a novas tarefas ou domínios.
Direções Futuras
A pesquisa em adaptação de domínio continua a evoluir, com tendências incluindo adaptação de domínio não supervisionada usando modelos generativos, generalização de domínio (em que nenhum dado de destino está disponível durante o treinamento) e adaptação de domínio contínua para ambientes não estacionários. O surgimento de modelos de linguagem de grande escala e arquiteturas transformers também abriu novos caminhos, como adaptar modelos a novos idiomas ou domínios com ajuste fino mínimo. À medida que os sistemas de inteligência artificial são implantados em ambientes do mundo real cada vez mais diversos, a adaptação de domínio permanece uma área crítica para garantir robustez e confiabilidade.