Mixup

Mixup est une technique d'augmentation de données utilisée pour entraîner des modèles d'apprentissage automatique, en particulier les réseaux neuronaux profonds. Elle génère des exemples d'entraînement synthétiques en formant des combinaisons convexes de paires d'échantillons d'entrée et de leurs étiquettes correspondantes encodées en one-hot. La méthode a été introduite dans un article de 2018 par Hongyi Zhang, Moustapha Cisse, Yann N. Dauphin et David Lopez-Paz, et est depuis devenue une stratégie de régularisation largement adoptée dans l'apprentissage profond. En encourageant les modèles à se comporter de manière linéaire entre les exemples d'entraînement, mixup réduit le sur-apprentissage et améliore la robustesse aux perturbations adverses et aux étiquettes corrompues.

L'idée centrale de mixup est simple : étant donné deux exemples d'entraînement (x_i, y_i) et (x_j, y_j), un nouvel exemple d'entraînement est créé comme x_tilde = lambda x_i + (1 - lambda) x_j et y_tilde = lambda y_i + (1 - lambda) y_j, où lambda est tiré d'une distribution bêta Beta(alpha, alpha) pour alpha > 0. L'hyperparamètre alpha contrôle la force de l'interpolation ; lorsque alpha s'approche de 0, mixup se réduit à la minimisation du risque empirique standard, tandis que des valeurs plus élevées produisent un mélange plus agressif. La méthode est peu coûteuse en calcul, ne nécessitant que quelques lignes de code pour être implémentée, et peut être appliquée à une large gamme de modalités de données, y compris les images, le texte et l'audio.

Mixup appartient à une famille plus large de techniques de régularisation qui comprend également le dropout, la décroissance du poids et la normalisation par lots. Contrairement à ces méthodes, qui modifient l'architecture du réseau ou la procédure d'optimisation, mixup opère directement sur l'espace des entrées et des étiquettes. Cette perspective unique a inspiré de nombreuses variantes et extensions, telles que CutMix, qui remplace une région rectangulaire d'une image par une autre, et Manifold Mixup, qui effectue une interpolation dans l'espace des caractéristiques cachées d'un réseau neuronal.

Fondements théoriques

La justification théorique de mixup s'appuie sur le concept de minimisation du risque vicinal (VRM), un cadre proposé par Olivier Chapelle et ses collègues en 2001. Dans la VRM, au lieu de minimiser le risque empirique sur les données d'entraînement, on minimise le risque sur une distribution vicinale qui attribue une masse de probabilité aux voisinages autour de chaque exemple d'entraînement. Mixup peut être vu comme une instanciation spécifique de la VRM où la distribution vicinale est définie par une interpolation linéaire entre des paires d'exemples.

Les chercheurs ont analysé mixup sous plusieurs angles. Une ligne de travail montre que mixup agit comme un régularisateur qui encourage la fonction apprise à avoir une constante de Lipschitz plus petite, ce qui signifie que de petits changements dans l'entrée entraînent de petits changements dans la sortie. Cette propriété est associée à une meilleure généralisation et à une meilleure robustesse. Une autre perspective relie mixup au lissage des étiquettes, car les étiquettes interpolées sont plus douces que les vecteurs one-hot originaux, ce qui peut réduire la surenchère de confiance dans les prédictions du modèle.

Des études empiriques ont démontré que mixup peut réduire la sensibilité des réseaux neuronaux aux exemples adverses, qui sont des entrées conçues pour tromper le modèle. En s'entraînant sur des combinaisons convexes d'entrées, le modèle apprend des frontières de décision plus linéaires et moins sujettes à des régions sur-apprises et abruptes. Cela a fait de mixup un composant courant dans les pipelines de robustesse adverse.

Applications en vision par ordinateur

Mixup a été largement appliqué dans les tâches de vision par ordinateur, y compris la classification d'images, la détection d'objets et la segmentation sémantique. En classification d'images, mixup est souvent utilisé comme remplacement direct des techniques d'augmentation de données standard telles que le recadrage aléatoire, le retournement et la variation de couleur. Il a été démontré qu'il améliore la précision top-1 sur des ensembles de données de référence comme CIFAR-10, CIFAR-100 et ImageNet, en particulier lors de l'entraînement de grands modèles avec des données limitées.

Pour la détection d'objets, mixup a été adapté pour gérer les annotations de boîtes englobantes. Une approche, connue sous le nom de MixUp pour la détection, interpole à la fois les images et les boîtes englobantes et étiquettes correspondantes, permettant au modèle d'apprendre à partir de scènes mélangées. Cela a été démontré pour améliorer les performances sur des ensembles de données comme COCO, en particulier pour les petits objets.

En segmentation sémantique, mixup a été utilisé pour générer des paires d'entraînement synthétiques qui combinent différents contextes de scène. Cela aide le modèle à généraliser à des combinaisons inédites d'objets et d'arrière-plans. Des variantes comme CutMix ont également été appliquées aux tâches de segmentation, où les régions mélangées sont soigneusement alignées avec les frontières des objets.

Applications en traitement du langage naturel

En traitement du langage naturel (NLP), mixup a été adapté pour fonctionner avec des données textuelles discrètes. Comme le texte ne peut pas être directement interpolé dans l'espace d'entrée, la plupart des approches appliquent mixup dans l'espace des plongements. Par exemple, les plongements de mots de deux phrases peuvent être moyennés ou combinés linéairement pour créer une représentation d'entrée synthétique. Cette technique, souvent appelée Embedding Mixup, a été appliquée à des tâches de classification de texte telles que l'analyse de sentiment et la catégorisation de sujets.

Une autre approche, appelée Sentence Mixup, opère sur les états cachés d'un modèle transformer. En interpolant les représentations cachées de deux phrases, le modèle peut apprendre des frontières de décision plus lisses dans l'espace des caractéristiques. Cela a été démontré pour améliorer les performances sur des tâches comme l'inférence en langage naturel et la détection de paraphrase.

Mixup a également été combiné avec de grands modèles de langage (LLM) pour l'augmentation de données dans des contextes à faibles ressources. Par exemple, dans les scénarios d'apprentissage en quelques exemples, mixup peut générer des exemples d'entraînement supplémentaires en interpolant entre les plongements d'exemples existants, aidant le modèle à généraliser à partir d'un petit nombre d'instances étiquetées. Cependant, l'application de mixup aux modèles génératifs reste un domaine de recherche actif, car l'interpolation de texte peut parfois produire des échantillons sémantiquement incohérents.

Variantes et extensions

Plusieurs variantes de mixup ont été proposées pour remédier à ses limites ou pour étendre son applicabilité. CutMix, introduit en 2019, remplace une région rectangulaire d'une image par un patch d'une autre image et ajuste l'étiquette proportionnellement à la surface du patch. Cette approche encourage le modèle à se concentrer sur les parties moins saillantes de l'image et a été démontrée pour surpasser mixup sur plusieurs références.

Manifold Mixup, proposé en 2018, effectue une interpolation dans les couches cachées d'un réseau neuronal plutôt que dans l'espace d'entrée. Cela permet au modèle d'apprendre des caractéristiques plus abstraites et invariantes, et a été démontré pour améliorer les performances sur des tâches comme l'adaptation de domaine et l'apprentissage semi-supervisé.

D'autres variantes notables incluent Puzzle Mix, qui utilise une approche basée sur la saillance pour mélanger les images de manière à préserver le contenu sémantique, et FMix, qui utilise un masquage dans le domaine de Fourier pour créer des motifs de mélange lisses. Il existe également des versions de mixup conçues pour des types de données spécifiques, comme le mixup audio pour la reconnaissance vocale et le mixup de graphes pour la classification de nœuds dans les réseaux neuronaux de graphes.

Implémentation et considérations pratiques

Implémenter mixup est simple dans la plupart des frameworks d'apprentissage profond. Dans PyTorch, par exemple, on peut échantillonner un lot de données, le permuter aléatoirement et calculer la combinaison convexe en utilisant un scalaire lambda tiré d'une distribution bêta. La perte est ensuite calculée en utilisant les étiquettes interpolées, qui sont généralement des cibles douces. Cela nécessite que la fonction de perte supporte les étiquettes douces, comme l'entropie croisée avec des cibles douces.

Une considération pratique est le choix de l'hyperparamètre alpha. Dans l'article original, les auteurs recommandent des valeurs d'alpha entre 0,1 et 0,4 pour les tâches de classification d'images, avec des valeurs plus élevées fournissant une régularisation plus forte. Cependant, l'alpha optimal peut varier en fonction de l'ensemble de données et de l'architecture du modèle, et il est souvent ajusté à l'aide d'un ensemble de validation.

Mixup peut être combiné avec d'autres techniques de régularisation, telles que le dropout et la décroissance du poids, pour améliorer encore la généralisation. Il est également compatible avec les calendriers de taux d'apprentissage et les optimiseurs comme SGD et Adam. En pratique, mixup est souvent appliqué uniquement pendant l'entraînement et est désactivé pendant l'inférence, car le modèle est évalué sur des données réelles.

Impact et réception

L'introduction de mixup a eu un impact significatif sur la communauté de l'apprentissage automatique. L'article original a été cité des milliers de fois et a inspiré un grand nombre de travaux de suivi. Mixup est désormais un outil standard dans la boîte à outils de nombreux praticiens, et il est inclus dans les bibliothèques et frameworks d'apprentissage profond populaires.

Mixup a également été adopté dans des contextes industriels. Par exemple, des chercheurs chez des entreprises comme Google, Meta et Amazon ont utilisé mixup pour améliorer la robustesse de leurs modèles en production. La technique est particulièrement appréciée pour sa simplicité et son efficacité, car elle nécessite des changements minimaux dans les pipelines d'entraînement existants.

Malgré son succès, mixup n'est pas sans limites. L'hypothèse de linéarité entre les exemples peut ne pas toujours tenir, en particulier pour des distributions de données complexes. Dans certains cas, mixup peut produire des exemples d'entraînement irréalistes qui nuisent aux performances. Les chercheurs ont abordé ces problèmes en développant des stratégies de mélange plus sophistiquées qui respectent la variété sous-jacente des données.

Relation avec d'autres techniques

Mixup est étroitement lié à d'autres méthodes d'augmentation de données et de régularisation. Il partage des similitudes avec le lissage des étiquettes, qui adoucit également les étiquettes cibles, mais mixup va plus loin en interpolant également les entrées. Il est également lié à l'entraînement adverse, car les deux méthodes visent à améliorer la robustesse, bien qu'elles opèrent de manières différentes.

Dans le contexte de l'Data Augmentation, mixup est l'une des nombreuses techniques utilisées pour augmenter la diversité des données d'entraînement. D'autres méthodes incluent le recadrage aléatoire, la rotation et la variation de couleur en vision par ordinateur, ainsi que la rétrotraduction et le remplacement de synonymes en NLP. Mixup est unique en ce sens qu'il crée de nouveaux exemples en combinant des exemples existants, plutôt qu'en transformant un seul exemple.

Mixup a également été relié au domaine plus large de l'Machine learning et de l'Deep learning, où il est utilisé comme régularisateur pour prévenir le sur-apprentissage. Ses principes ont été étendus à d'autres domaines, tels que l'Generative AI, où il peut être utilisé pour améliorer l'entraînement des modèles génératifs. La technique est également pertinente pour la recherche sur les Neural network, car elle fournit des informations sur la manière dont les réseaux apprennent et généralisent.

Directions futures

La recherche sur mixup continue d'évoluer. Des travaux récents ont exploré l'utilisation de mixup dans l'entraînement de Large language models, où il peut être appliqué à l'espace des plongements ou aux logits de sortie. Il y a également un intérêt à combiner mixup avec d'autres techniques avancées, telles que l'Curriculum Learning et l'Reinforcement Learning from AI Feedback (RLAIF), pour améliorer encore les performances des modèles.

Une autre direction est le développement de stratégies de mélange adaptatives qui déterminent automatiquement les paramètres d'interpolation optimaux en fonction des données et de l'état actuel du modèle. Cela pourrait conduire à une utilisation plus efficace et efficiente de mixup dans une gamme plus large d'applications.

Alors que le domaine de l'Artificial intelligence continue de progresser, mixup est susceptible de rester une technique pertinente et utile. Sa simplicité, son efficacité et sa large applicabilité en font un ajout précieux à la boîte à outils de tout praticien de l'apprentissage automatique.