La normalisation par lots (également connue sous le nom de batch norm) est une technique de normalisation utilisée dans les réseaux de neurones artificiels pour rendre l'entraînement plus rapide et plus stable en ajustant les entrées de chaque couche, en les recentrant autour de zéro et en les redimensionnant à une taille standard. Elle a été introduite par Sergey Ioffe et Christian Szegedy en 2015. Cette méthode est devenue un composant standard dans de nombreuses architectures de apprentissage profond, en particulier dans les réseaux convolutifs et entièrement connectés, et est largement utilisée dans les systèmes modernes de apprentissage automatique, y compris ceux qui alimentent les grands modèles de langage et d'autres applications de IA générative.
L'idée centrale est de normaliser les activations de chaque couche sur un mini-lot de données d'entraînement, en calculant la moyenne et la variance pour chaque dimension, puis en décalant et en redimensionnant les valeurs. Cette procédure réduit la sensibilité du réseau à l'initialisation et aux choix d'hyperparamètres, permettant aux praticiens d'utiliser des taux d'apprentissage plus élevés et réduisant souvent le besoin d'autres techniques de régularisation telles que l'abandon (dropout). Malgré son adoption généralisée, les raisons exactes de son efficacité restent un sujet de recherche et de débat actifs.
Contexte historique
La normalisation par lots est issue des efforts visant à résoudre les défis de l'entraînement de réseaux de neurones très profonds. Au début des années 2010, des chercheurs de Google DeepMind, OpenAI et d'autres laboratoires exploraient des moyens d'améliorer la vitesse de convergence et la stabilité. L'article de 2015 d'Ioffe et Szegedy, tous deux alors chez Google, a proposé une solution pratique pouvant être intégrée aux pipelines d'entraînement existants avec un surcoût minimal. La technique a rapidement gagné en popularité et est devenue un choix par défaut dans de nombreux frameworks, notamment TensorFlow et PyTorch.
Avant la normalisation par lots, l'entraînement de réseaux profonds exigeait souvent un réglage minutieux des taux d'apprentissage, des schémas d'initialisation des poids et des fonctions d'activation pour éviter des problèmes comme les gradients qui disparaissent ou explosent. La normalisation par lots a fourni une approche plus systématique, et son succès a inspiré une famille de techniques de normalisation connexes, telles que la normalisation de couche et la normalisation d'instance, utilisées dans différents contextes.
Décalage covariable interne
Chaque couche d'un réseau de neurones a des entrées qui suivent une distribution spécifique, laquelle se déplace pendant l'entraînement en raison de deux facteurs principaux : les valeurs de départ aléatoires des paramètres du réseau (initialisation des paramètres) et la variation naturelle des données d'entrée. Ce schéma de déplacement affectant les entrées des couches internes du réseau est appelé décalage covariable interne. Bien qu'une définition stricte ne fasse pas l'objet d'un consensus complet, les expériences montrent qu'il implique des changements dans les moyennes et les variances de ces entrées pendant l'entraînement.
La normalisation par lots a d'abord été développée pour traiter le décalage covariable interne. Pendant l'entraînement, à mesure que les paramètres des couches précédentes s'ajustent, la distribution des entrées de la couche courante change en conséquence, de sorte que la couche courante doit constamment se réadapter à de nouvelles distributions. Ce problème est particulièrement grave dans les réseaux profonds, car de petits changements dans les couches cachées peu profondes sont amplifiés lorsqu'ils se propagent dans le réseau, entraînant un décalage significatif dans les couches cachées plus profondes. La normalisation par lots a été proposée pour réduire ces décalages indésirables afin d'accélérer l'entraînement et de produire des modèles plus fiables.
Au-delà de la possible résolution du décalage covariable interne, la normalisation par lots offre plusieurs avantages supplémentaires. Elle permet au réseau d'utiliser un taux d'apprentissage plus élevé, un paramètre qui contrôle la vitesse à laquelle le réseau apprend, sans provoquer de problèmes comme des gradients qui disparaissent ou explosent, où les mises à jour deviennent trop petites ou trop grandes. Elle semble également avoir un effet de régularisation, améliorant la capacité du réseau à généraliser à de nouvelles données, réduisant le besoin d'abandon (dropout), une technique utilisée pour prévenir le surapprentissage (lorsqu'un modèle apprend trop bien les données d'entraînement et échoue sur de nouvelles données). De plus, les réseaux utilisant la normalisation par lots sont moins sensibles au choix des réglages de départ ou des taux d'apprentissage, ce qui les rend plus robustes et adaptables.
Procédure
Transformation
Dans un réseau de neurones, la normalisation par lots est réalisée par une étape de normalisation qui fixe les moyennes et les variances des entrées de chaque couche. Idéalement, la normalisation serait effectuée sur l'ensemble du jeu d'entraînement, mais pour utiliser cette étape conjointement avec des méthodes d'optimisation stochastique, il est peu pratique d'utiliser l'information globale. Ainsi, la normalisation est restreinte à chaque mini-lot du processus d'entraînement.
Soit \(B\) un mini-lot de taille \(m\) provenant de l'ensemble du jeu d'entraînement. La moyenne et la variance empiriques de \(B\) sont calculées comme suit :
\[
\mu_B = \frac{1}{m} \sum_{i=1}^{m} x_i
\]
et
\[
\sigma_B^2 = \frac{1}{m} \sum_{i=1}^{m} (x_i - \mu_B)^2
\]
Pour une couche avec une entrée \(x = (x^{(1)}, \ldots, x^{(d)})\) de dimension \(d\), chaque dimension est normalisée séparément. Pour chaque dimension \(k\) et chaque échantillon \(i\) du mini-lot, la valeur normalisée est :
\[
\hat{x}_i^{(k)} = \frac{x_i^{(k)} - \mu_B^{(k)}}{\sqrt{(\sigma_B^{(k)})^2 + \epsilon}}
\]
où \(\epsilon\) est une petite constante ajoutée pour la stabilité numérique, généralement de l'ordre de \(10^{-5}\). Cela garantit que les activations normalisées ont une moyenne nulle et une variance unitaire.
Mise à l'échelle et décalage
Le simple fait de normaliser les entrées peut restreindre la capacité de représentation de la couche, c'est pourquoi la normalisation par lots introduit deux paramètres apprenables par dimension : un facteur d'échelle \(\gamma^{(k)}\) et un décalage \(\beta^{(k)}\). La sortie finale de la couche de normalisation par lots est :
\[
y_i^{(k)} = \gamma^{(k)} \hat{x}_i^{(k)} + \beta^{(k)}
\]
Ces paramètres sont appris pendant l'entraînement par rétropropagation, permettant au réseau d'annuler la normalisation si cela est optimal pour la tâche. En pratique, \(\gamma\) est souvent initialisé à 1 et \(\beta\) à 0, de sorte que la couche effectue initialement une normalisation standard puis s'adapte.
Inférence
Pendant l'entraînement, la moyenne et la variance sont calculées à partir du mini-lot courant. Cependant, au moment de l'inférence (lors de la réalisation de prédictions sur de nouvelles données), le mini-lot peut être de taille 1 ou ne pas être disponible. Pour gérer cela, le réseau utilise des moyennes mobiles de la moyenne et de la variance calculées pendant l'entraînement. Ces statistiques mobiles sont mises à jour avec chaque mini-lot, généralement en utilisant une moyenne mobile avec un facteur de momentum (souvent 0,99). À l'inférence, la normalisation utilise ces statistiques fixes, rendant l'opération déterministe et indépendante de la taille du lot.
Explications théoriques
Les experts débattent encore de la raison pour laquelle la normalisation par lots fonctionne si bien. On pensait initialement qu'elle traitait le décalage covariable interne, un problème où l'initialisation des paramètres et les changements dans la distribution des entrées de chaque couche affectent le taux d'apprentissage du réseau. Cependant, des recherches plus récentes suggèrent qu'elle ne corrige pas ce décalage mais lisse plutôt la fonction objectif, un guide mathématique que le réseau suit pour s'améliorer, améliorant ainsi les performances. Dans les réseaux très profonds, la normalisation par lots peut initialement provoquer une explosion sévère des gradients, où les mises à jour du réseau deviennent incontrôlablement grandes, mais cela est géré avec des raccourcis appelés connexions de saut dans les réseaux résiduels. Une autre théorie est que la normalisation par lots ajuste les données en traitant séparément leur taille et leur trajectoire, accélérant l'entraînement.
Des recherches menées par Aleksander Madry et d'autres ont montré que la normalisation par lots rend le paysage d'optimisation significativement plus lisse, réduisant la constante de Lipschitz de la fonction de perte. Cet effet de lissage permet à la descente de gradient de prendre des pas plus grands sans diverger, ce qui explique pourquoi des taux d'apprentissage plus élevés deviennent possibles. D'autres travaux ont souligné que la normalisation par lots introduit une forme de régularisation implicite en ajoutant du bruit au processus d'entraînement, car les statistiques du mini-lot varient d'un lot à l'autre.
Variantes et extensions
La normalisation par lots a inspiré plusieurs variantes adaptées à différentes architectures et contextes. La normalisation de couche, introduite par jimmy-lei-ba et jamie-kiros en 2016, normalise à travers les caractéristiques pour chaque échantillon individuel plutôt qu'à travers le lot, ce qui la rend adaptée aux réseaux récurrents et aux transformeurs. La normalisation d'instance, utilisée dans le transfert de style, normalise chaque canal pour chaque échantillon. La normalisation de groupe, proposée par yuxin-wu et Kaiming He en 2018, divise les canaux en groupes et normalise au sein de chaque groupe, fonctionnant bien avec de petites tailles de lot.
Dans le contexte des modèles transformeurs, qui sous-tendent de nombreux grands modèles de langage, la normalisation de couche est plus courante que la normalisation par lots, mais cette dernière est toujours utilisée dans les réseaux convolutifs pour des tâches comme la classification d'images et la détection d'objets. Certaines approches hybrides, comme la normalisation commutable, apprennent à combiner dynamiquement différentes méthodes de normalisation.
Considérations pratiques
La mise en œuvre de la normalisation par lots nécessite une attention particulière aux phases d'entraînement et d'inférence. Pendant l'entraînement, la taille du lot doit être suffisamment grande pour fournir des estimations fiables de la moyenne et de la variance ; de petits lots peuvent conduire à des statistiques bruitées et à un entraînement instable. Dans l'entraînement distribué, où la taille globale du lot est répartie sur plusieurs dispositifs, la moyenne et la variance sont généralement calculées par dispositif, ce qui peut provoquer des incohérences. Des techniques comme la normalisation par lots synchronisée, qui agrège les statistiques entre les dispositifs, ont été développées pour résoudre ce problème.
La normalisation par lots interagit également avec d'autres composants du réseau. Par exemple, elle est souvent placée après la transformation linéaire mais avant la fonction d'activation, bien que l'emplacement exact puisse varier. Dans les réseaux résiduels, la normalisation par lots est appliquée avant l'ajout de la connexion de saut, ce qui aide à atténuer l'explosion des gradients mentionnée précédemment.
Impact et héritage
L'introduction de la normalisation par lots a eu un impact profond sur le domaine de l'intelligence artificielle. Elle a permis l'entraînement de réseaux beaucoup plus profonds, comme le ResNet à 152 couches, qui a remporté le concours ImageNet en 2015. Elle a également rendu le réglage des hyperparamètres moins pénible, accélérant l'expérimentation tant dans le monde académique qu'industriel. Aujourd'hui, la normalisation par lots reste un outil fondamental dans la boîte à outils de l'apprentissage profond, et ses principes ont influencé la conception de nombreuses techniques de normalisation ultérieures. Malgré les débats en cours sur ses fondements théoriques, ses avantages pratiques sont incontestés, et elle continue d'être un composant clé dans de nombreux modèles de pointe.