Le pré-entraînement est la première phase, et généralement la plus coûteuse en calcul, de l'entraînement d'un modèle d'IA moderne, au cours de laquelle un modèle apprend des motifs statistiques généraux à partir d'un vaste corpus général en utilisant un objectif d'entraînement générique, avant toute adaptation à une tâche spécifique en aval. Pour les grands modèles de langage, le pré-entraînement signifie presque toujours apprentissage auto-supervisé : le modèle reçoit d'énormes quantités de texte et est entraîné à prédire un jeton en fonction de son contexte environnant, le plus souvent le jeton suivant dans une séquence, un objectif qui ne nécessite aucune étiquette fournie par l'humain, car la « réponse » est simplement le mot suivant dans le texte existant.
Pourquoi le pré-entraînement fonctionne
L'idée derrière le pré-entraînement est que prédire avec précision le jeton suivant à travers un corpus vaste et varié force un modèle à apprendre implicitement la grammaire, les faits, les schémas de raisonnement et même une certaine connaissance rudimentaire du monde, car tout cela est utile pour réduire l'erreur de prédiction. Un modèle entraîné de cette manière est appelé modèle de base ou modèle fondation et, avant toute adaptation supplémentaire, se comporte largement comme un moteur de complétion de texte très performant plutôt que comme un assistant qui suit des instructions. La terminologie modèle fondation, inventée par des chercheurs de Stanford en 2021, reflète le fait qu'un seul modèle pré-entraîné peut servir de point de départ pour de nombreuses applications en aval différentes grâce au réglage fin ou à l'apprentissage en contexte.
Échelle et coût
Le pré-entraînement est dominé par les lois d'échelle, des relations empiriques montrant que la perte d'un modèle diminue de manière prévisible à mesure que la quantité de calcul d'entraînement, de données et de paramètres augmente ensemble, suivant le cadre établi par les chercheurs d'OpenAI en 2020 et affiné par l'article Chinchilla de DeepMind en 2022, qui soutenait que de nombreux modèles antérieurs étaient sous-entraînés par rapport à leur taille et que les données et les paramètres devraient évoluer ensemble. Le pré-entraînement des plus grands modèles de pointe consomme de l'ordre de milliers de GPU ou TPU fonctionnant pendant des semaines ou des mois, à des coûts rapportés de l'ordre de dizaines ou de centaines de millions de dollars, et nécessite des corpus d'entraînement construits à partir de sources telles que Common Crawl et des ensembles de données sous licence ou propriétaires.
Du pré-entraînement à un assistant utilisable
Un modèle de base fraîchement pré-entraîné n'est pas encore adapté comme assistant conversationnel : il continuera une invite dans le style qui semble statistiquement probable, plutôt que de répondre directement à une question ou de refuser une demande dangereuse. Transformer un modèle de base en un produit comme ChatGPT ou Claude nécessite des étapes supplémentaires de post-entraînement, généralement un réglage fin supervisé sur des paires d'instructions-réponses organisées, suivi d'une étape d'alignement des préférences telle que RLHF ou optimisation directe des préférences. Le pré-entraînement fournit néanmoins la grande majorité des connaissances et des capacités brutes d'un modèle ; le post-entraînement façonne principalement la manière dont cette capacité est exprimée et contrôlée.
Tendances et questions ouvertes
Parce que le pré-entraînement repose sur des quantités toujours plus grandes de texte, les chercheurs ont soulevé des préoccupations concernant un « mur de données » à venir, le point auquel l'approvisionnement en texte de haute qualité généré par l'humain est épuisé par rapport à ce que les lois d'échelle exigent, suscitant un intérêt accru pour les données synthétiques générées par les modèles eux-mêmes et pour le pré-entraînement multimodal qui intègre des images, de l'audio et de la vidéo en plus du texte. Les objectifs de pré-entraînement se sont également diversifiés au-delà de la simple prédiction du jeton suivant, certaines approches incorporant le débruitage, la prédiction de jetons masqués comme utilisée par BERT, ou des objectifs contrastifs multimodaux similaires à CLIP. Malgré ces variations, la prédiction du jeton suivant sur du texte à l'échelle du web reste la recette de pré-entraînement dominante derrière la majorité des grands modèles de langage déployés au milieu des années 2020.