Un modèle de fondation est un modèle d'apprentissage automatique entraîné sur des données vastes, souvent à l'échelle du web, qui peut être adapté à un large éventail de tâches en aval plutôt que d'être conçu pour un seul objectif étroit. Le terme a été inventé dans un rapport de 2021 du Centre de recherche sur les modèles de fondation (CRFM) de Stanford, dirigé par des chercheurs dont Percy Liang, qui ont soutenu que des modèles tels que GPT-3 et BERT représentaient un nouveau paradigme : un modèle unique, une fois pré-entraîné, sert de fondation pour de nombreuses applications via le Fine-tuning, l'apprentissage en contexte ou le prompting, plutôt que chaque tâche nécessitant un modèle entraîné de zéro.
Origines et définition
Le rapport du CRFM a distingué les modèles de fondation par leur combinaison d'échelle, en paramètres, données et calcul, d'objectifs d'entraînement larges tels que l'apprentissage auto-supervisé pré-entraînement sur des données non étiquetées, et de généralité, signifiant que les représentations apprises d'un modèle unique se transfèrent à de nombreuses tâches en aval avec une adaptation relativement légère. Ce cadrage s'appuyait sur et étendait l'idée antérieure de apprentissage par transfert, où un modèle pré-entraîné sur une tâche ou un ensemble de données est réutilisé, généralement après un fine-tuning, sur une tâche connexe.
Exemples
Les modèles de fondation couvrent plusieurs modalités : des modèles axés sur le texte comme la série GPT, Claude, Gemini et Llama ; des systèmes vision-langage construits sur un pré-entraînement de style CLIP ; des modèles de génération d'images tels que Stable Diffusion ; et des modèles de parole comme Whisper. La plupart des grands modèles de langage sont des modèles de fondation en ce sens, bien que le terme précède et soit plus large que LLM, car il couvre également les systèmes non textuels et multimodaux.
Pourquoi le terme est utilisé
Le label a émergé en partie pour capturer un changement dans la manière dont les systèmes d'IA sont construits et déployés : au lieu qu'un groupe de recherche entraîne un modèle sur mesure par tâche, un modèle de fondation à poids ouverts ou propriétaire est publié une fois puis adapté par de nombreux utilisateurs en aval, réduisant considérablement le coût de création de nouvelles applications d'IA. Cela a donné naissance à un écosystème, illustré par des plateformes comme Hugging Face, centré sur le partage, le fine-tuning et le déploiement de modèles de fondation plutôt que sur l'entraînement de zéro. Le terme s'est également avéré utile dans les discussions politiques, car des réglementations telles que l'AI Act de l'UE ont créé des obligations spécifiques pour les fournisseurs de modèles à usage général ou de fondation, distinctes de celles des développeurs qui construisent simplement des applications par-dessus.
Critiques et mises en garde
Le rapport du CRFM lui-même a reconnu des risques : les modèles de fondation concentrent la capacité et l'influence entre les mains des quelques organisations capables de les entraîner, propagent les biais présents dans leurs données d'entraînement vastes à travers chaque application en aval construite sur eux, et peuvent se comporter de manière imprévisible en dehors de la distribution de leurs données d'entraînement. Les critiques, y compris certains qui accueillaient favorablement ce cadrage, ont noté que « fondation » implique une stabilité et une fiabilité que les premiers grands modèles ne possédaient pas toujours, et que le terme peut obscurcir des différences significatives entre les modèles, comme leur caractère ouvert ou fermé, ou les techniques d'alignement différentes utilisées. Malgré cela, modèle de fondation est devenu un vocabulaire standard dans les articles de recherche et la réglementation en quelques années après son introduction.
Relation avec d'autres termes
Modèle de fondation chevauche largement, mais n'est pas identique à, modèle de frontière, qui désigne spécifiquement les modèles les plus capables à un moment donné, et avec LLM, qui est spécifique au texte. Un modèle de fondation n'a pas besoin d'être à la frontière de la capacité, et tous les modèles de fondation ne sont pas des modèles de langage.