L'apprentissage en quelques exemples est la capacité d'effectuer une nouvelle tâche correctement après avoir reçu seulement un petit nombre d'exemples de cette tâche, souvent aussi peu qu'un à quelques dizaines. Dans le contexte des grands modèles de langage, ce terme désigne le plus couramment une pratique spécifique : placer plusieurs exemples d'entrée-sortie directement dans le prompt, immédiatement avant la requête réelle, afin que le modèle puisse en déduire le schéma et l'appliquer sans aucune modification de ses poids sous-jacents. Cela distingue l'apprentissage en quelques exemples des approches supervisées traditionnelles, dans lesquelles l'apprentissage d'une nouvelle tâche nécessite de rassembler un ensemble de données étiquetées et de lancer un processus d'optimisation tel que le fine-tuning.
Ce cadrage a été popularisé par l'article GPT-3, « Language Models are Few-Shot Learners », publié par Tom Brown et ses coauteurs chez OpenAI en 2020. L'article a montré qu'un modèle autorégressif suffisamment grand, entraîné uniquement sur la prédiction du prochain jeton sur de grandes quantités de texte, pouvait effectuer raisonnablement bien la traduction, la réponse à des questions et l'arithmétique lorsqu'on lui fournissait une poignée de démonstrations dans son contexte, sans aucune mise à jour de gradient. Ce résultat a été l'une des premières démonstrations claires que l'échelle seule, combinée à un objectif de pré-entraînement généraliste, pouvait remplacer les données d'entraînement spécifiques à une tâche.
Mécanisme
Le prompting en quelques exemples fonctionne parce que les paramètres d'un modèle pré-entraîné encodent déjà une connaissance statistique large de la structure de nombreux types de tâches ; les exemples dans le prompt n'enseignent pas au modèle de nouveaux faits, mais précisent plutôt quelle tâche, quel format et quel style appliquer parmi les nombreux que le modèle est déjà capable de produire. Cette capacité est généralement étudiée sous le titre plus large de apprentissage en contexte, le phénomène par lequel les modèles basés sur des transformeurs adaptent leur comportement uniquement en fonction du contenu de leur fenêtre de contexte. Le nombre d'exemples nécessaires, leur ordre, leur similarité avec la requête cible et la manière dont les démonstrations sont formatées ont tous montré qu'ils affectent la précision, parfois de manière substantielle, ce qui a fait de la conception de prompts un savoir-faire empirique à part entière, étroitement lié à la ingénierie de prompts.
Relation avec l'apprentissage zéro-exemple et le fine-tuning
L'apprentissage en quelques exemples se situe entre deux autres régimes : l'apprentissage zéro-exemple, où un modèle reçoit uniquement une instruction et aucun exemple, et le fine-tuning, où les poids du modèle sont mis à jour sur un ensemble de données étiquetées. À mesure que les modèles sont devenus plus grands et ont été entraînés avec un réglage par instructions plus intensif, l'écart entre les performances zéro-exemple et en quelques exemples s'est réduit pour de nombreuses tâches courantes, car des modèles bien alignés peuvent souvent suivre une instruction claire correctement sans démonstrations. Les exemples en quelques exemples restent cependant utiles pour spécifier un format de sortie inhabituel, un schéma de classification idiosyncratique ou un style difficile à décrire en mots mais facile à montrer. Par rapport au fine-tuning, le prompting en quelques exemples présente l'avantage de ne nécessiter aucune infrastructure d'entraînement et de prendre effet immédiatement, mais il consomme de l'espace dans la fenêtre de contexte à chaque appel et ses gains ne persistent ni ne se cumulent généralement comme le font ceux d'un modèle fine-tuné.
Réception et héritage
Le résultat en quelques exemples de GPT-3 a recadré la façon dont le domaine envisageait la généralisation : plutôt que de construire des modèles étroits pour chaque tâche, il est devenu plausible de construire un grand modèle général et de le spécialiser au moment de l'inférence uniquement par le prompting. Ce changement a sous-tendu le modèle économique axé sur les API qu'OpenAI et ses concurrents ultérieurs ont adopté, et il a directement préfiguré le mouvement plus large vers des assistants conversationnels généralistes tels que ChatGPT. Des travaux ultérieurs ont remis en question la part de « l'apprentissage » apparent reflétant une véritable acquisition de nouvelles tâches par rapport à la récupération d'une tâche que le modèle avait déjà vue de manière similaire pendant le pré-entraînement, un débat qui continue de façonner la manière dont les chercheurs interprètent les revendications de capacités liées aux capacités émergentes et aux benchmarks en quelques exemples.