Le prompting zéro-shot est une technique en intelligence artificielle et apprentissage automatique où un modèle est invité à effectuer une tâche sans recevoir d'exemples ou de démonstrations. Le modèle doit s'appuyer uniquement sur ses connaissances pré-entraînées et les instructions contenues dans le prompt pour générer la sortie correcte. Cela contraste avec le prompting few-shot, où quelques exemples sont inclus dans le prompt pour guider le modèle. Le prompting zéro-shot est une capacité fondamentale des grands modèles de langage (LLM) modernes, leur permettant de traiter un large éventail de tâches avec un minimum de données spécifiques à la tâche.
Le concept est ancré dans l'apprentissage zéro-shot (ZSL), un cadre de problème en apprentissage automatique où un apprenant observe des échantillons de classes non vues pendant l'entraînement et doit prédire leur classe. Le nom est un jeu de mots basé sur le concept antérieur d'apprentissage one-shot en vision par ordinateur. Les méthodes zéro-shot fonctionnent généralement en associant les classes observées et non observées par le biais d'informations auxiliaires qui encodent des propriétés distinctives observables. Par exemple, un modèle entraîné à reconnaître des chevaux mais n'ayant jamais vu de zèbre peut tout de même reconnaître un zèbre s'il sait que les zèbres ressemblent à des chevaux rayés. Dans le contexte du prompting, le prompting zéro-shot exploite les représentations internes et la compréhension sémantique du modèle pour généraliser à des tâches non vues.
Contexte et historique
Le premier article sur l'apprentissage zéro-shot en traitement du langage naturel est apparu en 2008 par Chang, Ratinov, Roth et Srikumar à AAAI'08, sous le nom de « classification sans données ». Le premier article sur l'apprentissage zéro-shot en vision par ordinateur est apparu à la même conférence, sous le nom d'« apprentissage sans données ». Le terme « apprentissage zéro-shot » lui-même est apparu pour la première fois dans un article de 2009 par Palatucci, Hinton, Pomerleau et Mitchell à NIPS'09. Cette terminologie a été adoptée, comme un dérivé de l'apprentissage one-shot introduit en vision par ordinateur des années plus tôt.
En vision par ordinateur, les modèles d'apprentissage zéro-shot apprenaient des paramètres pour les classes vues ainsi que leurs représentations de classe, en s'appuyant sur la similarité représentationnelle entre les étiquettes de classe afin que, lors de l'inférence, les instances puissent être classées dans de nouvelles classes. En traitement du langage naturel, la direction technique clé reposait sur la capacité à « comprendre les étiquettes » - représenter les étiquettes dans le même espace sémantique que les documents à classer. Cela permettait la classification d'un seul exemple sans aucune donnée annotée, la forme la plus pure de classification zéro-shot. L'article original utilisait la représentation par analyse sémantique explicite (ESA), mais des articles ultérieurs ont utilisé des représentations denses. Cette approche a été étendue aux domaines multilingues, au typage fin d'entités et à d'autres problèmes. Au-delà de la seule dépendance aux représentations, l'approche computationnelle a été étendue pour dépendre du transfert depuis d'autres tâches, telles que l'implication textuelle et la réponse à des questions.
Informations prérequises pour les classes zéro-shot
L'apprentissage zéro-shot nécessite des informations auxiliaires sur les classes non vues. Plusieurs types d'informations auxiliaires existent :
- Apprentissage avec attributs : Les classes sont accompagnées de descriptions structurées prédéfinies. Par exemple, les descriptions d'oiseaux pourraient inclure « tête rouge » ou « long bec ». Ces attributs sont souvent organisés de manière structurée et compositionnelle, et prendre cette structure en compte améliore l'apprentissage. Cette approche a été principalement utilisée en vision par ordinateur, avec quelques exemples en traitement du langage naturel.
- Apprentissage à partir de descriptions textuelles : Les étiquettes de classe sont considérées comme ayant un sens et sont souvent enrichies de définitions ou de descriptions en langage naturel en texte libre, comme une description Wikipédia de la classe. Cela a été la direction clé en traitement du langage naturel.
- Similarité classe-classe : Les classes sont intégrées dans un espace continu. Un classifieur zéro-shot peut prédire qu'un échantillon correspond à une certaine position dans cet espace, et la classe intégrée la plus proche est utilisée comme classe prédite, même si aucun échantillon de ce type n'a été observé pendant l'entraînement.
Dans le contexte du prompting zéro-shot, les informations auxiliaires sont implicitement encodées dans les paramètres du modèle lors du pré-entraînement. Le modèle a vu de vastes quantités de texte et a appris des associations entre concepts, ce qui lui permet de comprendre les instructions et de générer des réponses appropriées sans exemples explicites.
Apprentissage zéro-shot généralisé
Le cadre standard de l'apprentissage zéro-shot suppose qu'au moment du test, seuls des échantillons zéro-shot (provenant de classes non vues) sont fournis. Dans l'apprentissage zéro-shot généralisé, des échantillons provenant de classes nouvelles et connues peuvent apparaître au moment du test. Cela pose des défis car il est difficile d'estimer si un échantillon donné est nouveau ou connu. Les approches pour gérer cela incluent :
- Un module de portail, entraîné à décider si un échantillon donné provient d'une nouvelle classe ou d'une ancienne, et qui, lors de l'inférence, produit une décision probabiliste dure ou douce.
- Un module génératif, entraîné à générer des représentations de caractéristiques des classes non vues, permettant à un classifieur standard d'être entraîné sur des échantillons de toutes les classes, vues et non vues.
Pour le prompting zéro-shot, l'apprentissage zéro-shot généralisé est moins pertinent, car le modèle est généralement invité à effectuer une seule tâche sans avoir à distinguer les classes vues et non vues. Cependant, le défi sous-jacent de la généralisation reste important pour des performances robustes.
Domaines d'application
L'apprentissage zéro-shot et le prompting zéro-shot ont été appliqués à un large éventail de domaines :
- Classification d'images : Reconnaître des objets ou des scènes non vus pendant l'entraînement.
- Segmentation sémantique : Attribuer des étiquettes aux pixels d'une image, y compris des catégories non vues.
- Génération d'images : Générer des images de concepts non explicitement entraînés.
- Détection d'objets : Détecter des objets de classes non vues.
- Traitement du langage naturel : Classification de texte, analyse de sentiment et réponse à des questions sans données d'entraînement spécifiques à la tâche.
- Biologie computationnelle : Prédire des propriétés d'entités biologiques, telles que les fonctions des protéines, sans exemples étiquetés.
- Raisonnement abstrait : Résoudre des tâches de raisonnement nécessitant une généralisation à des situations nouvelles.
À l'ère des grands modèles de langage, le prompting zéro-shot est devenu une méthode d'évaluation standard. Des modèles comme ceux développés par OpenAI, Anthropic et Google DeepMind sont souvent testés sur leurs performances zéro-shot à travers divers benchmarks. Cette capacité est un résultat direct de l'entraînement sur des corpus massifs et de l'architecture transformer, qui permet au modèle d'internaliser une vaste quantité de connaissances et de suivre des instructions.
Défis et limites
Malgré sa puissance, le prompting zéro-shot présente des limites. Le modèle peut produire des réponses plausibles mais incorrectes, en particulier pour des tâches nécessitant des connaissances spécialisées ou un raisonnement. La qualité du prompt importe considérablement ; des instructions mal formulées peuvent conduire à des résultats sous-optimaux. De plus, les performances zéro-shot sont souvent inférieures à celles du few-shot ou du fine-tuning, car le modèle n'a pas d'exemples explicites pour calibrer sa sortie. Les chercheurs continuent d'explorer des méthodes pour améliorer les capacités zéro-shot, telles qu'un meilleur ingénierie de prompt, un raisonnement en chaîne de pensée et un ajustement par instructions.