La classification zero-shot est un cadre de problème en apprentissage automatique où, au moment du test, un apprenant observe des échantillons provenant de classes qui n'ont pas été observées pendant l'entraînement, et doit prédire leur classe. Le nom est un jeu de mots basé sur le concept antérieur d'apprentissage one-shot en vision par ordinateur, où la classification peut être apprise à partir d'un seul exemple. Les méthodes zero-shot fonctionnent généralement en associant les classes observées et non observées par le biais d'informations auxiliaires qui encodent des propriétés distinctives observables des objets. Par exemple, étant donné un ensemble d'images d'animaux à classer, accompagné de descriptions textuelles auxiliaires de l'apparence des animaux, un modèle entraîné à reconnaître les chevaux, mais n'ayant jamais vu de zèbre, peut tout de même reconnaître un zèbre s'il sait aussi que les zèbres ressemblent à des chevaux rayés. Ce problème est largement étudié en vision par ordinateur, en traitement du langage naturel et en perception machine.
Contexte et historique
Le premier article sur l'apprentissage zero-shot en traitement du langage naturel est apparu dans une publication de 2008 par Chang, Ratinov, Roth et Srikumar, à l'AAAI'08, mais le nom donné au paradigme d'apprentissage y était la classification sans données. Le premier article sur l'apprentissage zero-shot en vision par ordinateur est apparu à la même conférence, sous le nom d'apprentissage sans données. Le terme apprentissage zero-shot lui-même est apparu pour la première fois dans la littérature dans un article de 2009 de Palatucci, Hinton, Pomerleau et Mitchell à NIPS'09. Cette terminologie a été reprise plus tard dans un autre article de vision par ordinateur, et le terme apprentissage zero-shot s'est imposé, comme une variante de l'apprentissage one-shot introduit en vision par ordinateur des années plus tôt.
En vision par ordinateur, les modèles d'apprentissage zero-shot apprennent des paramètres pour les classes vues ainsi que leurs représentations de classe, et s'appuient sur la similarité représentationnelle entre les étiquettes de classe afin que, lors de l'inférence, les instances puissent être classées dans de nouvelles classes. En traitement du langage naturel, la direction technique clé développée repose sur la capacité à « comprendre les étiquettes » - représenter les étiquettes dans le même espace sémantique que celui des documents à classer. Cela permet la classification d'un seul exemple sans observer aucune donnée annotée, la forme la plus pure de classification zero-shot. L'article original utilisait la représentation d'Analyse Sémantique Explicite (ESA), mais des articles ultérieurs ont utilisé d'autres représentations, y compris des représentations denses. Cette approche a également été étendue à des domaines multilingues, au typage fin d'entités et à d'autres problèmes. De plus, au-delà de la seule dépendance aux représentations, l'approche computationnelle a été étendue pour dépendre du transfert depuis d'autres tâches, telles que l'implication textuelle et la réponse aux questions.
L'article original souligne également que, au-delà de la capacité à classer un seul exemple, lorsqu'un ensemble d'exemples est fourni, avec l'hypothèse qu'ils proviennent de la même distribution, il est possible d'améliorer les performances de manière semi-supervisée (ou apprentissage transductif). Contrairement à la généralisation standard en apprentissage automatique, où les classifieurs sont censés classer correctement de nouveaux échantillons dans des classes déjà observées pendant l'entraînement, dans la classification zero-shot, aucun échantillon des classes n'est fourni pendant l'entraînement du classifieur. Cela peut donc être considéré comme un cas extrême d'adaptation de domaine.
Informations préalables pour les classes zero-shot
Naturellement, une forme d'informations auxiliaires doit être fournie sur ces classes zero-shot, et ce type d'informations peut être de plusieurs sortes.
Apprentissage avec attributs : les classes sont accompagnées d'une description structurée prédéfinie. Par exemple, pour des descriptions d'oiseaux, cela pourrait inclure « tête rouge », « long bec ». Ces attributs sont souvent organisés de manière structurée et compositionnelle, et prendre cette structure en compte améliore l'apprentissage. Bien que cette approche ait été principalement utilisée en vision par ordinateur, il existe quelques exemples également en traitement du langage naturel.
Apprentissage à partir de descriptions textuelles : comme indiqué ci-dessus, cela a été la direction clé poursuivie en traitement du langage naturel. Ici, les étiquettes de classe sont considérées comme ayant un sens et sont souvent enrichies de définitions ou de descriptions en langage naturel en texte libre. Cela pourrait inclure, par exemple, une description Wikipédia de la classe.
Similarité classe-classe : ici, les classes sont plongées dans un espace continu. Un classifieur zero-shot peut prédire qu'un échantillon correspond à une certaine position dans cet espace, et la classe plongée la plus proche est utilisée comme classe prédite, même si aucun échantillon de ce type n'a été observé pendant l'entraînement.
Apprentissage zero-shot généralisé
Le cadre de classification zero-shot ci-dessus suppose qu'au moment du test, seuls des échantillons zero-shot sont fournis, à savoir des échantillons provenant de nouvelles classes non vues. Dans l'apprentissage zero-shot généralisé, des échantillons de classes nouvelles et connues peuvent apparaître au moment du test. Cela pose de nouveaux défis pour les classifieurs au moment du test, car il est très difficile d'estimer si un échantillon donné est nouveau ou connu. Certaines approches pour gérer cela incluent :
- un module de filtrage, d'abord entraîné à décider si un échantillon donné provient d'une nouvelle classe ou d'une ancienne, puis, au moment de l'inférence, produisant soit une décision dure, soit une décision probabiliste douce
- un module génératif, entraîné à générer des représentations de caractéristiques des classes non vues - un classifieur standard peut ensuite être entraîné sur des échantillons de toutes les classes, vues et non vues.
Domaines d'application
L'apprentissage zero-shot a été appliqué aux domaines suivants :
- classification d'images
- segmentation sémantique
- génération d'images
- détection d'objets
- traitement du langage naturel
- biologie computationnelle
- raisonnement abstrait
Relation avec l'IA moderne
Avec l'essor des grands modèles de langage et des architectures transformeurs, la classification zero-shot est devenue une capacité importante dans les systèmes modernes d'intelligence artificielle. Des modèles tels que ceux développés par OpenAI, Anthropic et Google DeepMind peuvent effectuer une classification zero-shot sur du texte en exploitant leur compréhension pré-entraînée du langage, sans nécessiter un ajustement fin spécifique à la tâche. Cela représente un changement par rapport aux approches antérieures basées sur les attributs et les plongements, vers l'utilisation des connaissances sémantiques encodées dans les poids des réseaux de neurones. En vision par ordinateur, des avancées similaires ont été réalisées en alignant les représentations d'images et de texte, permettant aux modèles de classer des images dans des catégories décrites uniquement par le langage naturel. La technique est également fondamentale pour de nombreuses applications en IA générative, où les modèles doivent comprendre et catégoriser des entrées nouvelles.
Voir aussi
- Apprentissage few-shot
- Apprentissage par transfert
- Cartographie rapide
- Apprentissage basé sur l'explication