COCO Captioning est une tâche de référence en vision par ordinateur et en traitement du langage naturel, dans laquelle un modèle reçoit une image du jeu de données Microsoft Common Objects in Context (COCO) et doit produire une phrase en langage naturel décrivant son contenu. La tâche a été introduite avec le jeu de données COCO en 2015 pour évaluer la capacité des algorithmes à relier la compréhension visuelle et la génération de langage. Elle est devenue un banc d’essai standard pour les modèles vision-langage, influençant le développement des systèmes multimodaux modernes dans intelligence artificielle et apprentissage automatique.
Le jeu de données COCO contient plus de 330 000 images avec plus de 2,5 millions d’instances étiquetées, et pour la tâche de légendage, chaque image est associée à cinq légendes indépendantes écrites par des humains. Le benchmark divise les images en ensembles d’entraînement, de validation et de test, avec une évaluation officielle utilisant un ensemble de test non publié publiquement pour éviter le surapprentissage. Les modèles sont notés en comparant les légendes générées aux cinq légendes de référence à l’aide de métriques automatisées, avec une évaluation humaine parfois utilisée pour l’évaluation finale.
Métriques d’évaluation
COCO Captioning repose sur plusieurs métriques automatisées qui mesurent le chevauchement et la similarité entre les légendes générées et les références humaines. Les métriques les plus couramment rapportées sont BLEU, METEOR et CIDEr, avec SPICE ajouté plus tard pour capturer la similarité sémantique. BLEU (Bilingual Evaluation Understudy) calcule la précision des n-grammes avec une pénalité de brièveté, tandis que METEOR aligne les mots et considère les synonymes et la lemmatisation. CIDEr (Consensus-based Image Description Evaluation) pondère les n-grammes en fonction de leur fréquence dans le jeu de données, donnant des scores plus élevés aux phrases informatives et distinctives. SPICE (Semantic Propositional Image Caption Evaluation) analyse les légendes en graphes de scène et compare les tuples d’objets, d’attributs et de relations.
Ces métriques présentent des limitations connues, comme favoriser les descriptions génériques et ne pas capturer pleinement le jugement humain. En conséquence, la communauté de recherche a également utilisé des évaluations humaines, en particulier pour l’analyse qualitative et pour comparer des modèles atteignant des scores automatisés similaires. Le serveur d’évaluation officiel COCO fournit une plateforme standardisée pour soumettre les résultats et les comparer sur un classement.
Architectures de modèles
La tâche a conduit à l’évolution des architectures de modèles, des premiers cadres encodeur-décodeur aux systèmes modernes basés sur les transformeurs. Les approches initiales utilisaient un réseau de neurones convolutif (CNN) comme encodeur d’images, typiquement un réseau résiduel pré-entraîné comme ResNet, suivi d’un réseau de neurones récurrent (RNN) ou d’une mémoire à long terme (LSTM) comme décodeur pour générer les mots séquentiellement. Ces modèles étaient entraînés de bout en bout avec une perte d’entropie croisée, souvent avec des techniques comme recherche en faisceau lors de l’inférence pour améliorer la qualité de sortie.
Avec l’essor de l’architecture transformeur, les modèles de légendage ont évolué vers l’utilisation d’encodeurs transformeurs pour les images et de décodeurs transformeurs pour le texte. Le cadre encodeur-décodeur est devenu standard, avec des caractéristiques d’image extraites d’un CNN puis traitées par un décodeur transformeur qui prête attention à ces caractéristiques via attention croisée. Des modèles plus récents ont adopté des mécanismes de attention multi-têtes et des modèles vision-langage pré-entraînés, comme ceux basés sur des grands modèles de langage, qui peuvent générer des légendes plus fluides et contextuellement riches.
Entraînement et optimisation
L’entraînement d’un modèle de légendage COCO implique généralement de minimiser une perte d’entropie croisée entre la légende générée et les légendes de référence. De nombreux modèles utilisent un processus d’entraînement en deux étapes : d’abord, un apprentissage supervisé sur l’ensemble d’entraînement COCO, puis une optimisation avec apprentissage par renforcement ou des objectifs au niveau de la séquence pour améliorer directement la métrique d’évaluation. Des techniques comme apprentissage par curriculum et augmentation de données ont été appliquées pour améliorer la généralisation, tandis que écrêtage de gradient et normalisation par lots sont courants pour un entraînement stable.
Le choix de l’optimiseur et du calendrier de taux d’apprentissage peut affecter significativement les performances. Des optimiseurs standard comme Adam (voir optimiseur Adam) et des variantes de descente de gradient stochastique (voir variantes de SGD) sont largement utilisés, souvent avec un calendrier de taux d’apprentissage qui chauffe puis décroît. Lors de l’inférence, des stratégies de décodage comme recherche en faisceau, échantillonnage top-k et échantillonnage top-p sont employées, avec un ajustement de température (voir échelle de température) pour contrôler le caractère aléatoire.
Impact et extensions
COCO Captioning a eu un impact large sur le domaine de IA générative et de l’apprentissage multimodal. Il a servi de fondation pour des tâches plus complexes comme la réponse à des questions visuelles, la récupération image-texte et la génération texte-à-image. Le benchmark a également influencé le développement du pré-entraînement vision-langage à grande échelle, où les modèles sont entraînés sur des paires image-texte massives puis affinés sur COCO. Des groupes de recherche dans des institutions comme laboratoire d’IA de Stanford, recherche en IA de Berkeley et CSAIL du MIT ont contribué à des méthodes influentes, et des entreprises comme OpenAI et Google DeepMind ont utilisé des données de type COCO dans leurs systèmes multimodaux.
La tâche a également mis en évidence des défis dans l’évaluation des descriptions générées par machine, conduisant à des recherches sur des métriques plus robustes et une évaluation avec intervention humaine. Au début des années 2020, les modèles de pointe atteignent des scores proches de la performance humaine sur certaines métriques, bien qu’ils aient encore des difficultés avec les détails fins et les objets rares. COCO Captioning reste un benchmark largement utilisé pour comparer les modèles vision-langage et pour étudier l’intersection de la perception et du langage.