Les métriques d'évaluation pour les modèles d'IA sont des mesures quantitatives standardisées utilisées pour évaluer la performance, la qualité et la fiabilité des systèmes d'intelligence artificielle. Ces métriques fournissent un langage commun pour comparer différents modèles, suivre les progrès durant l'entraînement et déterminer si un modèle est apte à un déploiement dans le monde réel. Elles couvrent un large éventail de tâches, allant de la classification et de la régression à la génération de texte en langage naturel et aux prévisions probabilistes, chacune disposant de ses propres mesures appropriées.
Le choix de la métrique d'évaluation façonne fondamentalement la manière dont les modèles d'IA sont développés et affinés. Les métriques influencent les décisions concernant l'architecture du modèle, les objectifs d'entraînement et le réglage des hyperparamètres. Une métrique mal choisie peut conduire à des modèles optimisés pour de mauvais résultats, tandis qu'un ensemble de métriques bien conçu peut révéler des forces et des faiblesses subtiles. Avec l'évolution de l'intelligence-artificielle, passant de systèmes basés sur des règles à des approches d'apprentissage-automatique et d'apprentissage-profond, la boîte à outils des métriques d'évaluation s'est élargie pour relever de nouveaux défis tels que la qualité des sorties génératives et la calibration des modèles.
Métriques de classification
Dans les tâches de classification, où un modèle attribue des entrées à des catégories discrètes, plusieurs métriques fondamentales sont dérivées d'une matrice de confusion. Cette matrice enregistre les vrais positifs, les vrais négatifs, les faux positifs et les faux négatifs, à partir desquels toutes les autres métriques de classification sont calculées.
L'exactitude est la métrique la plus simple, définie comme la proportion de prédictions correctes parmi toutes les prédictions. Bien qu'intuitive, l'exactitude peut être trompeuse pour des ensembles de données déséquilibrés où une classe domine. Par exemple, un modèle qui prédit systématiquement la classe majoritaire peut atteindre une exactitude élevée tout en étant pratiquement inutile pour détecter la classe minoritaire.
La précision mesure la proportion d'identifications positives qui étaient réellement correctes, calculée comme le nombre de vrais positifs divisé par la somme des vrais positifs et des faux positifs. Une précision élevée indique que lorsque le modèle prédit une classe positive, il a généralement raison, ce qui est crucial dans des applications comme la détection de spam où les faux positifs sont coûteux.
Le rappel, également appelé sensibilité ou taux de vrais positifs, mesure la proportion de positifs réels qui ont été correctement identifiés, calculée comme le nombre de vrais positifs divisé par la somme des vrais positifs et des faux négatifs. Un rappel élevé est essentiel dans le dépistage médical ou la détection de fraude, où manquer un cas positif peut avoir des conséquences graves.
Le score F1 est la moyenne harmonique de la précision et du rappel, fournissant un score unique qui équilibre les deux préoccupations. Il varie de 0 à 1, où 1 représente une précision et un rappel parfaits. Le score F1 est particulièrement utile lorsque les classes sont déséquilibrées et que les faux positifs et les faux négatifs ont tous deux des coûts significatifs.
Métriques de régression
Pour les tâches de régression, où un modèle prédit des valeurs continues, les métriques se concentrent sur l'ampleur et la direction des erreurs de prédiction.
L'erreur quadratique moyenne (EQM) fait la moyenne des carrés des différences entre les valeurs prédites et réelles. Comme les erreurs sont élevées au carré, les grandes erreurs sont pénalisées de manière disproportionnée, ce qui rend l'EQM sensible aux valeurs aberrantes. La racine de l'erreur quadratique moyenne (REQM) est la racine carrée de l'EQM, ramenant la métrique aux unités d'origine de la variable cible pour une interprétation plus facile.
L'erreur absolue moyenne (EAM) fait la moyenne des différences absolues entre les prédictions et les valeurs réelles. Contrairement à l'EQM, l'EAM traite toutes les erreurs de manière égale et est plus robuste aux valeurs aberrantes. Le choix entre l'EQM et l'EAM dépend de la question de savoir si les grandes erreurs sont particulièrement indésirables dans le contexte de l'application.
Le coefficient de détermination (R²) mesure la proportion de variance de la variable dépendante qui est prévisible à partir des variables indépendantes. Il varie de moins l'infini à 1, où 1 indique un ajustement parfait. Le R² fournit une mesure intuitive de la qualité du modèle, mais peut être trompeur lorsqu'il est appliqué à des modèles non linéaires ou lorsqu'on extrapole au-delà de la plage des données d'entraînement.
Métriques pour les modèles génératifs
Avec l'essor des grands-modeles-de-langage et de l'ia-generative, de nouvelles métriques ont été développées pour évaluer la qualité des textes, images et autres contenus générés.
BLEU (Bilingual Evaluation Understudy) a été initialement développé pour la traduction automatique et mesure le chevauchement des n-grammes entre le texte généré et des traductions de référence. Il calcule un score de précision modifié par une pénalité de brièveté pour décourager les sorties trop courtes. BLEU corrèle raisonnablement bien avec le jugement humain pour les tâches de traduction, mais présente des limitations connues, notamment une insensibilité à la signification sémantique et de mauvaises performances pour la génération de texte créatif.
ROUGE (Recall-Oriented Understudy for Gisting Evaluation) est une famille de métriques utilisées principalement pour le résumé automatique. ROUGE-N mesure le chevauchement des n-grammes entre le résumé généré et les résumés de référence, tandis que ROUGE-L utilise la plus longue sous-séquence commune pour capturer la structure au niveau de la phrase. Contrairement à BLEU, ROUGE met l'accent sur le rappel, mesurant la quantité de contenu de référence capturée dans la sortie générée.
La perplexité est une métrique couramment utilisée pour les modèles de langage, mesurant comment une distribution de probabilité prédit un échantillon. Une perplexité plus faible indique que le modèle est plus confiant dans ses prédictions, attribuant des probabilités plus élevées aux prochains tokens réels dans une séquence. Mathématiquement, la perplexité est équivalente à l'exponentielle de la perte d'entropie croisée moyenne par token. Bien qu'utile pour comparer des modèles de langage sur le même corpus, la perplexité ne mesure pas directement la qualité ou la cohérence du texte généré.
Métriques de calibration
La calibration mesure dans quelle mesure les probabilités prédites par un modèle correspondent aux résultats réels. Un modèle bien calibré qui prédit une probabilité de 70 % pour un événement devrait avoir raison environ 70 % du temps.
L'erreur de calibration attendue (ECE) partitionne les prédictions en groupes (bins) en fonction de leur niveau de confiance et calcule la moyenne pondérée de la différence absolue entre l'exactitude et la confiance au sein de chaque groupe. Une ECE plus faible indique une meilleure calibration. Le score de Brier est une autre métrique de calibration qui combine la calibration et la netteté, mesurant la différence quadratique moyenne entre les probabilités prédites et les résultats réels.
La calibration est particulièrement importante dans les applications à enjeux élevés comme le diagnostic médical ou la conduite autonome, où des prédictions trop confiantes peuvent conduire à des décisions dangereuses. Les reseaux-neuronaux modernes présentent souvent une mauvaise calibration, et des techniques comme le scaling de température sont utilisées pour l'améliorer après l'entraînement.
Métriques spécifiques aux tâches
Différents domaines d'application de l'IA ont développé des métriques spécialisées adaptées à leurs exigences uniques.
Dans la recherche d'information et la récupération, la précision moyenne (AP) et le gain cumulé normalisé actualisé (NDCG) évaluent la qualité du classement des résultats pertinents. Le NDCG prend en compte la position des éléments pertinents, accordant des scores plus élevés lorsque les résultats pertinents apparaissent plus tôt dans le classement.
Pour la détection d'objets en vision par ordinateur, l'intersection sur union (IoU) mesure le chevauchement entre les boîtes englobantes prédites et les vérités terrain. La précision moyenne (mAP) agrège les courbes de précision-rappel à différents seuils IoU et classes d'objets, servant de métrique de référence standard dans des ensembles de données comme COCO.
En apprentissage par renforcement, les métriques se concentrent sur la récompense cumulative, l'efficacité de l'échantillonnage et la sécurité. Le retour mesure la récompense totale actualisée accumulée au cours d'un épisode, tandis que le taux de succès suit la proportion d'épisodes où l'agent atteint son objectif.
Considérations pratiques
La sélection de métriques d'évaluation appropriées nécessite un examen attentif de la tâche, de la distribution des données et du contexte de déploiement. Plusieurs problèmes pratiques peuvent compromettre la fiabilité des métriques.
La fuite de données se produit lorsque des informations provenant de l'ensemble de test influencent l'entraînement du modèle, conduisant à des valeurs de métriques gonflées. Des procédures appropriées de division des ensembles de données et de validation croisée sont essentielles pour obtenir des estimations fiables. Les comparaisons multiples surviennent lors de l'évaluation de nombreux modèles ou configurations d'hyperparamètres, augmentant la probabilité de trouver des résultats faussement positifs par pur hasard.
Les métriques peuvent également être contournées. Les modèles peuvent exploiter les définitions des métriques pour obtenir des scores élevés sans réelle amélioration de la qualité. Par exemple, le score BLEU peut être artificiellement gonflé en générant un texte qui correspond étroitement aux n-grammes de référence mais manque de fluidité ou de sens. Cela a conduit à des critiques du développement piloté par les métriques dans la recherche en IA, certains plaidant pour des approches d'évaluation plus holistiques.
L'évaluation humaine reste la référence absolue pour de nombreuses tâches, en particulier celles impliquant des qualités subjectives comme la créativité, l'utilité ou la sécurité. Cependant, l'évaluation humaine est coûteuse, lente et peut être incohérente. Des approches hybrides combinant des métriques automatisées avec un examen humain ciblé sont de plus en plus courantes dans les environnements industriels.
Orientations futures
Le domaine de l'évaluation de l'IA évolue activement pour répondre aux limites des métriques actuelles. Des chercheurs d'institutions comme le Stanford AI Lab, le BAIR (Berkeley AI Research) et le MIT CSAIL développent de nouveaux cadres d'évaluation qui capturent mieux les capacités et les risques des modèles.
Les suites de référence comme MMLU, HELM et BIG-bench fournissent des collections standardisées de tâches pour évaluer les grands-modeles-de-langage dans divers domaines. Ces références visent à mesurer les connaissances générales, le raisonnement et le suivi d'instructions, mais elles présentent leurs propres limites, notamment une contamination potentielle lorsque les données de référence apparaissent dans les corpus d'entraînement.
L'évaluation contradictoire consiste à construire délibérément des exemples difficiles pour sonder les faiblesses des modèles. Cette approche a révélé des lacunes significatives en matière de robustesse, où les modèles échouent sur des entrées légèrement perturbées ou hors distribution.
L'évaluation basée sur les processus examine non seulement les sorties, mais aussi les processus de raisonnement et de prise de décision des systèmes d'IA. Cela est particulièrement pertinent pour les applications critiques pour la sécurité, où comprendre pourquoi un modèle a pris une décision particulière est aussi important que la décision elle-même.
À mesure que les systèmes d'IA deviennent plus performants et sont déployés dans des domaines de plus en plus conséquents, le développement de métriques d'évaluation rigoureuses et complètes reste une priorité de recherche critique. Le domaine continue de s'interroger sur des questions fondamentales concernant ce qui constitue une bonne performance, comment la mesurer de manière fiable et comment garantir que les métriques conduisent à des progrès vers des systèmes d'IA véritablement bénéfiques.