La détection hors distribution (OOD) est un sous-domaine de l'apprentissage automatique qui s'intéresse à l'identification d'entrées n'appartenant pas à la même distribution statistique que les données sur lesquelles un modèle a été entraîné. Dans les systèmes déployés, les modèles rencontrent souvent des entrées nouvelles, anormales, ou provenant de domaines différents, et ne pas les reconnaître peut conduire à des prédictions incorrectes avec des conséquences potentiellement graves. La détection OOD vise à signaler ces entrées afin que les systèmes puissent répondre de manière appropriée, par exemple en s'abstenant, en escaladant vers un humain, ou en déclenchant un mécanisme de repli.
Le problème est distinct de tâches connexes comme la détection d'anomalies ou la détection de nouveauté, bien que les termes soient parfois utilisés de manière interchangeable. La détection OOD suppose typiquement une distribution d'entraînement connue et se concentre sur les entrées situées en dehors de son support, tandis que la détection d'anomalies peut également considérer des événements rares au sein de la distribution. Dans l'apprentissage profond moderne, la détection OOD est devenue un composant critique pour déployer des réseaux de neurones dans des domaines critiques pour la sécurité, tels que la conduite autonome, le diagnostic médical, et la détection de fraude financière.
Méthodes et approches
Les premières méthodes de détection OOD reposaient sur les scores de confiance softmax des réseaux de classification, observant que les modèles tendent à assigner une confiance plus faible aux entrées OOD. Cependant, les réseaux de neurones sont souvent trop confiants, et cette approche s'est révélée peu fiable. Des recherches ultérieures ont introduit des techniques plus robustes, y compris la mise à l'échelle de température, qui ajuste la distribution softmax pour mieux séparer les échantillons dans la distribution et OOD. La méthode connue sous le nom d'ODIN (détecteur hors distribution pour réseaux de neurones) combine la mise à l'échelle de température avec un prétraitement d'entrée pour amplifier la différence.
Une autre ligne de travail utilise des métriques basées sur la distance dans l'espace des caractéristiques. Des modèles comme les approches de plus proche voisin profond (DNN) calculent la distance entre la représentation caractéristique d'une entrée de test et les centroïdes des classes d'entraînement, signalant les entrées éloignées de tous les centroïdes. Les méthodes basées sur la distance de Mahalanobis modélisent la distribution des caractéristiques comme une gaussienne multivariée et utilisent la distance de Mahalanobis comme score, montrant de fortes performances sur des ensembles de données de référence.
Les modèles génératifs ont également été employés pour la détection OOD. Des approches utilisant des modèles d'IA générative, tels que les autoencodeurs variationnels(VAE) et les réseaux antagonistes génératifs(GAN), tentent de modéliser explicitement la distribution d'entraînement et de mesurer la vraisemblance d'une entrée de test sous ce modèle. Cependant, les méthodes basées sur la vraisemblance ont montré qu'elles assignent parfois une vraisemblance plus élevée aux entrées OOD, un phénomène contre-intuitif qui a stimulé des recherches supplémentaires sur les raisons pour lesquelles les modèles génératifs profonds se comportent ainsi.
Évaluation et références
Les références standard pour la détection OOD incluent des ensembles de données comme CIFAR-10, CIFAR-100, et ImageNet comme données dans la distribution, avec des ensembles OOD tirés d'autres ensembles de données tels que SVHN, Tiny ImageNet, ou LSUN. Les métriques couramment utilisées incluent l'aire sous la courbe caractéristique de fonctionnement du récepteur(AUROC,, le taux de faux positifs à un taux de vrais positifs fixé(FPR@TPR, et le taux d'erreur de détection. Ces métriques permettent aux chercheurs de comparer les méthodes à travers différents réglages et seuils.
Ces dernières années, les références se sont élargies pour inclure des scénarios plus difficiles, tels que le décalage sémantique(où les entrées OOD proviennent de classes nouvelles) et le décalage de covariable(où la distribution d'entrée change mais l'espace des étiquettes reste le même(. La référence OpenOOD, introduite en 2021, fournit un cadre unifié pour évaluer les méthodes de détection OOD à travers plusieurs tâches et ensembles de données, aidant à standardiser les comparaisons.
Défis et limites
Malgré les progrès, la détection OOD reste un problème ouvert. Un défi majeur est le problème de surconfiance: les réseaux profonds produisent souvent des prédictions à haute confiance pour des entrées éloignées de la distribution d'entraînement. Cela est particulièrement problématique dans les grands modèles de langage(LLM,, où l'espace d'entrée est discret et de haute dimensionnalité, rendant difficile la définition de ce qui constitue une entrée OOD. Pour les modèles basés sur Transformer (architecture), la détection OOD implique souvent l'analyse des probabilités au niveau des jetons ou des plongements, mais ces méthodes en sont encore à leurs débuts.
Un autre défi est la malédiction de la dimensionnalité. Dans les espaces de haute dimensionnalité, les distances deviennent moins significatives, et l'estimation de densité devient intraitable. Cela affecte les méthodes basées sur la distance et sur la vraisemblance de manière égale. De plus, les méthodes de détection OOD sont souvent sensibles au choix des hyperparamètres et à l'architecture spécifique, rendant difficile la généralisation à travers les modèles.
Il existe également une limite théorique: sans hypothèses sur la distribution OOD, il est impossible de garantir une détection parfaite. Cela a conduit à des recherches sur la détection OOD robuste de manière prouvable, qui nécessite souvent des hypothèses restrictives sur le processus de génération des données.
Applications et orientations futures
La détection OOD est largement appliquée dans les systèmes critiques pour la sécurité. Dans la conduite autonome, par exemple, un système de perception doit reconnaître lorsqu'il rencontre un objet ou une scène non vus pendant l'entraînement, comme un obstacle routier inhabituel. Des entreprises comme Waymo et Tesla investissent dans une détection OOD robuste pour prévenir les accidents. Dans les soins de santé, la détection OOD aide à signaler les images médicales qui diffèrent de l'ensemble d'entraînement, réduisant le risque de mauvaise diagnose. Dans la finance, elle peut identifier les transactions frauduleuses qui s'écartent des schémas normaux.
Pour les grands modèles de langage, la détection OOD est utilisée pour identifier les invites qui sont hors de portée ou adverses, aidant à atténuer l'hallucination et le mauvais usage. La recherche dans ce domaine est en cours, avec des méthodes qui exploitent les représentations internes des Transformer (architecture)s ou l'incertitude des jetons générés.
Les orientations futures incluent le développement de méthodes de détection OOD qui sont agnostiques au modèle et peuvent être appliquées à travers différentes architectures, y compris les réseaux de neurones et les Transformer (architecture)s. Il y a également un intérêt pour l'apprentissage continu, où les modèles doivent détecter les entrées OOD tout en s'adaptant à de nouvelles distributions au fil du temps. À mesure que les systèmes d'IA deviennent plus omniprésents, une détection OOD fiable sera essentielle pour construire des systèmes dignes de confiance et robustes.
Voir aussi
- anomaly-detection
- confidence-calibration
- distribution-shift
- robustesse