Les métriques d'équité sont des mesures quantitatives utilisées pour évaluer si les prédictions ou les décisions d'un modèle d'apprentissage automatique traitent les individus ou les groupes de manière équitable. Ces métriques sont au cœur du domaine de l'équité en apprentissage automatique, qui vise à corriger les biais algorithmiques dans les processus de décision automatisés. Les décisions prises par ces modèles peuvent être considérées comme injustes si elles reposent sur des variables jugées sensibles, telles que le genre, l'origine ethnique, l'orientation sexuelle ou le handicap. Comme pour de nombreux concepts éthiques, les définitions de l'équité et du biais peuvent être controversées, et les métriques d'équité offrent un moyen formel et opérationnel d'évaluer les notions concurrentes d'équité dans des systèmes qui affectent la vie des personnes, comme l'embauche, le crédit, la justice pénale et la diffusion de contenu.
Le développement des métriques d'équité est un axe de recherche relativement récent en apprentissage automatique, avec une forte augmentation des travaux depuis 2016. Cette hausse a été en partie déclenchée par un rapport influent de ProPublica en 2016 affirmant que COMPAS, un logiciel largement utilisé dans les tribunaux américains pour prédire la récidive, était biaisé sur le plan racial. Le rapport soulignait que les prévenus noirs étaient presque deux fois plus susceptibles que les prévenus blancs d'être incorrectement étiquetés comme présentant un risque plus élevé, tandis que l'erreur inverse se produisait pour les prévenus blancs. Northepointe Inc., le créateur de COMPAS, a contesté ces conclusions, mais la controverse a souligné la nécessité de définitions explicites et mesurables de l'équité. Les discussions quantitatives sur l'équité dans la prise de décision précèdent l'ère de l'apprentissage automatique, prospérant au milieu des années 1960 et dans les années 1970 après la loi américaine sur les droits civils de 1964, bien que le débat ait largement disparu à la fin des années 1970 en raison de notions concurrentes de l'équité.
Critères d'équité statistique
Les métriques d'équité sont souvent classées selon la notion statistique d'équité qu'elles encodent. Un groupe courant est l'équité de groupe, qui exige que les résultats soient similaires entre les groupes protégés. La parité démographique, également connue sous le nom de parité statistique, exige que la probabilité d'une prédiction positive soit égale entre les groupes. L'égalité des chances exige que le taux de vrais positifs et le taux de faux positifs soient égaux entre les groupes, ce qui signifie que le modèle performe également bien pour tous les groupes. L'égalité des opportunités est une version assouplie qui se concentre uniquement sur l'égalité des taux de vrais positifs. Les métriques basées sur la calibration, telles que la calibration par groupe, exigent que pour les individus pour lesquels une certaine probabilité de résultat est prédite, la fréquence réelle du résultat soit la même entre les groupes. Ces critères sont souvent mutuellement incompatibles ; satisfaire l'un peut violer un autre, ce qui rend impossible de les atteindre tous simultanément dans la plupart des contextes réels.
Équité individuelle et contrefactuelle
Au-delà des métriques au niveau du groupe, l'équité peut être évaluée au niveau individuel. L'équité individuelle, proposée par des chercheurs, y compris des universitaires de Carnegie Mellon University, exige que des individus similaires reçoivent des prédictions similaires. Cela est généralement formalisé à l'aide d'une métrique de distance qui capture les caractéristiques pertinentes, garantissant que deux personnes semblables à tous égards non sensibles soient traitées de la même manière. L'équité contrefactuelle étend cette idée en demandant si une prédiction changerait si un attribut sensible, tel que la race ou le genre, était différent tout en maintenant tout le reste constant. Si le résultat différerait, le modèle est considéré comme injuste. Ces approches sont plus granulaires mais nécessitent une spécification minutieuse des relations de similarité et de causalité, ce qui peut être difficile en pratique.
Sources de biais dans les modèles
Les métriques d'équité sont utilisées pour détecter les biais provenant de diverses sources. Le biais linguistique est un type de biais d'échantillonnage statistique lié à la langue d'une requête, entraînant une déviation systématique dans l'échantillonnage de l'information qui empêche une représentation précise des sujets et des points de vue dans un référentiel. Les recherches de Luo et al. montrent que les grands modèles de langage actuels, principalement entraînés sur des données en anglais, présentent souvent les points de vue anglo-américains comme une vérité tout en minimisant les perspectives non anglophones. Par exemple, lorsqu'on interroge un modèle sur des idéologies politiques comme le libéralisme, il peut mettre l'accent sur les droits de l'homme et l'égalité d'un point de vue anglo-américain tout en omettant des aspects comme « l'opposition à l'intervention de l'État dans la vie personnelle et économique » d'un point de vue vietnamien ou « la limitation du pouvoir gouvernemental » d'un point de vue chinois. Le biais de genre est un autre problème courant, où les modèles attribuent des rôles et des caractéristiques basés sur des normes de genre traditionnelles, comme associer les infirmières ou les secrétaires aux femmes et les ingénieurs ou les PDG aux hommes. Le biais politique émerge également lorsque les données d'entraînement contiennent une large gamme d'opinions, ce qui amène les modèles à pencher vers certaines idéologies en fonction de leur prévalence.
Mesure du biais en pratique
Pour appliquer les métriques d'équité, les praticiens définissent généralement les attributs protégés (par exemple, la race, le genre, l'âge), sélectionnent une métrique appropriée (par exemple, l'égalité des chances) et calculent la métrique sur un ensemble de données de validation. Pour la classification binaire, des matrices de confusion sont utilisées pour dériver des taux comme les faux positifs et les faux négatifs pour chaque groupe. L'impact disparate, une métrique courante, est calculé comme le rapport des taux de prédiction positive entre les groupes défavorisés et avantagés ; un rapport inférieur à 0,8 est souvent considéré comme un signal d'alarme, conformément aux directives de la Commission américaine pour l'égalité des chances en matière d'emploi. Des outils ont été développés pour faciliter ce processus. IBM a publié des boîtes à outils open source pour Python et R avec des algorithmes pour réduire les biais et augmenter l'équité. Google a publié des directives et des outils pour étudier et combattre les biais dans l'apprentissage automatique. Facebook a signalé l'utilisation d'un outil appelé Fairness Flow pour détecter les biais dans son IA, bien que les critiques soutiennent que les efforts de l'entreprise sont insuffisants, notant une faible utilisation par les employés car il ne peut pas être appliqué à tous les programmes et son utilisation est facultative.
Études de cas et controverses
L'utilisation de la prise de décision algorithmique dans le système juridique a été un domaine de scrutiny notable. En 2014, le procureur général américain Eric Holder a soulevé des préoccupations selon lesquelles les méthodes d'évaluation des risques pourraient mettre un accent indu sur des facteurs ne relevant pas du contrôle d'un prévenu, tels que le niveau d'éducation ou le milieu socio-économique. Le rapport de ProPublica en 2016 sur COMPAS a conduit à un débat approfondi sur la métrique d'équité appropriée ; ProPublica a utilisé une métrique liée aux taux de faux positifs, tandis que Northepointe a plaidé pour une équité basée sur la calibration. Ce cas illustre la tension fondamentale entre différentes définitions de l'équité. Au-delà de la justice pénale, des biais ont été documentés dans la reconnaissance d'images. En 2015, Google s'est excusé après que Google Photos a étiqueté par erreur un couple noir comme des gorilles. La fonction d'auto-étiquetage de Flickr a étiqueté certaines personnes noires comme des « singes » et des « animaux ». Un concours de beauté international de 2016 jugé par un algorithme d'IA a favorisé les individus à la peau plus claire, probablement en raison d'un biais dans les données d'entraînement. Une étude de 2018 sur trois algorithmes commerciaux de classification de genre a révélé qu'ils étaient les plus précis pour les hommes à la peau claire et les moins précis pour les femmes à la peau foncée. En 2020, un outil de recadrage d'images de Twitter a montré une préférence pour les visages à la peau plus claire. En 2022, les créateurs du modèle texte-image DALL-E 2 ont reconnu que les images générées étaient significativement stéréotypées.
Limites et recherche en cours
Les métriques d'équité ne sont pas une panacée. Il n'existe pas de définition universelle de l'équité, et différentes métriques peuvent se contredire, ce qui rend difficile l'évaluation des modèles. Choisir une métrique implique intrinsèquement des jugements de valeur sur ce qui constitue l'équité dans un contexte donné. De plus, les métriques ne mesurent que des schémas statistiques ; elles ne traitent pas les causes profondes des biais, telles que la collecte biaisée de données ou les inégalités sociétales. La recherche se poursuit sur les origines des biais, les types de biais et les méthodes pour les réduire. Des techniques comme l'augmentation des données, le rééchantillonnage et le débiasage contradictoire sont utilisées pour améliorer les scores d'équité, mais elles peuvent compromettre la précision du modèle. Au milieu des années 2020, le domaine reste actif, avec des travaux en cours dans des domaines comme l'équité causale et l'équité intersectionnelle, qui considère plusieurs attributs protégés simultanément. Les entreprises technologiques et les institutions académiques, y compris Stanford AI Lab et Berkeley AI Research, continuent de contribuer à cette discipline en évolution.
Considérations pratiques pour le déploiement
Lors du déploiement de systèmes d'apprentissage automatique dans des domaines à enjeux élevés, les organisations doivent soigneusement sélectionner des métriques d'équité qui s'alignent sur les exigences légales et éthiques. Par exemple, dans l'embauche, l'égalité des opportunités peut être priorisée pour garantir que les candidats qualifiés de tous les groupes ne soient pas négligés. Dans le crédit, la calibration pourrait être mise en avant pour garantir que les scores de risque soient précis pour toutes les démographies. Il est également important de surveiller l'équité au fil du temps, car les modèles peuvent dériver et de nouveaux biais peuvent émerger. La documentation et la transparence sont essentielles ; de nombreuses organisations publient désormais des fiches de modèles qui rapportent les métriques d'équité entre les groupes. Cependant, comme le montre le cas COMPAS, même les modèles bien documentés peuvent faire face à des litiges sur la métrique correcte. En fin de compte, les métriques d'équité sont un outil de responsabilité, mais elles nécessitent un jugement humain pour être interprétées et mises en œuvre. L'objectif plus large est de construire des systèmes qui non seulement performent bien sur des métriques agrégées, mais respectent également la dignité individuelle et promeuvent l'équité sociale.
Orientations futures
La recherche future sur les métriques d'équité devra probablement relever plusieurs défis. L'un d'eux est le développement de métriques robustes aux petites tailles d'échantillons pour les groupes minoritaires, où les estimations statistiques sont bruitées. Un autre est la création de métriques pour des sorties complexes, telles que les modèles génératifs qui produisent du texte ou des images, où les métriques de classification traditionnelles ne s'appliquent pas. Par exemple, évaluer l'équité dans l'IA générative nécessite de nouvelles approches pour détecter le contenu stéréotypé ou biaisé. Il y a également un intérêt croissant pour les approches participatives, où les communautés affectées aident à définir ce que signifie l'équité dans leur contexte. Alors que l'apprentissage automatique devient plus omniprésent, des systèmes d'IA dans les soins de santé aux véhicules autonomes, la demande de métriques d'équité rigoureuses et sensibles au contexte ne fera qu'augmenter. Le domaine est interdisciplinaire, s'appuyant sur l'informatique, les statistiques, le droit et la philosophie, et il reste un domaine actif à la fois de recherche académique et de pratique industrielle.