L'égalité des chances est un critère permettant d'évaluer et de garantir l'équité dans les systèmes de classification en apprentissage automatique. Formellement, un prédicteur \(\hat{Y}\) satisfait l'égalité des chances par rapport à un attribut protégé \(A\) (tel que la race, le genre ou l'âge) et une étiquette de vérité terrain \(Y\) si \(P(\hat{Y} = 1 | A = a, Y = y) = P(\hat{Y} = 1 | A = b, Y = y)\) pour tous les groupes \(a, b\) et tous les résultats \(y \in \{0,1\}\). En termes simples, le classifieur doit avoir le même taux de vrais positifs (rappel) et le même taux de faux positifs dans tous les groupes protégés, conditionnellement au résultat réel. Ce concept a été introduit dans un article de 2016 par Moritz Hardt, Eric Price et Nathan Srebro, qui l'ont proposé comme alternative aux notions plus simples de parité démographique qui ignorent la distribution des étiquettes.
L'égalité des chances est souvent contrastée avec la parité démographique, qui exige uniquement des taux de prédiction égaux entre les groupes sans conditionner sur l'étiquette réelle. En conditionnant sur \(Y\), l'égalité des chances vise à capturer l'idée que les erreurs devraient être également réparties : un individu qualifié de n'importe quel groupe devrait avoir la même chance d'être classé positivement, et un individu non qualifié devrait avoir la même chance d'être incorrectement accepté. Cela rend l'égalité des chances particulièrement pertinente dans des domaines à enjeux élevés tels que l'embauche, le prêt, la justice pénale et les soins de santé, où des taux d'erreur disparates peuvent perpétuer des biais systémiques.
Définition formelle et composantes
La condition d'égalité des chances peut être décomposée en deux contraintes d'égalité distinctes : l'égalité des opportunités et l'égalité des taux de faux positifs. Le critère d'égalité des opportunités, également introduit dans le même travail, exige des taux de vrais positifs égaux entre les groupes, c'est-à-dire \(P(\hat{Y} = 1 | A = a, Y = 1) = P(\hat{Y} = 1 | A = b, Y = 1)\). Cela garantit que parmi les individus qui devraient être classés positivement, tous les groupes reçoivent le même taux de prédictions correctes. La deuxième composante, l'égalité des taux de faux positifs, exige que \(P(\hat{Y} = 1 | A = a, Y = 0) = P(\hat{Y} = 1 | A = b, Y = 0)\), garantissant que les résultats négatifs ne sont pas sur-prédits pour aucun groupe.
Lorsque les deux conditions sont simultanément satisfaites, le classifieur est dit satisfaire l'égalité des chances. En pratique, atteindre les deux contraintes d'égalité peut être impossible lorsque les taux de base diffèrent entre les groupes, ce qui entraîne des compromis entre les deux composantes. Certaines applications assouplissent l'exigence pour ne retenir que l'égalité des opportunités, en particulier lorsque les faux positifs sont moins conséquents que les faux négatifs.
Implémentation dans les systèmes d'apprentissage automatique
L'application de l'égalité des chances nécessite souvent des techniques de post-traitement ou de traitement intégré. Une approche courante de post-traitement consiste à entraîner un classifieur sans contraintes d'équité, puis à ajuster le seuil de décision séparément pour chaque groupe en fonction des scores proposés. Hardt, Price et Srebro ont montré qu'avec accès aux étiquettes réelles et à l'appartenance au groupe, on peut calibrer de manière optimale les seuils pour satisfaire l'égalité des chances tout en minimisant la perte globale. Cette méthode nécessite toutefois des données étiquetées et peut ne pas s'étendre à des contextes entièrement non contraints.
Les méthodes de traitement intégré intègrent les contraintes d'équité directement dans la fonction de perte pendant l'entraînement. Par exemple, ajouter un terme de pénalité qui mesure la différence des taux d'erreur entre les groupes, ou utiliser un entraînement adversarial où un discriminateur tente de prédire l'appartenance au groupe à partir de la sortie du classifieur. Ces approches sont souvent utilisées dans les pipelines modernes de Deep learning, où l'optimisation par gradient avec Adam (Optimizer) ou Stochastic Gradient Descent Variants peut accommoder des pénalités d'équité différentiables.
Des travaux récents ont étendu l'égalité des chances à des modèles plus complexes, y compris les architectures de Neural network et les systèmes de Generative AI. Cependant, mesurer l'égalité des chances dans des contextes multi-classes ou de régression reste difficile, car la définition binaire ne se généralise pas directement. Les chercheurs ont proposé des extensions multivariées et des mesures de calibration conditionnelles au groupe, mais aucun standard unique ne domine.
Relation avec d'autres notions d'équité
L'égalité des chances s'inscrit dans une famille plus large de critères d'équité statistique. La parité démographique, également connue sous le nom de parité statistique, exige que \(P(\hat{Y} = 1 | A = a) = P(\hat{Y} = 1 | A = b)\), ce qui est plus fort dans le sens où elle contraint les taux de prédiction globaux, mais peut être satisfaite même lorsque les taux d'erreur diffèrent. La calibration, en revanche, exige que pour toute probabilité prédite \(p\), la probabilité de résultat réel soit \(p\) pour tous les groupes, ce qui est lié à l'égalité des chances mais ne l'implique pas.
Le résultat d'impossibilité fondateur de Jon Kleinberg, Sendhil Mullainathan et Manish Raghavan (2016) a montré que lorsque les taux de base diffèrent, aucun classifieur ne peut satisfaire simultanément la calibration, l'égalité des chances et la parité démographique, sauf s'il est parfait. Ce compromis a suscité un débat sur la métrique d'équité la plus appropriée pour des applications spécifiques. L'égalité des chances est souvent privilégiée dans des contextes où les erreurs ont des coûts asymétriques, comme le diagnostic médical où manquer une condition (faux négatif) est plus nocif qu'un faux positif.
Critiques et limites
Une critique de l'égalité des chances est qu'elle suppose que l'étiquette de vérité terrain \(Y\) est non biaisée. Si les étiquettes historiques sont elles-mêmes entachées de discrimination, l'égalité des chances peut perpétuer les disparités existantes plutôt que de les corriger. Par exemple, si les dossiers d'arrestation sous-représentent certaines communautés, un classifieur entraîné sur ces étiquettes avec l'égalité des chances peut toujours désavantager ces groupes. Cette question souligne l'importance d'une collecte de données et d'un audit des étiquettes minutieux.
Une autre limite est que l'égalité des chances ne tient pas compte des conséquences des erreurs au niveau individuel ; elle ne considère que les taux au niveau du groupe. Deux groupes peuvent avoir des taux de vrais et faux positifs identiques, mais l'impact en aval de ces erreurs pourrait différer considérablement en raison de différences dans l'allocation des ressources ou le contexte social. De plus, le cadre de résultats binaires ne capture pas les contextes de classement ou de scoring, où les seuils ne sont pas fixes.
Applications et recherche actuelle
L'égalité des chances a été appliquée dans des domaines tels que le scoring de crédit, la prédiction de récidive (par exemple, avec des outils comme COMPAS) et l'embauche algorithmique. Des entreprises et des laboratoires de recherche, y compris Google DeepMind et des groupes de University of Oxford, ont exploré l'intégration de contraintes d'équité dans des systèmes réels. Par exemple, des modèles de classification équitables ont été testés dans les soins de santé pour prédire la réadmission des patients, où des taux de faux négatifs différentiels entre groupes raciaux ont été observés.
La recherche contemporaine se concentre sur l'assouplissement de l'exigence stricte d'égalité des chances pour tenir compte des étiquettes bruitées, des informations de groupe manquantes et des attributs protégés continus. L'équité dans les sorties de Large language model a également émergé, bien que mesurer l'égalité des chances pour la génération de texte soit non trivial. Au milieu des années 2020, aucun consensus n'existe sur une métrique d'équité universelle, mais l'égalité des chances reste un concept fondamental dans la littérature sur l'équité algorithmique, enseigné dans des cours à des institutions comme Stanford AI Lab et MIT CSAIL.
Voir aussi
- parité démographique (non inclus dans les slugs fournis, omis)
- équité algorithmique (non inclus dans les slugs fournis, omis)
(Note : la section voir aussi est omise en raison du manque de slugs pertinents.)
Références
- Hardt, M., Price, E., Srebro, N. (2016). Equality of Opportunity in Supervised Learning.
- Kleinberg, J., Mullainathan, S., Raghavan, M. (2016). Inherent Trade-Offs in the Fair Determination of Risk Scores.