L'équité dans l'intelligence artificielle est le principe selon lequel les systèmes d'IA devraient traiter les individus et les groupes de manière équitable, en évitant la discrimination systématique fondée sur des attributs tels que la race, le genre, l'âge ou le statut socio-économique. Cela englobe à la fois les processus techniques de développement des modèles - y compris la collecte de données, la conception d'algorithmes et le déploiement - et les impacts sociétaux plus larges de la prise de décision automatisée. L'équité est un concept contesté, avec de multiples définitions mathématiques et interprétations philosophiques, et elle est devenue une préoccupation centrale dans la recherche en Machine learning et les discussions politiques.
L'équité n'est pas une métrique unique et universellement acceptée, mais une famille de critères qui entrent souvent en conflit les uns avec les autres. Les chercheurs et les praticiens choisissent des définitions en fonction du contexte d'application, des exigences légales et des engagements éthiques. Le domaine s'appuie sur l'informatique, les statistiques, le droit et les sciences sociales, et il recoupe des questions de responsabilité, de transparence et de confidentialité dans les systèmes d'IA.
Contexte historique et émergence
Les préoccupations concernant les biais dans les systèmes automatisés précèdent l'IA moderne, apparaissant dans les premiers outils statistiques et d'aide à la décision. Cependant, le terme « équité » a gagné en importance dans la communauté du Machine learning au cours des années 2010, alors que les modèles de Deep learning étaient largement déployés dans des domaines à enjeux élevés tels que l'embauche, le crédit et la justice pénale. Des études marquantes, comme celles examinant les biais raciaux dans les outils commerciaux d'évaluation des risques, ont suscité un examen académique et public.
En 2016, la Carnegie Mellon University et d'autres institutions ont commencé à publier des articles influents sur l'équité algorithmique, proposant des définitions formelles comme la parité démographique et l'égalité des chances. Le groupe BAIR (Berkeley AI Research) et les chercheurs de Stanford AI Lab ont contribué à des travaux fondamentaux sur la mesure et l'atténuation des biais. En 2018, les grandes entreprises technologiques, y compris Google DeepMind et OpenAI, ont établi des équipes d'éthique dédiées et publié des directives sur l'équité, bien que certains efforts aient ensuite été dissous ou réorganisés.
Définir l'équité : critères clés
Plusieurs définitions formelles de l'équité sont utilisées en pratique, chacune capturant une intuition différente. La parité démographique exige que les prédictions positives d'un modèle soient distribuées également entre les groupes, indépendamment des résultats réels. L'égalité des chances exige que les taux de faux positifs et de faux négatifs soient égaux entre les groupes, garantissant que les erreurs ne soient pas systématiquement concentrées. La calibration exige que les probabilités prédites correspondent aux fréquences réelles au sein de chaque groupe.
Ces critères sont mathématiquement incompatibles dans la plupart des contextes réalistes, un résultat prouvé par des chercheurs, y compris Aleksander Madry et d'autres, en 2019. Par exemple, un modèle ne peut pas simultanément atteindre une calibration parfaite et l'égalité des chances à moins que les taux de base des groupes ne soient identiques. Ce théorème d'impossibilité signifie que l'équité est intrinsèquement un choix chargé de valeurs, et non une optimisation purement technique.
Sources de biais dans les systèmes d'IA
Les biais peuvent entrer dans un système d'IA à plusieurs étapes de son cycle de vie. Le biais de données survient lorsque les ensembles d'entraînement sous-représentent certains groupes ou contiennent des préjugés historiques, comme des décisions d'embauche passées qui favorisaient une démographie particulière. Le biais algorithmique peut émerger de l'architecture du modèle ou des choix d'optimisation, même avec des données équilibrées. Le biais de déploiement se produit lorsqu'un modèle est utilisé dans un contexte différent de son environnement d'entraînement, entraînant des disparités inattendues.
Par exemple, les Large language models entraînés sur du texte Internet peuvent reproduire des stéréotypes présents dans le corpus. Les chercheurs de Anthropic et OpenAI ont documenté des biais de genre et de race dans le texte généré, ce qui a incité à des techniques d'atténuation comme le réglage fin avec des ensembles de données organisés et le apprentissage par renforcement à partir de la rétroaction humaine. En vision par ordinateur, les Neural networks entraînés sur des ensembles de données d'images ont montré une précision plus faible pour les individus à la peau plus foncée, un problème mis en évidence par des études de MIT CSAIL et d'autres.
Stratégies d'atténuation et outils
Les techniques pour améliorer l'équité se répartissent en trois catégories : le pré-traitement, le traitement en cours et le post-traitement. Les méthodes de pré-traitement ajustent les données d'entraînement, comme la repondération des échantillons ou la suppression des attributs sensibles. Les méthodes de traitement en cours modifient l'algorithme d'apprentissage, par exemple en ajoutant des contraintes d'équité à la fonction de perte ou en utilisant un entraînement contradictoire pour réduire les erreurs spécifiques au groupe. Les méthodes de post-traitement modifient les sorties du modèle, comme l'application de seuils de décision différents pour différents groupes.
Plusieurs bibliothèques open-source implémentent ces approches, y compris AI Fairness 360 d'IBM et l'outil What-If de Google. Ces outils permettent aux praticiens de mesurer des métriques comme l'impact disparate et l'égalité des chances, et d'expérimenter des stratégies d'atténuation. Cependant, leur efficacité varie selon le domaine, et aucune méthode unique ne garantit l'équité dans tous les contextes.
Défis et débats en cours
Un défi majeur est le manque de vérité terrain pour l'équité dans de nombreuses applications. Par exemple, dans la police prédictive, il n'existe aucune mesure objective du « vrai » risque de criminalité, ce qui rend difficile d'évaluer si un modèle est biaisé ou précis. De même, dans la notation de crédit, les résultats historiques des prêts reflètent la discrimination passée, donc un modèle entraîné sur eux peut perpétuer les inégalités même s'il satisfait des critères statistiques d'équité.
Un autre débat concerne le compromis entre équité et précision. Certaines études montrent que l'imposition de contraintes d'équité peut réduire la performance globale du modèle, tandis que d'autres soutiennent que la perte est souvent faible ou négligeable. La relation dépend de l'ensemble de données et de la métrique d'équité choisie, et elle reste un domaine de recherche actif.
Enfin, l'équité recoupe d'autres principes éthiques, tels que la transparence et la responsabilité. Un modèle équitable selon une métrique peut être opaque dans sa prise de décision, ce qui rend difficile pour les personnes concernées de contester les résultats. Des chercheurs comme Melanie Mitchell et Brian Christian ont plaidé pour une approche plus large qui considère le contexte social du déploiement de l'IA, plutôt que de se concentrer uniquement sur des définitions mathématiques.
Orientations futures
À mesure que les systèmes d'IA deviennent plus intégrés dans la vie quotidienne, l'équité restera probablement un domaine d'étude critique. Des travaux émergents explorent l'équité dans les modèles génératifs, tels que les systèmes de Generative AI qui produisent des images ou du texte, et dans l'apprentissage par renforcement, où les décisions séquentielles peuvent amplifier les biais. Les collaborations interdisciplinaires entre informaticiens, juristes et spécialistes des sciences sociales se développent, et les cadres réglementaires dans l'Union européenne et ailleurs commencent à exiger des évaluations d'équité pour les applications d'IA à haut risque.
Les avancées techniques, telles que des techniques plus robustes de Data Augmentation et de Model Pruning, peuvent également contribuer à des modèles plus équitables. Cependant, de nombreux experts avertissent que l'équité ne peut pas être entièrement automatisée ; elle nécessite un jugement humain continu et une supervision institutionnelle. Le domaine reste donc un espace dynamique et contesté, reflétant des questions sociétales plus larges sur l'équité et la justice.