Le biais algorithmique désigne la discrimination systématique et injuste produite par un système algorithmique, le plus souvent un modèle de apprentissage automatique dont les prédictions ou les sorties désavantagent des groupes particuliers définis par la race, le genre, l'âge ou d'autres caractéristiques protégées. Parce que ces systèmes apprennent des motifs statistiques à partir de données d'entraînement, ils tendent à reproduire, et peuvent amplifier, les biais déjà présents dans ces données ou introduits par la manière dont un problème est formulé, étiqueté ou évalué. Le biais algorithmique est une préoccupation centrale de l'éthique de l'IA et a motivé à la fois des recherches techniques sur l'atténuation et un examen juridique des systèmes déployés.
Sources de biais
Les chercheurs distinguent couramment plusieurs sources. Le biais historique existe dans les données elles-mêmes, par exemple lorsque des décisions d'embauche passées reflétaient une discrimination qu'un modèle apprend ensuite à reproduire. Le biais de représentation survient lorsque certains groupes sont sous-représentés dans un ensemble de données, ce qui dégrade la précision du modèle pour eux ; cela a été au cœur de l'audit « Gender Shades » de 2018 mené par Joy Buolamwini et Timnit Gebru, qui a révélé que les systèmes commerciaux de reconnaissance faciale étaient nettement moins performants sur les femmes à la peau foncée que sur les hommes à la peau claire. Le biais de mesure se produit lorsque le proxy qu'un modèle est entraîné à prédire, comme les taux d'arrestation comme substitut de la criminalité, est lui-même une mesure biaisée du concept sous-jacent. Le biais d'agrégation résulte de l'application d'un modèle unique à des groupes pour lesquels les relations sous-jacentes diffèrent.
Cas très médiatisés
Plusieurs cas documentés ont façonné le débat public et académique. L'outil de prédiction de récidive COMPAS, utilisé dans les tribunaux américains, a fait l'objet d'une enquête de ProPublica en 2016 qui a révélé que le système signalait les prévenus noirs comme présentant un risque futur presque deux fois plus souvent que les prévenus blancs par rapport aux taux réels de récidive, bien que les chercheurs aient ensuite débattu de la définition statistique de l'équité sur laquelle reposait cette conclusion. Amazon a abandonné un outil interne de recrutement par IA en 2018 après avoir découvert qu'il pénalisait les CV contenant le mot « femmes », un motif appris à partir d'une décennie de données d'embauche à prédominance masculine. Les audits de reconnaissance faciale, y compris l'étude de 2019 du National Institute of Standards and Technology des États-Unis portant sur plus de 100 systèmes, ont constamment révélé des taux d'erreur plus élevés pour les femmes et les personnes à la peau plus foncée, ce qui a conduit plusieurs villes américaines à interdire l'utilisation de cette technologie par la police et certains fournisseurs à suspendre leurs ventes aux forces de l'ordre.
Atténuation et mesure
Les réponses techniques comprennent l'audit des modèles par rapport à des mesures d'équité telles que la parité démographique ou l'égalité des chances, le rééquilibrage ou l'augmentation des données d'entraînement, et l'application d'ajustements post-traitement aux sorties du modèle ; une vaste littérature de recherche a également montré que différentes définitions de l'équité peuvent être mathématiquement incompatibles entre elles, ce qui signifie que satisfaire une mesure peut exiger d'en violer une autre. Les outils d'IA explicable sont fréquemment utilisés en complément des audits d'équité pour aider à identifier quelles caractéristiques d'entrée génèrent des résultats disparates. Les préoccupations concernant les biais se sont également étendues à l'ère des grands modèles de langage, où les chercheurs ont documenté des associations stéréotypées dans les textes et images générés, y compris dans les systèmes de texte vers image.
Réponse en matière de gouvernance
Le biais algorithmique est devenu une justification récurrente de la réglementation, apparaissant explicitement dans la catégorisation des risques de l'AI Act de l'UE et dans des propositions américaines antérieures telles que l'Algorithmic Accountability Act. Il reste l'un des préjudices les plus contestés et les plus documentés empiriquement dans le domaine plus large de l'gouvernance de l'IA.