Algorithms of Oppression: How Search Engines Reinforce Racism est un livre de 2018 écrit par la chercheuse en médias Safiya Umoja Noble. Il examine comment les moteurs de recherche commerciaux, en particulier Google, perpétuent et amplifient les préjugés raciaux et de genre. Noble soutient que la prise de décision algorithmique n'est pas neutre mais reflète les valeurs et les intérêts de leurs créateurs ainsi que les données sur lesquelles ils sont formés, conduisant à des résultats néfastes pour les groupes marginalisés, en particulier les femmes noires et les autres femmes de couleur.
Le livre est issu des recherches doctorales de Noble et est devenu un texte fondateur dans les domaines des études critiques des algorithmes, de la justice des données et de la sociologie numérique. Il remet en question l'hypothèse courante selon laquelle les résultats de recherche sont objectifs et les présente plutôt comme une forme de pouvoir social et politique pouvant renforcer les hiérarchies existantes. En analysant des requêtes de recherche spécifiques et leurs résultats, Noble démontre comment les stéréotypes sont intégrés dans l'architecture d'Internet, affectant tout, des opportunités d'emploi à la sécurité personnelle.
Contexte historique et motivation
Noble a commencé ses recherches au début des années 2010, une période où Google était devenu la passerelle dominante vers l'information en ligne. Sa motivation découlait d'expériences personnelles et d'observations de résultats de recherche troublants. Par exemple, rechercher « black girls » renvoyait souvent du contenu pornographique, tandis que les recherches pour « Latina » ou « Asian » faisaient également apparaître des images sexualisées. Ces résultats n'étaient pas des anomalies mais des schémas systématiques reflétant des préjugés sociétaux plus larges.
Le livre situe ces constatations dans une histoire plus longue de représentations racistes et sexistes dans les médias et la technologie. Noble établit des parallèles entre les stéréotypes du cinéma et de la publicité précoces et les résultats algorithmiques des moteurs de recherche modernes. Elle soutient que les moteurs de recherche ne sont pas de simples outils mais des « gardiens de l'information » qui façonnent la connaissance et la perception publiques, souvent d'une manière qui nuit aux communautés marginalisées.
Argument central : la recherche comme site d'oppression
La thèse centrale de Noble est que les moteurs de recherche fonctionnent comme une « nouvelle forme d'oppression raciale et sexuelle ». Elle affirme que les algorithmes derrière ces plateformes ne sont pas des formules mathématiques neutres mais sont imprégnés des préjugés de leurs programmeurs, des données qu'ils utilisent et des incitations commerciales des entreprises qui les gèrent. Le livre introduit le concept d'« oppression algorithmique » pour décrire comment les systèmes automatisés peuvent désavantager systématiquement certains groupes.
Un exemple clé est la recherche de « beautiful » ou « professional » qui renvoyait souvent des images de femmes blanches, tandis que les recherches pour « ugly » ou « unprofessional » présentaient de manière disproportionnée des personnes de couleur. Noble soutient que ces résultats ne sont pas accidentels mais sont le produit d'une boucle de rétroaction : des données biaisées conduisent à des résultats biaisés, qui à leur tour renforcent et normalisent ces préjugés dans la société. Ce processus est aggravé par le fait que les algorithmes de classement de Google privilégient la popularité et la valeur commerciale au détriment de l'exactitude ou de l'équité.
Le rôle des intérêts commerciaux
Noble souligne que la motivation principale d'entreprises comme Google est le profit, et non la justice sociale. Les résultats de recherche sont influencés par les revenus publicitaires, les entreprises payant pour que leur contenu apparaisse en haut des pages de résultats. Cette logique commerciale peut exacerber les préjugés, car les annonceurs peuvent cibler ou exclure certains groupes démographiques en fonction de stéréotypes. Le livre soutient que la nature « gratuite » des services de recherche masque l'exploitation économique sous-jacente, où les données des utilisateurs sont marchandisées et utilisées pour prédire et façonner le comportement.
Elle aborde également le manque de transparence dans les processus algorithmiques. Les algorithmes de classement de Google sont des secrets commerciaux propriétaires, ce qui rend difficile pour les chercheurs ou le public de comprendre pourquoi certains résultats apparaissent. Cette opacité permet aux préjugés de persister sans responsabilité. Noble appelle à une réglementation et une surveillance accrues de ces entités privées puissantes, soutenant qu'elles fonctionnent comme des services publics de fait.
Études de cas et preuves
Noble fournit des études de cas détaillées pour étayer ses arguments. Un chapitre analyse les résultats de recherche pour « Dolly Parton » par rapport à « Dolly the Sheep », montrant comment l'interprétation du contexte par l'algorithme peut conduire à des résultats trompeurs ou offensants. Un autre examine la recherche « why are black women so angry », qui renvoyait un mélange de stéréotypes et d'articles pseudo-scientifiques, illustrant comment l'algorithme amplifie les tropes négatifs.
Elle explore également l'impact de ces préjugés sur les résultats concrets. Par exemple, elle discute de la façon dont les employeurs utilisent les résultats de recherche pour filtrer les candidats à un emploi, et comment la réputation en ligne d'une personne peut être injustement ternie par du contenu généré algorithmiquement. Le livre met en lumière le cas d'une femme dont le nom était associé à des sites pornographiques en raison d'une manipulation du moteur de recherche, démontrant les préjudices tangibles des biais algorithmiques.
Intersectionnalité et identité
Une contribution significative du livre est son approche intersectionnelle, s'appuyant sur les travaux de chercheuses comme Kimberlé Crenshaw. Noble montre que les effets des biais algorithmiques ne sont pas uniformes mais sont aggravés pour les individus qui détiennent plusieurs identités marginalisées. Les femmes noires, par exemple, font face à la fois à la discrimination raciale et sexuelle, ce qui se reflète dans les résultats de recherche particulièrement dégradants qu'elles rencontrent. Le livre soutient que toute analyse de la technologie doit considérer comment la race, le genre, la classe et d'autres facteurs se croisent.
Noble aborde également les expériences d'autres groupes, y compris les communautés latino-américaines et asiatiques, et comment ils sont stéréotypés de différentes manières. Elle note que certains préjugés sont manifestes, tandis que d'autres sont plus subtils, comme la surreprésentation des visages blancs dans les recherches d'images pour des rôles professionnels. Cette subtilité rend le biais plus difficile à détecter et à contester.
Réponses et critiques
Algorithms of Oppression a reçu un large succès et a été nominé pour plusieurs prix, notamment le prix du meilleur livre en sciences de l'information de l'Association for Information Science and Technology (ASIS&T) en 2019. Il a été salué pour rendre des questions techniques complexes accessibles à un large public et pour avoir suscité d'importantes conversations sur l'éthique dans la technologie.
Certains critiques ont soutenu que l'accent mis par Noble sur Google est trop étroit, étant donné que d'autres plateformes comme Facebook et Amazon ont également une influence algorithmique significative. D'autres ont suggéré que son analyse aurait pu être plus à jour, car le livre a été publié avant l'adoption généralisée des modèles d'apprentissage automatique et d'apprentissage profond qui ont depuis transformé la recherche. Cependant, les idées centrales du livre restent pertinentes, car les algorithmes plus récents ont montré des biais similaires.
Héritage et influence
Le livre a eu un impact profond à la fois sur le monde universitaire et l'industrie. Il a inspiré une nouvelle vague de recherche dans les études critiques des algorithmes, conduisant au développement de concepts comme la « responsabilité algorithmique » et la « justice des données ». Il a également influencé les discussions politiques, contribuant aux appels à des évaluations d'impact algorithmique et à une plus grande transparence dans les systèmes d'IA.
Dans l'industrie technologique, le livre a été cité par des ingénieurs et des concepteurs comme une motivation pour créer une IA plus inclusive et éthique. Il a été utilisé dans des cours universitaires à travers les disciplines, de l'informatique aux études médiatiques. Le terme « algorithmes de l'oppression » est entré dans le lexique des critiques de la technologie, et le travail de Noble est souvent référencé dans les débats sur l'éthique et la réglementation de l'intelligence artificielle.
Pertinence contemporaine
Au milieu des années 2020, les problèmes soulevés dans le livre sont plus pressants que jamais. L'essor de la IA générative et des grands modèles de langage a introduit de nouvelles formes de biais algorithmique, des chatbots générant du contenu raciste ou sexiste aux générateurs d'images perpétuant des stéréotypes. Le cadre de Noble est fréquemment appliqué pour analyser ces systèmes plus récents, montrant comment les problèmes qu'elle a identifiés dans les moteurs de recherche ont évolué et se sont étendus.
Le livre reste également pertinent dans les discussions sur le pouvoir des monopoles technologiques. Google, désormais une filiale d'Alphabet, continue de dominer la recherche, tandis que d'autres entreprises comme OpenAI et Anthropic sont devenues des acteurs majeurs de l'IA. L'appel de Noble à la responsabilité et à la réglementation est repris par de nombreux défenseurs contemporains qui s'inquiètent de l'influence non contrôlée de ces entreprises.
Conclusion
Algorithms of Oppression est une œuvre fondatrice qui a fondamentalement changé notre compréhension des implications sociales des moteurs de recherche et des algorithmes. En combinant une recherche rigoureuse avec une narration convaincante, Safiya Umoja Noble a exposé les biais cachés dans les systèmes que nous utilisons quotidiennement. Son livre sert de rappel puissant que la technologie n'est pas neutre et que la lutte pour la justice sociale doit s'étendre au domaine numérique. Il reste une lecture essentielle pour quiconque s'intéresse à l'intersection de la technologie, de la race et du genre, et ses leçons continuent de guider les efforts pour créer un avenir numérique plus équitable.