NYC Local Law 144 (LL 144) est une ordonnance municipale de la ville de New York qui réglemente l'utilisation d'outils automatisés de décision en matière d'emploi (AEDT) dans les décisions d'embauche et de promotion. La loi, officiellement intitulée « Automated Employment Decision Tools », a été promulguée en décembre 2021 et est entrée en vigueur le 5 juillet 2023. Elle figure parmi les premières lois aux États-Unis à cibler spécifiquement les biais algorithmiques dans l'emploi, établissant un précédent pour des législations similaires dans d'autres juridictions. La loi s'applique aux employeurs et aux agences de placement opérant dans la ville de New York, quelle que soit leur localisation physique, s'ils utilisent des AEDT pour filtrer des candidats ou des employés en vue d'une promotion.
L'exigence centrale de LL 144 est que tout AEDT utilisé pour des décisions d'emploi doit faire l'objet d'un audit de biais indépendant dans l'année précédant son utilisation. L'audit doit évaluer l'impact de l'outil sur la race, l'origine ethnique et le sexe, et les résultats doivent être publiés sur le site web de l'employeur. De plus, les employeurs doivent informer les candidats et les employés qu'un AEDT sera utilisé, ainsi que des informations sur les caractéristiques de l'outil et sur la manière de demander un processus de sélection alternatif ou un aménagement. La loi interdit également l'utilisation d'AEDT qui reposent uniquement sur un facteur unique, comme un test de personnalité, à moins que ce facteur ne soit lié à l'emploi.
Contexte législatif et intention
LL 144 a été introduite par la conseillère municipale de New York Laurie Cumbo en 2020, dans un contexte de préoccupations croissantes concernant l'utilisation de l'IA dans l'embauche. La loi faisait partie d'un ensemble plus large de mesures de responsabilité algorithmique, y compris une loi distincte sur les systèmes de décision automatisés dans les agences municipales. L'intention était de répondre à des cas documentés où des outils automatisés discriminaient des groupes protégés, comme une étude de 2018 montrant qu'un outil de recrutement par IA d'une grande entreprise technologique pénalisait les CV contenant le mot « femmes ». La loi visait à créer de la transparence et de la responsabilité sans interdire la technologie, en imposant plutôt des audits et des divulgations.
Le département de la protection des consommateurs et des travailleurs de la ville de New York (DCWP) a été chargé de mettre en œuvre la loi. Le DCWP a publié des règles proposées en 2022 et des règles finales en avril 2023, clarifiant les définitions et procédures clés. La date d'entrée en vigueur a été repoussée du 1er janvier 2023 au 5 juillet 2023 pour donner aux employeurs le temps de se conformer. Les règles finales définissaient un AEDT comme tout processus computationnel dérivé de l'apprentissage automatique, de la modélisation statistique ou d'autres techniques de traitement de données qui produit une sortie simplifiée, comme un score ou une classification, utilisée pour assister ou remplacer substantiellement la prise de décision discrétionnaire.
Dispositions et exigences clés
L'audit de biais est la pièce maîtresse de LL 144. Il doit être mené par un auditeur indépendant qui n'est ni le fournisseur ni le développeur de l'AEDT, ni un employé de l'employeur. L'audit doit utiliser des données historiques provenant de l'utilisation propre de l'outil par l'employeur, ou des données de test si les données historiques ne sont pas disponibles. L'audit doit calculer le taux de sélection pour chaque catégorie de race, d'origine ethnique et de sexe, et le comparer au taux de sélection le plus élevé, en utilisant une métrique similaire à la règle des quatre cinquièmes de la Commission pour l'égalité des chances en matière d'emploi. Si le taux de sélection d'un groupe est inférieur à quatre cinquièmes du taux du groupe le plus élevé, l'audit doit signaler un biais potentiel.
Les résultats de l'audit doivent être publiés sur le site web de l'employeur, y compris la date de l'audit, le nom et la version de l'outil, et le résumé des résultats. La publication doit avoir lieu dans les 30 jours suivant l'achèvement de l'audit. Les employeurs doivent également conserver les enregistrements d'audit pendant au moins trois ans. La loi n'exige pas de score de réussite spécifique, mais si un audit révèle un biais, l'employeur doit soit prendre des mesures correctives, soit cesser d'utiliser l'outil.
Les exigences de notification sont tout aussi importantes. Les employeurs doivent fournir un avis à chaque candidat ou employé soumis à un AEDT au moins 10 jours ouvrables avant l'utilisation de l'outil. L'avis doit décrire le nom de l'outil, le type de données qu'il collecte, la logique de notation ou de classification de l'outil, et la politique de l'employeur concernant les procédures de sélection alternatives. L'avis doit également expliquer comment demander un aménagement, comme un examen manuel ou une méthode d'évaluation différente. La loi exige que l'avis soit accessible, y compris dans des langues autres que l'anglais si l'employeur communique généralement dans ces langues.
Portée et définitions
LL 144 s'applique aux « décisions d'emploi », y compris l'embauche, la promotion et le maintien en poste. Elle couvre à la fois le filtrage initial et l'évaluation continue. La loi définit un AEDT comme un outil qui « assiste ou remplace substantiellement la prise de décision discrétionnaire ». Cela signifie que l'outil doit être utilisé pour prendre une décision qui nécessiterait autrement un jugement humain. Un outil qui fournit simplement des données brutes, comme un analyseur de CV qui extrait des mots-clés sans noter, n'est pas couvert. Cependant, un outil qui classe des candidats ou prédit la performance au travail est couvert.
La loi s'applique aux employeurs ayant au moins un employé dans la ville de New York, ainsi qu'aux agences de placement qui réfèrent des candidats à des employeurs de New York. Elle ne s'applique pas aux outils utilisés uniquement à des fins administratives internes, comme la planification ou la paie. Elle ne s'applique pas non plus aux outils entièrement manuels, comme un examen humain d'un CV papier. La loi a une portée extraterritoriale : un employeur basé en Californie qui embauche pour un poste à New York doit se conformer s'il utilise un AEDT pour cette embauche.
Application et pénalités
L'application de LL 144 est civile, non pénale. Le DCWP peut enquêter sur les plaintes et mener ses propres audits. Les pénalités pour les premières violations sont de 500 $ par jour, et pour les violations ultérieures, de 1 500 $ par jour. Chaque jour de non-conformité constitue une violation distincte. La loi crée également un droit d'action privé, permettant aux individus de poursuivre pour injonction, dommages et honoraires d'avocat. Cependant, le droit d'action privé est limité aux cas où l'employeur a omis de publier un audit ou de fournir un avis, et non aux résultats discriminatoires en soi.
Le DCWP a publié un formulaire de plainte et a déclaré qu'il prioriserait les cas impliquant des violations claires, comme l'absence d'audit ou d'avis. En 2024, le DCWP n'avait pas publiquement signalé d'actions d'application, mais la loi a été citée dans plusieurs poursuites privées. Dans un cas notable, un candidat à un emploi a poursuivi une chaîne de vente au détail pour avoir utilisé un outil d'entretien vidéo par IA sans fournir d'avis, alléguant des violations de LL 144. L'affaire a été réglée en 2024, mais les termes n'ont pas été divulgués.
Impact et réponse de l'industrie
La loi a eu un impact significatif sur l'industrie de la technologie de recrutement. Les fournisseurs d'outils de filtrage basés sur l'apprentissage automatique, comme ceux utilisant des réseaux de neurones ou des grands modèles de langage, ont dû adapter leurs produits pour prendre en charge les audits de biais. De nombreux fournisseurs proposent désormais des fonctionnalités prêtes pour l'audit, comme le calcul automatisé des taux de sélection et la génération de rapports d'audit. Certains fournisseurs ont également commencé à commercialiser leurs outils comme « conformes à LL 144 », bien que la conformité soit en fin de compte la responsabilité de l'employeur.
Les employeurs ont répondu soit en menant des audits en interne (avec des auditeurs tiers), soit en cessant d'utiliser certains AEDT. Une enquête de 2023 menée par un cabinet de conseil en ressources humaines a révélé que 23 % des employeurs basés à New York avaient cessé d'utiliser au moins un outil d'embauche automatisé en raison de LL 144. Le coût d'un audit de biais indépendant varie de 5 000 $ à 30 000 $ par outil, selon le volume de données et la complexité. Cela a constitué un obstacle pour les petits employeurs, certains se tournant vers un examen manuel.
La loi a également influencé d'autres juridictions. En 2023, l'État de Californie a adopté une loi similaire (AB 331) exigeant des audits de biais pour les systèmes de décision automatisés, bien qu'elle ait été opposée par le gouverneur. La ville de Washington, D.C., et l'État de l'Illinois ont envisagé des mesures similaires. La Commission pour l'égalité des chances en matière d'emploi (EEOC) a cité LL 144 comme modèle pour la réglementation fédérale, et en 2023, l'EEOC a publié des orientations techniques sur l'équité algorithmique qui font référence à la loi de New York.
Critiques et limites
Les critiques ont soulevé plusieurs préoccupations concernant LL 144. Premièrement, l'accent de la loi sur la race, l'origine ethnique et le sexe ne couvre pas d'autres catégories protégées comme l'âge, le handicap ou la religion. Deuxièmement, la règle des quatre cinquièmes est un instrument grossier qui peut ne pas capturer des formes subtiles de biais, surtout avec de petits échantillons. Troisièmement, la loi n'exige pas que l'audit évalue l'exactitude ou la pertinence de l'outil pour l'emploi, seulement son impact disparate. Quatrièmement, les exigences de notification sont lourdes et peuvent ne pas être pratiques pour l'embauche à volume élevé, où les candidats sont filtrés en quelques minutes.
Une autre limite est la dépendance de la loi aux données historiques. Si un employeur n'a pas utilisé l'outil auparavant, il doit utiliser des données de test, qui peuvent ne pas refléter les conditions réelles. La loi permet également aux employeurs d'utiliser des « procédures de sélection alternatives » mais ne définit pas ce qu'elles sont, laissant une marge d'évasion. Certains juristes ont soutenu que le droit d'action privé de la loi est trop étroit, car il ne permet pas aux plaignants de contester la méthodologie de l'audit. Enfin, la loi n'exige pas que l'audit soit rendu public dans un format lisible par machine, ce qui rend difficile l'analyse par les chercheurs.
Développements futurs
En 2025, le DCWP n'a annoncé aucun amendement à LL 144, mais il a déclaré qu'il surveillerait l'efficacité de la loi. L'agence a publié des orientations sur les meilleures pratiques pour les audits et a tenu des audiences publiques. Il y a un débat en cours sur l'extension de la loi à d'autres types de décisions automatisées, comme la surveillance de la performance ou le licenciement. Certains défenseurs ont appelé à une interdiction de certains AEDT, comme ceux utilisant l'apprentissage profond avec une prise de décision opaque, mais aucune proposition de ce type n'a été formellement introduite.
La loi a également stimulé la recherche académique sur l'audit algorithmique. Des chercheurs du MIT CSAIL et du Stanford AI Lab ont développé des outils open source pour l'audit de biais conformes aux exigences de LL 144. Ces outils utilisent des techniques comme l'augmentation de données et l'élagage de modèles pour simuler différentes distributions démographiques. Le domaine de l'équité algorithmique, qui comprend des chercheurs comme Samy Bengio et Anima Anandkumar, s'est de plus en plus concentré sur des cadres de conformité pratiques.
Dans le contexte plus large, LL 144 fait partie d'une tendance mondiale vers la réglementation de l'IA dans l'emploi. La loi sur l'IA de l'Union européenne, adoptée en 2024, inclut des exigences similaires pour les systèmes d'IA à haut risque, y compris ceux utilisés dans l'embauche. La loi a été citée dans des articles académiques et des rapports industriels comme un exemple pionnier de « réglementation basée sur l'audit ». Savoir si elle sera efficace pour réduire les biais reste une question ouverte, mais elle a certainement changé la conversation sur la manière de gouverner l'IA sur le lieu de travail.
Conclusion
La loi locale 144 de New York représente une étape significative dans la réglementation de la prise de décision automatisée dans l'emploi. En exigeant des audits de biais et de la transparence, elle vise à atténuer les risques de discrimination algorithmique tout en permettant l'utilisation de technologies bénéfiques. La mise en œuvre de la loi a été difficile, avec des débats sur les définitions, la méthodologie d'audit et l'application. Cependant, elle a établi un cadre que d'autres juridictions sont susceptibles de suivre. Alors que l'IA continue d'évoluer, les principes de LL 144 - audits indépendants, divulgation publique et notification des candidats - pourraient devenir une pratique standard à l'échelle mondiale. Le succès ultime de la loi dépendra de sa capacité à réduire réellement les biais sans imposer une charge indue aux employeurs ni étouffer l'innovation.