NYC Local Law 144 (LL 144) ist eine kommunale Verordnung in New York City, die den Einsatz automatisierter Entscheidungswerkzeuge für Beschäftigung (AEDTs) bei Einstellungs- und Beförderungsentscheidungen regelt. Das Gesetz, offiziell als „Automated Employment Decision Tools" bezeichnet, wurde im Dezember 2021 erlassen und trat am 5. Juli 2023 in Kraft. Es gehört zu den ersten Gesetzen in den Vereinigten Staaten, die speziell algorithmische Verzerrungen in der Beschäftigung adressieren, und setzt einen Präzedenzfall für ähnliche Gesetzgebungen in anderen Jurisdiktionen. Das Gesetz gilt für Arbeitgeber und Beschäftigungsagenturen, die in New York City tätig sind, unabhängig von ihrem physischen Standort, sofern sie AEDTs zur Auswahl von Kandidaten oder Mitarbeitern für Beförderungen einsetzen.
Die Kernanforderung von LL 144 ist, dass jedes AEDT, das für Beschäftigungsentscheidungen verwendet wird, innerhalb eines Jahres vor seiner Nutzung einer unabhängigen Verzerrungsprüfung unterzogen werden muss. Die Prüfung muss die Auswirkungen des Werkzeugs auf Rasse, ethnische Zugehörigkeit und Geschlecht bewerten, und die Ergebnisse müssen auf der Website des Arbeitgebers veröffentlicht werden. Zusätzlich müssen Arbeitgeber Kandidaten und Mitarbeitern mitteilen, dass ein AEDT verwendet wird, sowie Informationen über die Eigenschaften des Werkzeugs und darüber, wie man einen alternativen Auswahlprozess oder eine Anpassung beantragen kann. Das Gesetz verbietet auch die Nutzung von AEDTs, die sich ausschließlich auf einen einzelnen Faktor stützen, wie etwa einen Persönlichkeitstest, es sei denn, dieser Faktor ist arbeitsbezogen.
Gesetzlicher Hintergrund und Absicht
LL 144 wurde von der New Yorker Stadträtin Laurie Cumbo im Jahr 2020 eingeführt, angesichts wachsender Bedenken über die Nutzung von KI bei der Einstellung. Das Gesetz war Teil eines breiteren Pakets von Maßnahmen zur algorithmischen Rechenschaftspflicht, einschließlich eines separaten Gesetzes über automatisierte Entscheidungssysteme in städtischen Behörden. Die Absicht war, dokumentierte Fälle zu adressieren, in denen automatisierte Werkzeuge geschützte Gruppen diskriminierten, wie etwa eine Studie von 2018, die zeigte, dass ein KI-Rekrutierungswerkzeug eines großen Technologieunternehmens Lebensläufe mit dem Wort „Frauen" benachteiligte. Das Gesetz zielte darauf ab, Transparenz und Rechenschaftspflicht zu schaffen, ohne die Technologie vollständig zu verbieten, sondern stattdessen Prüfungen und Offenlegungen vorzuschreiben.
Die New Yorker Abteilung für Verbraucher- und Arbeitnehmerschutz (DCWP) wurde mit der Umsetzung des Gesetzes beauftragt. Die DCWP veröffentlichte 2022 vorgeschlagene Regeln und im April 2023 endgültige Regeln, die wichtige Definitionen und Verfahren klärten. Das Inkrafttreten wurde vom 1. Januar 2023 auf den 5. Juli 2023 verschoben, um Arbeitgebern Zeit zur Einhaltung zu geben. Die endgültigen Regeln definierten ein AEDT als jeden rechnerischen Prozess, der aus maschinellem Lernen, statistischer Modellierung oder anderen Datenverarbeitungstechniken abgeleitet ist und eine vereinfachte Ausgabe, wie eine Punktzahl oder Klassifizierung, erzeugt, die verwendet wird, um diskretionäre Entscheidungsfindung wesentlich zu unterstützen oder zu ersetzen.
Wichtige Bestimmungen und Anforderungen
Die Verzerrungsprüfung ist das Herzstück von LL 144. Sie muss von einem unabhängigen Prüfer durchgeführt werden, der nicht der Anbieter oder Entwickler des AEDT ist und auch kein Mitarbeiter des Arbeitgebers. Die Prüfung muss historische Daten aus der eigenen Nutzung des Werkzeugs durch den Arbeitgeber verwenden oder, falls keine historischen Daten verfügbar sind, Testdaten. Die Prüfung muss die Auswahlrate für jede Kategorie von Rasse, ethnischer Zugehörigkeit und Geschlecht berechnen und sie mit der höchsten Auswahlrate vergleichen, unter Verwendung einer Metrik, die der Vier-Fünftel-Regel der Equal Employment Opportunity Commission ähnelt. Wenn die Auswahlrate für eine Gruppe weniger als vier Fünftel der Rate der höchsten Gruppe beträgt, muss die Prüfung eine potenzielle Verzerrung kennzeichnen.
Die Prüfungsergebnisse müssen auf der Website des Arbeitgebers veröffentlicht werden, einschließlich des Datums der Prüfung, des Namens und der Version des Werkzeugs sowie einer Zusammenfassung der Ergebnisse. Die Veröffentlichung muss innerhalb von 30 Tagen nach Abschluss der Prüfung erfolgen. Arbeitgeber müssen Prüfungsunterlagen mindestens drei Jahre lang aufbewahren. Das Gesetz verlangt keine bestimmte Bestehensgrenze, aber wenn eine Prüfung eine Verzerrung aufdeckt, muss der Arbeitgeber entweder Korrekturmaßnahmen ergreifen oder die Nutzung des Werkzeugs einstellen.
Die Hinweispflichten sind ebenso wichtig. Arbeitgeber müssen jedem Kandidaten oder Mitarbeiter, der einem AEDT unterliegt, mindestens 10 Arbeitstage vor der Nutzung des Werkzeugs einen Hinweis geben. Der Hinweis muss den Namen des Werkzeugs, die Art der gesammelten Daten, die Bewertungs- oder Klassifizierungslogik des Werkzeugs und die Richtlinie des Arbeitgebers zu alternativen Auswahlverfahren beschreiben. Der Hinweis muss auch erklären, wie man eine Anpassung beantragt, wie etwa eine manuelle Überprüfung oder eine andere Bewertungsmethode. Das Gesetz verlangt, dass der Hinweis zugänglich ist, einschließlich in anderen Sprachen als Englisch, wenn der Arbeitgeber normalerweise in diesen Sprachen kommuniziert.
Geltungsbereich und Definitionen
LL 144 gilt für „Beschäftigungsentscheidungen", einschließlich Einstellung, Beförderung und Weiterbeschäftigung. Es umfasst sowohl die anfängliche Auswahl als auch die laufende Bewertung. Das Gesetz definiert ein AEDT als ein Werkzeug, das „diskretionäre Entscheidungsfindung wesentlich unterstützt oder ersetzt". Dies bedeutet, dass das Werkzeug verwendet werden muss, um eine Entscheidung zu treffen, die andernfalls menschliches Urteilsvermögen erfordern würde. Ein Werkzeug, das lediglich Rohdaten liefert, wie etwa ein Lebenslauf-Parser, der Schlüsselwörter extrahiert, ohne zu bewerten, ist nicht abgedeckt. Ein Werkzeug, das Kandidaten einstuft oder Arbeitsleistung vorhersagt, ist jedoch abgedeckt.
Das Gesetz gilt für Arbeitgeber mit mindestens einem Mitarbeiter in New York City sowie für Beschäftigungsagenturen, die Kandidaten an NYC-Arbeitgeber vermitteln. Es gilt nicht für Werkzeuge, die ausschließlich für interne administrative Zwecke verwendet werden, wie etwa Planung oder Gehaltsabrechnung. Es gilt auch nicht für Werkzeuge, die vollständig manuell sind, wie etwa ein Mensch, der einen Papierlebenslauf überprüft. Das Gesetz hat eine extraterritoriale Reichweite: Ein Arbeitgeber mit Sitz in Kalifornien, der für eine Stelle in NYC einstellt, muss es einhalten, wenn er ein AEDT für diese Einstellung verwendet.
Durchsetzung und Strafen
Die Durchsetzung von LL 144 ist zivilrechtlich, nicht strafrechtlich. Die DCWP kann Beschwerden untersuchen und eigene Prüfungen durchführen. Strafen für erste Verstöße betragen 500 USD pro Tag, für wiederholte Verstöße 1.500 USD pro Tag. Jeder Tag der Nichteinhaltung ist ein separater Verstoß. Das Gesetz schafft auch ein privates Klagerecht, das es Einzelpersonen ermöglicht, auf einstweilige Verfügungen, Schadensersatz und Anwaltskosten zu klagen. Das private Klagerecht ist jedoch auf Fälle beschränkt, in denen der Arbeitgeber es versäumt hat, eine Prüfung zu veröffentlichen oder einen Hinweis zu geben, nicht auf diskriminierende Ergebnisse an sich.
Die DCWP hat ein Beschwerdeformular veröffentlicht und erklärt, dass sie Fälle mit klaren Verstößen priorisieren wird, wie etwa fehlende Prüfung oder fehlenden Hinweis. Stand 2024 hat die DCWP keine Durchsetzungsmaßnahmen öffentlich gemeldet, aber das Gesetz wurde in mehreren privaten Klagen zitiert. In einem bemerkenswerten Fall verklagte ein Bewerber eine Einzelhandelskette wegen der Nutzung eines KI-Videointerview-Werkzeugs ohne Hinweis, unter Berufung auf Verstöße gegen LL 144. Der Fall wurde 2024 beigelegt, aber die Bedingungen wurden nicht offengelegt.
Auswirkungen und Reaktion der Branche
Das Gesetz hat erhebliche Auswirkungen auf die Branche der Einstellungstechnologie gehabt. Anbieter von ML-basierten Auswahlwerkzeugen, wie solche, die neuronale Netze oder große Sprachmodelle verwenden, mussten ihre Produkte anpassen, um Verzerrungsprüfungen zu unterstützen. Viele Anbieter bieten jetzt prüfungsbereite Funktionen an, wie etwa die automatisierte Berechnung von Auswahlraten und die Erstellung von Prüfberichten. Einige Anbieter haben auch begonnen, ihre Werkzeuge als „LL 144-konform" zu vermarkten, obwohl die Einhaltung letztendlich in der Verantwortung des Arbeitgebers liegt.
Arbeitgeber haben reagiert, indem sie entweder Prüfungen intern durchführen (unter Verwendung von Drittanbietern) oder die Nutzung bestimmter AEDTs einstellen. Eine Umfrage von 2023 durch eine HR-Beratungsfirma ergab, dass 23% der in NYC ansässigen Arbeitgeber mindestens ein automatisiertes Einstellungswerkzeug aufgrund von LL 144 nicht mehr verwendeten. Die Kosten für eine unabhängige Verzerrungsprüfung reichen von 5.000 bis 30.000 USD pro Werkzeug, abhängig von Datenvolumen und Komplexität. Dies war eine Hürde für kleine Arbeitgeber, was einige dazu veranlasste, stattdessen auf manuelle Überprüfung zu setzen.
Das Gesetz hat auch andere Jurisdiktionen beeinflusst. Im Jahr 2023 verabschiedete der Bundesstaat Kalifornien ein ähnliches Gesetz (AB 331), das Verzerrungsprüfungen für automatisierte Entscheidungssysteme vorschreibt, obwohl es vom Gouverneur abgelehnt wurde. Die Stadt Washington, D.C., und der Bundesstaat Illinois haben ähnliche Maßnahmen in Betracht gezogen. Die Equal Employment Opportunity Commission (EEOC) hat LL 144 als Modell für Bundesregulierung zitiert, und 2023 veröffentlichte die EEOC technische Leitlinien zur algorithmischen Fairness, die auf das NYC-Gesetz verweisen.
Kritik und Einschränkungen
Kritiker haben mehrere Bedenken zu LL 144 geäußert. Erstens deckt der Fokus des Gesetzes auf Rasse, ethnische Zugehörigkeit und Geschlecht nicht andere geschützte Kategorien wie Alter, Behinderung oder Religion ab. Zweitens ist die Vier-Fünftel-Regel ein grobes Instrument, das subtile Formen der Verzerrung möglicherweise nicht erfasst, insbesondere bei kleinen Stichprobengrößen. Drittens verlangt das Gesetz nicht, dass die Prüfung die Genauigkeit oder Arbeitsbezogenheit des Werkzeugs bewertet, sondern nur seine unterschiedliche Auswirkung. Viertens sind die Hinweispflichten belastend und möglicherweise nicht praktikabel für Einstellungen mit hohem Volumen, bei denen Kandidaten in Minuten gescreent werden.
Eine weitere Einschränkung ist die Abhängigkeit des Gesetzes von historischen Daten. Wenn ein Arbeitgeber das Werkzeug zuvor nicht verwendet hat, muss er Testdaten verwenden, die möglicherweise nicht die realen Bedingungen widerspiegeln. Das Gesetz erlaubt Arbeitgebern auch die Nutzung „alternativer Auswahlverfahren", definiert diese jedoch nicht, was Raum für Umgehung lässt. Einige Rechtswissenschaftler haben argumentiert, dass das private Klagerecht des Gesetzes zu eng ist, da es Klägern nicht erlaubt, die Methodik der Prüfung anzufechten. Schließlich verlangt das Gesetz nicht, dass die Prüfung in einem maschinenlesbaren Format veröffentlicht wird, was es Forschern erschwert, sie zu analysieren.
Zukünftige Entwicklungen
Stand 2025 hat die DCWP keine Änderungen an LL 144 angekündigt, aber sie hat erklärt, dass sie die Wirksamkeit des Gesetzes überwachen wird. Die Behörde hat Leitlinien zu bewährten Praktiken für Prüfungen veröffentlicht und öffentliche Anhörungen abgehalten. Es gibt eine laufende Debatte darüber, ob das Gesetz auf andere Arten automatisierter Entscheidungen ausgeweitet werden sollte, wie etwa Leistungsüberwachung oder Kündigung. Einige Befürworter haben ein Verbot bestimmter AEDTs gefordert, wie solche, die Deep Learning mit undurchsichtiger Entscheidungsfindung verwenden, aber kein solcher Vorschlag wurde formell eingebracht.
Das Gesetz hat auch akademische Forschung zur algorithmischen Prüfung angeregt. Forscher am MIT CSAIL und Stanford AI Lab haben Open-Source-Werkzeuge für Verzerrungsprüfungen entwickelt, die die Anforderungen von LL 144 erfüllen. Diese Werkzeuge verwenden Techniken wie Datenaugmentation und Modellbereinigung, um verschiedene demografische Verteilungen zu simulieren. Das Feld der algorithmischen Fairness, zu dem Forscher wie Samy Bengio und Anima Anandkumar gehören, hat sich zunehmend auf praktische Compliance-Rahmenwerke konzentriert.
Im breiteren Kontext ist LL 144 Teil eines globalen Trends zur Regulierung von KI in der Beschäftigung. Das KI-Gesetz der Europäischen Union, das 2024 angenommen wurde, enthält ähnliche Anforderungen für Hochrisiko-KI-Systeme, einschließlich solcher, die bei der Einstellung verwendet werden. Das Gesetz wurde in akademischen Arbeiten und Branchenberichten als wegweisendes Beispiel für „prüfungsbasierte Regulierung" zitiert. Ob es wirksam sein wird, um Verzerrungen zu reduzieren, bleibt eine offene Frage, aber es hat sicherlich die Diskussion darüber verändert, wie KI am Arbeitsplatz reguliert werden sollte.
Fazit
NYC Local Law 144 stellt einen bedeutenden Schritt in der Regulierung automatisierter Entscheidungsfindung in der Beschäftigung dar. Durch die Anforderung von Verzerrungsprüfungen und Transparenz zielt es darauf ab, die Risiken algorithmischer Diskriminierung zu mindern, während die Nutzung vorteilhafter Technologien ermöglicht wird. Die Umsetzung des Gesetzes war herausfordernd, mit Debatten über Definitionen, Prüfmethodik und Durchsetzung. Es hat jedoch einen Rahmen geschaffen, dem andere Jurisdiktionen wahrscheinlich folgen werden. Während sich KI weiterentwickelt, könnten die Prinzipien von LL 144 - unabhängige Prüfungen, öffentliche Offenlegung und Hinweis an Kandidaten - weltweit Standardpraxis werden. Der letztendliche Erfolg des Gesetzes wird davon abhängen, ob es tatsächlich Verzerrungen reduziert, ohne Arbeitgeber unangemessen zu belasten oder Innovationen zu ersticken.