NYCローカル法144（LL 144）は、ニューヨーク市における採用および昇進の決定における自動雇用決定ツール（AEDT）の使用を規制する市の条例である。正式名称「自動雇用決定ツール」と題されたこの法律は、2021年12月に制定され、2023年7月5日に施行された。これは、雇用におけるアルゴリズムバイアスを特に標的とした米国初の法律の一つであり、他の管轄区域における同様の立法の先例となっている。この法律は、ニューヨーク市で事業を展開する雇用主および雇用紹介機関に適用され、物理的な所在地に関係なく、候補者や従業員の昇進審査にAEDTを使用する場合に適用される。
LL 144の核心的な要件は、雇用決定に使用されるAEDTは、使用前1年以内に独立したバイアス監査を受けなければならないことである。監査は、人種、民族、性別に対するツールの影響を評価しなければならず、結果は雇用主のウェブサイトに公開されなければならない。さらに、雇用主は、AEDTが使用されることを候補者および従業員に通知し、ツールの特性や代替選考プロセスまたは合理的配慮の申請方法に関する情報を提供しなければならない。この法律はまた、性格検査などの単一の要素のみに依存するAEDTの使用を禁止しており、その要素が職務に関連する場合を除く。
立法の背景と意図
LL 144は、採用におけるAIの使用に対する懸念が高まる中、2020年にニューヨーク市議会議員ローリー・カンボによって提出された。この法律は、市機関における自動決定システムに関する別の法律を含む、より広範なアルゴリズム説明責任パッケージの一部であった。その意図は、自動化ツールが保護された集団を差別した文書化された事例に対処することであり、例えば、2018年の研究では、大手テック企業のAI採用ツールが「女性の」という言葉を含む履歴書を不利に扱ったことが示された。この法律は、技術を完全に禁止するのではなく、監査と開示を義務付けることで透明性と説明責任を生み出すことを目的とした。
ニューヨーク市消費者労働者保護局（DCWP）がこの法律の施行を担当した。DCWPは2022年に提案規則を発行し、2023年4月に最終規則を発行して、主要な定義と手続きを明確にした。施行日は2023年1月1日から2023年7月5日に延期され、雇用主に遵守のための時間を与えた。最終規則では、AEDTを、機械学習、統計モデリング、またはその他のデータ処理技術から導出され、裁量的意思決定を実質的に支援または置き換えるために使用される簡素化された出力（スコアや分類など）を発行するあらゆる計算プロセスと定義した。
主要な規定と要件
バイアス監査はLL 144の中心的な要素である。監査は、AEDTのベンダーや開発者ではなく、雇用主の従業員でもない独立した監査人によって実施されなければならない。監査は、雇用主自身のツール使用からの履歴データ、または履歴データが利用できない場合はテストデータを使用しなければならない。監査は、人種、民族、性別の各カテゴリーについて選考率を計算し、それを最高選考率と比較しなければならず、均等雇用機会委員会の4分の5ルールに類似した指標を使用する。あるグループの選考率が最高グループの率の5分の4未満である場合、監査は潜在的なバイアスをフラグ付けしなければならない。
監査結果は、監査の日付、ツールの名前とバージョン、結果の要約を含めて、雇用主のウェブサイトに公開されなければならない。公開は監査完了から30日以内に行われなければならない。雇用主はまた、監査記録を少なくとも3年間保持しなければならない。この法律は特定の合格スコアを要求していないが、監査がバイアスを明らかにした場合、雇用主は是正措置を講じるか、ツールの使用を停止しなければならない。
通知要件も同様に重要である。雇用主は、AEDTの対象となる各候補者または従業員に、ツールが使用される少なくとも10営業日前に通知を提供しなければならない。通知には、ツールの名前、収集するデータの種類、ツールのスコアリングまたは分類ロジック、および代替選考手続きに関する雇用主の方針を記載しなければならない。通知には、手動レビューや異なる評価方法などの合理的配慮の申請方法も説明しなければならない。この法律は、通知がアクセス可能であること、雇用主が通常それらの言語でコミュニケーションを取る場合には英語以外の言語を含むことを要求している。
範囲と定義
LL 144は、採用、昇進、および維持を含む「雇用決定」に適用される。初期スクリーニングと継続的評価の両方を対象としている。この法律は、AEDTを「裁量的意思決定を実質的に支援または置き換える」ツールと定義している。これは、ツールが人間の判断を必要とする決定を行うために使用されなければならないことを意味する。スコアリングなしでキーワードを抽出する履歴書パーサーなど、生データのみを提供するツールは対象外である。ただし、候補者をランク付けしたり、職務遂行能力を予測したりするツールは対象となる。
この法律は、ニューヨーク市に少なくとも1人の従業員を有する雇用主、およびニューヨーク市の雇用主に候補者を紹介する雇用紹介機関に適用される。スケジューリングや給与計算などの内部管理目的のみに使用されるツールには適用されない。また、紙の履歴書を人間がレビューするなど、完全に手動のツールにも適用されない。この法律には域外適用があり、カリフォルニアに拠点を置く雇用主がニューヨーク市のポジションのために採用する場合、その採用にAEDTを使用する場合は遵守しなければならない。
執行と罰則
LL 144の執行は民事であり、刑事ではない。DCWPは苦情を調査し、独自の監査を実施できる。初回違反の罰金は1日あたり500ドル、その後の違反は1日あたり1,500ドルである。不遵守の各日は別個の違反とみなされる。この法律はまた、個人が差止命令、損害賠償、および弁護士費用を求めて訴訟を起こすことを可能にする私的訴権を創設している。ただし、私的訴権は、雇用主が監査を公開しなかったり通知を提供しなかったりする場合に限定されており、差別的な結果そのものには適用されない。
DCWPは苦情フォームを公開しており、監査なしや通知なしなどの明確な違反を伴う事件を優先すると述べている。2024年時点で、DCWPは執行措置を公に報告していないが、この法律はいくつかの私的訴訟で引用されている。注目すべき事件では、求職者が通知なしにAIビデオ面接ツールを使用した小売チェーンをLL 144違反で訴えた。この事件は2024年に和解したが、条件は開示されなかった。
影響と業界の対応
この法律は、採用技術業界に大きな影響を与えている。MLベースのスクリーニングツール、例えばニューラルネットワークや大規模言語モデルを使用するもののベンダーは、バイアス監査をサポートするように製品を適応させなければならなかった。多くのベンダーは現在、選考率の自動計算や監査レポートの生成などの監査対応機能を提供している。一部のベンダーは自社ツールを「LL 144準拠」と宣伝し始めているが、最終的な遵守責任は雇用主にある。
雇用主は、第三者監査人を使用して内部で監査を実施するか、特定のAEDTの使用を中止することで対応している。2023年にHRコンサルティング会社が実施した調査では、ニューヨーク市の雇用主の23%がLL 144のために少なくとも1つの自動採用ツールの使用を中止したことが判明した。独立したバイアス監査の費用は、データ量と複雑さに応じて、ツールあたり5,000ドルから30,000ドルの範囲である。これは小規模雇用主にとって障壁となっており、一部は手動レビューに依存している。
この法律は他の管轄区域にも影響を与えている。2023年、カリフォルニア州は自動決定システムのバイアス監査を要求する同様の法律（AB 331）を可決したが、知事によって拒否権が発動された。ワシントンD.C.市とイリノイ州は同様の措置を検討している。均等雇用機会委員会（EEOC）はLL 144を連邦規制のモデルとして引用しており、2023年にEEOCはニューヨーク市の法律を参照するアルゴリズム公平性に関する技術的ガイダンスを発行した。
批判と限界
批評家はLL 144についていくつかの懸念を提起している。第一に、この法律の人種、民族、性別への焦点は、年齢、障害、宗教などの他の保護カテゴリーをカバーしていない。第二に、4分の5ルールは大雑把な指標であり、特に小規模なサンプルサイズでは微妙なバイアスの形態を捉えられない可能性がある。第三に、この法律は監査がツールの正確性や職務関連性を評価することを要求しておらず、異なる影響のみを評価する。第四に、通知要件は負担が大きく、候補者が数分でスクリーニングされる大量採用には実用的でない可能性がある。
もう一つの限界は、この法律が履歴データに依存していることである。雇用主が以前にツールを使用したことがない場合、テストデータを使用しなければならず、これは実際の状況を反映しない可能性がある。この法律はまた、雇用主が「代替選考手続き」を使用することを許可しているが、それが何であるかを定義しておらず、回避の余地を残している。一部の法律学者は、この法律の私的訴権が狭すぎると主張しており、原告が監査の方法論に異議を唱えることを許可していない。最後に、この法律は監査を機械可読形式で公開することを要求しておらず、研究者が分析することが困難になっている。
今後の展開
2025年時点で、DCWPはLL 144の修正を発表していないが、法律の有効性を監視すると述べている。同機関は監査のベストプラクティスに関するガイダンスを公開し、公聴会を開催している。パフォーマンス監視や解雇などの他の種類の自動決定をカバーするように法律を拡張するかどうかについて議論が続いている。一部の擁護者は、深層学習など不透明な意思決定を使用する特定のAEDTの禁止を求めているが、そのような提案は正式に提出されていない。
この法律はまた、アルゴリズム監査に関する学術研究を促進している。MIT CSAILやスタンフォードAIラボの研究者は、LL 144の要件に準拠するバイアス監査用のオープンソースツールを開発している。これらのツールは、データ拡張やモデルプルーニングなどの技術を使用して、異なる人口統計分布をシミュレートする。サミー・ベンギオやアニマ・アナンドクマールなどの研究者を含むアルゴリズム公平性の分野は、実践的なコンプライアンスフレームワークにますます焦点を当てている。
より広い文脈では、LL 144は雇用におけるAI規制に向けた世界的な傾向の一部である。2024年に採択された欧州連合のAI法には、採用に使用されるものを含む高リスクAIシステムに対する同様の要件が含まれている。この法律は、学術論文や業界レポートで「監査ベースの規制」の先駆的な例として引用されている。バイアスを減らすのに効果的かどうかは未解決の疑問であるが、職場でのAIを統治する方法についての議論を確かに変えた。
結論
NYCローカル法144は、雇用における自動意思決定の規制における重要な一歩を表している。バイアス監査と透明性を要求することで、有益な技術の使用を許可しながら、アルゴリズム差別のリスクを軽減することを目的としている。この法律の施行は、定義、監査方法論、執行に関する議論があり、困難を伴ってきた。しかし、他の管轄区域が追随する可能性が高いフレームワークを確立した。AIが進化し続けるにつれて、LL 144の原則、すなわち独立した監査、公開開示、候補者通知は、世界的に標準的な慣行になる可能性がある。この法律の最終的な成功は、雇用主に過度の負担をかけたり革新を阻害したりせずに、実際にバイアスを減らすかどうかに依存するだろう。