뉴욕시 지방법 144호(LL 144)는 고용 및 승진 결정에 자동화 고용 결정 도구(AEDT)의 사용을 규제하는 뉴욕시의 시 조례이다. 공식 명칭이 "자동화 고용 결정 도구"인 이 법은 2021년 12월에 제정되어 2023년 7월 5일에 발효되었다. 이는 미국에서 고용 분야의 알고리즘 편향을 구체적으로 겨냥한 최초의 법률 중 하나로, 다른 관할권의 유사한 입법에 선례를 세웠다. 이 법은 물리적 위치와 관계없이 뉴욕시에서 운영되는 고용주와 고용 기관이 AEDT를 사용하여 지원자나 승진 대상 직원을 선별하는 경우 적용된다.
LL 144의 핵심 요구 사항은 고용 결정에 사용되는 모든 AEDT가 사용 전 1년 이내에 독립적인 편향 감사를 받아야 한다는 것이다. 감사는 인종, 민족, 성별에 대한 도구의 영향을 평가해야 하며, 결과는 고용주의 웹사이트에 게시되어야 한다. 또한 고용주는 AEDT가 사용될 것임을 지원자와 직원에게 통지하고, 도구의 특성과 대체 선발 절차나 편의 제공을 요청하는 방법에 대한 정보를 제공해야 한다. 이 법은 또한 성격 검사와 같은 단일 요소에만 의존하는 AEDT의 사용을 금지하며, 해당 요소가 업무와 관련된 경우는 예외로 한다.
입법 배경 및 의도
LL 144는 고용에서 AI 사용에 대한 우려가 커지는 가운데 2020년 뉴욕시 의원 Laurie Cumbo에 의해 발의되었다. 이 법은 시 기관의 자동화 결정 시스템에 관한 별도의 법률을 포함한 더 광범위한 알고리즘 책임성 조치 패키지의 일부였다. 그 의도는 자동화 도구가 보호 집단을 차별한 문서화된 사례, 예를 들어 2018년 연구에서 주요 기술 회사의 AI 채용 도구가 "여성"이라는 단어가 포함된 이력서에 불이익을 준 사례를 해결하기 위한 것이었다. 이 법은 기술을 전면 금지하는 대신 감사와 공개를 의무화하여 투명성과 책임성을 창출하는 것을 목표로 했다.
뉴욕시 소비자 및 근로자 보호국(DCWP)이 이 법을 시행하는 임무를 맡았다. DCWP는 2022년에 제안 규칙을, 2023년 4월에 최종 규칙을 발표하여 주요 정의와 절차를 명확히 했다. 발효일은 고용주가 준비할 시간을 주기 위해 2023년 1월 1일에서 2023년 7월 5일로 연기되었다. 최종 규칙은 AEDT를 머신 러닝, 통계 모델링 또는 기타 데이터 처리 기술에서 파생되어 재량적 의사 결정을 실질적으로 보조하거나 대체하는 데 사용되는 점수나 분류와 같은 단순화된 출력을 생성하는 모든 계산 프로세스로 정의했다.
주요 조항 및 요구 사항
편향 감사는 LL 144의 핵심이다. 감사는 AEDT의 공급업체나 개발자가 아닌 독립적인 감사인이 수행해야 하며, 고용주의 직원도 될 수 없다. 감사는 고용주가 도구를 사용한 과거 데이터를 사용해야 하며, 과거 데이터가 없는 경우 테스트 데이터를 사용해야 한다. 감사는 인종, 민족, 성별 각 범주에 대한 선발 비율을 계산하고, 고용 기회 균등 위원회의 4/5 규칙과 유사한 지표를 사용하여 최고 선발 비율과 비교해야 한다. 특정 집단의 선발 비율이 최고 집단 비율의 4/5 미만인 경우, 감사는 잠재적 편향을 표시해야 한다.
감사 결과는 감사 날짜, 도구의 이름과 버전, 결과 요약을 포함하여 고용주의 웹사이트에 게시되어야 한다. 게시는 감사 완료 후 30일 이내에 이루어져야 한다. 고용주는 또한 감사 기록을 최소 3년간 보관해야 한다. 이 법은 특정 합격 점수를 요구하지 않지만, 감사에서 편향이 발견되면 고용주는 시정 조치를 취하거나 도구 사용을 중단해야 한다.
통지 요구 사항도 equally 중요하다. 고용주는 AEDT의 적용을 받는 각 지원자 또는 직원에게 도구 사용 최소 10영업일 전에 통지를 제공해야 한다. 통지에는 도구의 이름, 수집하는 데이터 유형, 도구의 점수 또는 분류 논리, 대체 선발 절차에 대한 고용주의 정책이 설명되어야 한다. 통지에는 수동 검토나 다른 평가 방법과 같은 편의 제공을 요청하는 방법도 설명되어야 한다. 이 법은 통지가 접근 가능해야 하며, 고용주가 일반적으로 해당 언어로 소통하는 경우 영어 외의 언어로도 제공되어야 한다고 요구한다.
범위 및 정의
LL 144는 채용, 승진 및 유지를 포함한 "고용 결정"에 적용된다. 초기 선별과 지속적 평가를 모두涵盖한다. 이 법은 AEDT를 "재량적 의사 결정을 실질적으로 보조하거나 대체하는" 도구로 정의한다. 즉, 도구는 그렇지 않으면 인간의 판단이 필요할 결정을 내리는 데 사용되어야 한다. 점수 없이 키워드만 추출하는 이력서 파서와 같이 원시 데이터만 제공하는 도구는 적용 대상이 아니다. 그러나 지원자를 순위화하거나 직무 성과를 예측하는 도구는 적용 대상이다.
이 법은 뉴욕시에 최소 한 명의 직원을 둔 고용주와 뉴욕시 고용주에게 지원자를 소개하는 고용 기관에 적용된다. 일정 관리나 급여와 같은 내부 행정 목적으로만 사용되는 도구에는 적용되지 않는다. 종이 이력서를 인간이 검토하는 것과 같이 완전히 수동적인 도구에도 적용되지 않는다. 이 법은 역외 적용 범위를 가진다: 캘리포니아에 기반을 둔 고용주가 뉴욕시 직위에 채용할 때 해당 채용에 AEDT를 사용하면 준수해야 한다.
집행 및 제재
LL 144의 집행은 형사가 아닌 민사이다. DCWP는 민원을 조사하고 자체 감사를 수행할 수 있다. 첫 위반에 대한 벌금은 하루 500달러이며, 이후 위반은 하루 1,500달러이다. 준수하지 않은 각 날은 별도의 위반으로 간주된다. 이 법은 또한 개인이 금지 명령, 손해 배상 및 변호사 비용을 청구할 수 있는 사적 소송권을 창설한다. 그러나 사적 소송권은 고용주가 감사 결과를 게시하지 않거나 통지를 제공하지 않은 경우로 제한되며, 차별적 결과 자체에 대해서는 적용되지 않는다.
DCWP는 민원 양식을 게시했으며 감사 부재나 통지 부재와 같은 명백한 위반 사례를 우선 처리할 것이라고 밝혔다. 2024년 현재 DCWP는 공개적으로 집행 조치를 보고하지 않았지만, 이 법은 여러 사적 소송에서 인용되었다. 주목할 만한 사례에서 한 구직자가 통지 없이 AI 화상 면접 도구를 사용한 소매 체인을 LL 144 위반으로 고소했다. 이 사건은 2024년에 합의되었지만 조건은 공개되지 않았다.
영향 및 업계 대응
이 법은 채용 기술 업계에 상당한 영향을 미쳤다. 신경망이나 대규모 언어 모델을 사용하는 것과 같은 ML 기반 선별 도구의 공급업체는 편향 감사를 지원하도록 제품을 조정해야 했다. 많은 공급업체가 이제 선발 비율 자동 계산 및 감사 보고서 생성과 같은 감사 준비 기능을 제공한다. 일부 공급업체는 제품을 "LL 144 준수"로 마케팅하기 시작했지만, 궁극적인 준수 책임은 고용주에게 있다.
고용주는 제3자 감사인을 사용하여 내부적으로 감사를 수행하거나 특정 AEDT 사용을 중단하는 방식으로 대응했다. 2023년 HR 컨설팅 회사의 설문 조사에 따르면 뉴욕시 고용주의 23%가 LL 144로 인해 최소 하나의 자동화 채용 도구 사용을 중단했다. 독립 편향 감사 비용은 데이터 규모와 복잡성에 따라 도구당 5,000달러에서 30,000달러 범위이다. 이는 소규모 고용주에게 장벽이 되어 일부는 대신 수동 검토에 의존하게 되었다.
이 법은 다른 관할권에도 영향을 미쳤다. 2023년 캘리포니아주는 자동화 결정 시스템에 대한 편향 감사를 요구하는 유사한 법안(AB 331)을 통과시켰지만 주지사가 거부권을 행사했다. 워싱턴 D.C.시와 일리노이주는 유사한 조치를 고려했다. 고용 기회 균등 위원회(EEOC)는 LL 144를 연방 규제의 모델로 인용했으며, 2023년 EEOC는 뉴욕시 법을 참조하는 알고리즘 공정성에 관한 기술 지침을 발표했다.
비판 및 한계
비판자들은 LL 144에 대해 몇 가지 우려를 제기했다. 첫째, 이 법이 인종, 민족, 성별에 초점을 맞추어 연령, 장애, 종교와 같은 다른 보호 범주를涵盖하지 않는다. 둘째, 4/5 규칙은 특히 작은 표본 크기에서 미묘한 형태의 편향을 포착하지 못할 수 있는 둔감한 도구이다. 셋째, 이 법은 도구의 정확성이나 업무 관련성을 평가하도록 감사를 요구하지 않으며, 단지 상이한 영향만 평가한다. 넷째, 통지 요구 사항은 부담스럽고 지원자가 몇 분 안에 선별되는 대량 채용에는 실용적이지 않을 수 있다.
또 다른 한계는 이 법이 과거 데이터에 의존한다는 점이다. 고용주가 이전에 도구를 사용한 적이 없다면 테스트 데이터를 사용해야 하며, 이는 실제 조건을 반영하지 않을 수 있다. 이 법은 또한 "대체 선발 절차"를 허용하지만 그것이 무엇인지 정의하지 않아 회피의 여지를 남긴다. 일부 법학자들은 이 법의 사적 소송권이 너무 좁아 원고가 감사 방법론에 이의를 제기할 수 없다고 주장한다. 마지막으로, 이 법은 감사 결과를 기계 판독 가능한 형식으로 공개하도록 요구하지 않아 연구자가 분석하기 어렵게 만든다.
향후 전망
2025년 현재 DCWP는 LL 144에 대한 수정안을 발표하지 않았지만 법의 효과를 모니터링할 것이라고 밝혔다. 기관은 감사 모범 사례에 대한 지침을 게시하고 공청회를 개최했다. 성과 모니터링이나 해고와 같은 다른 유형의 자동화 결정을涵盖하도록 법을 확장할지에 대한 논쟁이 진행 중이다. 일부 옹호자들은 불투명한 의사 결정을 가진 딥 러닝을 사용하는 도구와 같은 특정 AEDT의 금지를 요구했지만, 공식적으로 발의된 제안은 없다.
이 법은 또한 알고리즘 감사에 대한 학술 연구를 촉진했다. MIT CSAIL과 스탠포드 AI 연구소의 연구자들은 LL 144의 요구 사항을 준수하는 편향 감사를 위한 오픈 소스 도구를 개발했다. 이러한 도구는 데이터 증강 및 모델 가지치기와 같은 기술을 사용하여 다양한 인구 통계 분포를 시뮬레이션한다. Samy Bengio와 Anima Anandkumar와 같은 연구자를 포함하는 알고리즘 공정성 분야는 점점 더 실용적인 준수 프레임워크에 초점을 맞추고 있다.
더 넓은 맥락에서 LL 144는 고용에서 AI를 규제하는 글로벌 추세의 일부이다. 2024년에 채택된 유럽 연합의 AI 법은 채용에 사용되는 것을 포함한 고위험 AI 시스템에 유사한 요구 사항을 포함한다. 이 법은 학술 논문과 업계 보고서에서 "감사 기반 규제"의 선구적인 사례로 인용되었다. 편향을 줄이는 데 효과적일지는 여전히 열린 질문이지만, 직장에서 AI를 관리하는 방법에 대한 논의를 확실히 변화시켰다.
결론
뉴욕시 지방법 144호는 고용에서 자동화된 의사 결정 규제에 중요한 진전을 나타낸다. 편향 감사와 투명성을 요구함으로써 유익한 기술의 사용을 허용하면서 알고리즘 차별의 위험을 완화하는 것을 목표로 한다. 이 법의 시행은 정의, 감사 방법론, 집행에 대한 논쟁으로 인해 어려움을 겪었다. 그러나 다른 관할권이 따를 가능성이 있는 프레임워크를 확립했다. AI가 계속 진화함에 따라 LL 144의 원칙 - 독립 감사, 공개 공개, 지원자 통지 - 은 전 세계적으로 표준 관행이 될 수 있다. 이 법의 궁극적인 성공은 고용주에게 과도한 부담을 주거나 혁신을 억제하지 않으면서 실제로 편향을 줄이는지 여부에 달려 있을 것이다.