NYC Local Law 144 (LL 144) é uma lei municipal na cidade de Nova York que regula o uso de ferramentas automatizadas de decisão de emprego (AEDTs) em decisões de contratação e promoção. A lei, oficialmente intitulada "Ferramentas Automatizadas de Decisão de Emprego", foi promulgada em dezembro de 2021 e entrou em vigor em 5 de julho de 2023. É uma das primeiras leis nos Estados Unidos a visar especificamente o viés algorítmico no emprego, estabelecendo um precedente para legislação semelhante em outras jurisdições. A lei se aplica a empregadores e agências de emprego que operam na cidade de Nova York, independentemente de sua localização física, se usarem AEDTs para triar candidatos ou funcionários para promoção.
O requisito central da LL 144 é que qualquer AEDT usada para decisões de emprego deve passar por uma auditoria de viés independente dentro de um ano antes de seu uso. A auditoria deve avaliar o impacto da ferramenta em raça, etnia e sexo, e os resultados devem ser publicados no site do empregador. Além disso, os empregadores devem fornecer aviso aos candidatos e funcionários de que uma AEDT será usada, juntamente com informações sobre as características da ferramenta e como solicitar um processo de seleção alternativo ou acomodação. A lei também proíbe o uso de AEDTs que dependam exclusivamente de um único fator, como um teste de personalidade, a menos que esse fator esteja relacionado ao cargo.
Contexto Legislativo e Intenção
A LL 144 foi introduzida pela vereadora da cidade de Nova York, Laurie Cumbo, em 2020, em meio a crescentes preocupações sobre o uso de IA na contratação. A lei fazia parte de um pacote mais amplo de medidas de responsabilidade algorítmica, incluindo uma lei separada sobre sistemas automatizados de decisão em agências municipais. A intenção era abordar casos documentados em que ferramentas automatizadas discriminavam grupos protegidos, como um estudo de 2018 mostrando que uma ferramenta de recrutamento com IA de uma grande empresa de tecnologia penalizava currículos contendo a palavra "mulheres". A lei visava criar transparência e responsabilidade sem banir a tecnologia completamente, em vez disso, mandando auditorias e divulgação.
O Departamento de Proteção ao Consumidor e ao Trabalhador da cidade de Nova York (DCWP) foi encarregado de implementar a lei. O DCWP emitiu regras propostas em 2022 e regras finais em abril de 2023, esclarecendo definições e procedimentos-chave. A data de vigência foi adiada de 1º de janeiro de 2023 para 5 de julho de 2023, para dar tempo aos empregadores de cumprir. As regras finais definiram uma AEDT como qualquer processo computacional derivado de aprendizado de máquina, modelagem estatística ou outras técnicas de processamento de dados que emite uma saída simplificada, como uma pontuação ou classificação, usada para auxiliar substancialmente ou substituir a tomada de decisão discricionária.
Principais Disposições e Requisitos
A auditoria de viés é a peça central da LL 144. Ela deve ser conduzida por um auditor independente que não seja o fornecedor ou desenvolvedor da AEDT, nem um funcionário do empregador. A auditoria deve usar dados históricos do próprio uso da ferramenta pelo empregador, ou dados de teste se os dados históricos não estiverem disponíveis. A auditoria deve calcular a taxa de seleção para cada categoria de raça, etnia e sexo, e compará-la com a maior taxa de seleção, usando uma métrica semelhante à regra dos quatro quintos da Comissão de Oportunidades Iguais de Emprego. Se a taxa de seleção para um grupo for menor que quatro quintos da taxa do grupo mais alto, a auditoria deve sinalizar um viés potencial.
Os resultados da auditoria devem ser publicados no site do empregador, incluindo a data da auditoria, o nome e versão da ferramenta e o resumo dos resultados. A publicação deve ocorrer dentro de 30 dias após a conclusão da auditoria. Os empregadores também devem reter registros de auditoria por pelo menos três anos. A lei não exige uma pontuação mínima específica, mas se uma auditoria revelar viés, o empregador deve tomar medidas corretivas ou parar de usar a ferramenta.
Os requisitos de aviso são igualmente importantes. Os empregadores devem fornecer um aviso a cada candidato ou funcionário sujeito a uma AEDT pelo menos 10 dias úteis antes do uso da ferramenta. O aviso deve descrever o nome da ferramenta, o tipo de dados que ela coleta, a lógica de pontuação ou classificação da ferramenta e a política do empregador sobre procedimentos de seleção alternativos. O aviso também deve explicar como solicitar uma acomodação, como uma revisão manual ou um método de avaliação diferente. A lei exige que o aviso seja acessível, incluindo em idiomas além do inglês, se o empregador normalmente se comunica nesses idiomas.
Escopo e Definições
A LL 144 se aplica a "decisões de emprego", incluindo contratação, promoção e retenção. Ela cobre tanto a triagem inicial quanto a avaliação contínua. A lei define uma AEDT como uma ferramenta que "auxilia substancialmente ou substitui a tomada de decisão discricionária". Isso significa que a ferramenta deve ser usada para tomar uma decisão que, de outra forma, exigiria julgamento humano. Uma ferramenta que meramente fornece dados brutos, como um analisador de currículos que extrai palavras-chave sem pontuar, não é coberta. No entanto, uma ferramenta que classifica candidatos ou prevê desempenho no trabalho é coberta.
A lei se aplica a empregadores com pelo menos um funcionário na cidade de Nova York, bem como agências de emprego que encaminham candidatos a empregadores de NYC. Ela não se aplica a ferramentas usadas exclusivamente para fins administrativos internos, como agendamento ou folha de pagamento. Também não se aplica a ferramentas totalmente manuais, como um humano revisando um currículo em papel. A lei tem alcance extraterritorial: um empregador baseado na Califórnia que contrata para uma posição em NYC deve cumprir se usar uma AEDT para essa contratação.
Execução e Penalidades
A execução da LL 144 é civil, não criminal. O DCWP pode investigar reclamações e conduzir suas próprias auditorias. As penalidades para primeiras violações são de $500 por dia, e para violações subsequentes, $1.500 por dia. Cada dia de não conformidade é uma violação separada. A lei também cria um direito de ação privado, permitindo que indivíduos processem por medida cautelar, danos e honorários advocatícios. No entanto, o direito de ação privado é limitado a casos em que o empregador falhou em publicar uma auditoria ou fornecer aviso, não para resultados discriminatórios em si.
O DCWP publicou um formulário de reclamação e declarou que priorizará casos com violações claras, como ausência de auditoria ou aviso. Em 2024, o DCWP não havia relatado publicamente nenhuma ação de execução, mas a lei foi citada em vários processos privados. Em um caso notável, um candidato a emprego processou uma rede de varejo por usar uma ferramenta de entrevista em vídeo com IA sem fornecer aviso, alegando violações da LL 144. O caso foi resolvido em 2024, mas os termos não foram divulgados.
Impacto e Resposta da Indústria
A lei teve um impacto significativo na indústria de tecnologia de contratação. Fornecedores de ferramentas de triagem baseadas em ML, como aquelas que usam redes neurais ou grandes modelos de linguagem, tiveram que adaptar seus produtos para apoiar auditorias de viés. Muitos fornecedores agora oferecem recursos prontos para auditoria, como cálculo automatizado de taxas de seleção e geração de relatórios de auditoria. Alguns fornecedores também começaram a comercializar suas ferramentas como "conformes com a LL 144", embora a conformidade seja, em última análise, responsabilidade do empregador.
Os empregadores responderam conduzindo auditorias internamente (usando auditores terceirizados) ou descontinuando o uso de certas AEDTs. Uma pesquisa de 2023 de uma consultoria de RH descobriu que 23% dos empregadores baseados em NYC pararam de usar pelo menos uma ferramenta automatizada de contratação devido à LL 144. O custo de uma auditoria de viés independente varia de $5.000 a $30.000 por ferramenta, dependendo do volume e complexidade dos dados. Isso tem sido uma barreira para pequenos empregadores, levando alguns a depender de revisão manual.
A lei também influenciou outras jurisdições. Em 2023, o estado da Califórnia aprovou uma lei semelhante (AB 331) que exige auditorias de viés para sistemas automatizados de decisão, embora tenha sido vetada pelo governador. A cidade de Washington, D.C., e o estado de Illinois consideraram medidas semelhantes. A Comissão de Oportunidades Iguais de Emprego (EEOC) citou a LL 144 como um modelo para regulamentação federal, e em 2023, a EEOC emitiu orientação técnica sobre justiça algorítmica que referencia a lei de NYC.
Críticas e Limitações
Críticos levantaram várias preocupações sobre a LL 144. Primeiro, o foco da lei em raça, etnia e sexo não cobre outras categorias protegidas, como idade, deficiência ou religião. Segundo, a regra dos quatro quintos é um instrumento bruto que pode não capturar formas sutis de viés, especialmente em amostras pequenas. Terceiro, a lei não exige que a auditoria avalie a precisão da ferramenta ou sua relação com o cargo, apenas seu impacto dispar. Quarto, os requisitos de aviso são onerosos e podem não ser práticos para contratação em alto volume, onde candidatos são triados em minutos.
Outra limitação é a dependência da lei em dados históricos. Se um empregador não usou a ferramenta antes, deve usar dados de teste, que podem não refletir condições do mundo real. A lei também permite que empregadores usem "procedimentos de seleção alternativos", mas não define o que são, deixando espaço para evasão. Alguns estudiosos de direito argumentaram que o direito de ação privado da lei é muito estreito, pois não permite que autores contestem a metodologia da auditoria. Finalmente, a lei não exige que a auditoria seja publicada em um formato legível por máquina, dificultando a análise por pesquisadores.
Desenvolvimentos Futuros
Em 2025, o DCWP não anunciou nenhuma emenda à LL 144, mas declarou que monitorará a eficácia da lei. A agência publicou orientações sobre melhores práticas para auditorias e realizou audiências públicas. Há um debate em andamento sobre estender a lei para cobrir outros tipos de decisões automatizadas, como monitoramento de desempenho ou rescisão. Alguns defensores pediram uma proibição de certas AEDTs, como aquelas que usam aprendizado profundo com tomada de decisão opaca, mas nenhuma proposta foi formalmente introduzida.
A lei também estimulou pesquisa acadêmica sobre auditoria algorítmica. Pesquisadores do MIT CSAIL e do Stanford AI Lab desenvolveram ferramentas de código aberto para auditoria de viés que cumprem os requisitos da LL 144. Essas ferramentas usam técnicas como aumento de dados e poda de modelos para simular diferentes distribuições demográficas. O campo da justiça algorítmica, que inclui pesquisadores como Samy Bengio e Anima Anandkumar, tem se concentrado cada vez mais em estruturas práticas de conformidade.
No contexto mais amplo, a LL 144 faz parte de uma tendência global em direção à regulamentação da IA no emprego. A Lei de IA da União Europeia, adotada em 2024, inclui requisitos semelhantes para sistemas de IA de alto risco, incluindo aqueles usados na contratação. A lei foi citada em artigos acadêmicos e relatórios da indústria como um exemplo pioneiro de "regulamentação baseada em auditoria". Se será eficaz em reduzir o viés permanece uma questão em aberto, mas certamente mudou a conversa sobre como governar IA no local de trabalho.
Conclusão
A NYC Local Law 144 representa um passo significativo na regulamentação da tomada de decisão automatizada no emprego. Ao exigir auditorias de viés e transparência, ela visa mitigar os riscos de discriminação algorítmica enquanto permite o uso de tecnologias benéficas. A implementação da lei tem sido desafiadora, com debates sobre definições, metodologia de auditoria e execução. No entanto, ela estabeleceu uma estrutura que outras jurisdições provavelmente seguirão. À medida que a IA continua a evoluir, os princípios da LL 144 - auditorias independentes, divulgação pública e aviso ao candidato - podem se tornar prática padrão em todo o mundo. O sucesso final da lei dependerá se ela realmente reduz o viés sem sobrecarregar indevidamente os empregadores ou sufocar a inovação.