La Ley Local 144 de la Ciudad de Nueva York (LL 144) es una ordenanza municipal en la Ciudad de Nueva York que regula el uso de herramientas automatizadas de decisión de empleo (AEDT) en decisiones de contratación y promoción. La ley, titulada oficialmente "Herramientas Automatizadas de Decisión de Empleo", fue promulgada en diciembre de 2021 y entró en vigor el 5 de julio de 2023. Es una de las primeras leyes en los Estados Unidos en abordar específicamente el sesgo algorítmico en el empleo, estableciendo un precedente para legislación similar en otras jurisdicciones. La ley se aplica a empleadores y agencias de empleo que operan en la Ciudad de Nueva York, independientemente de su ubicación física, si utilizan AEDT para evaluar candidatos o empleados para promociones.
El requisito central de la LL 144 es que cualquier AEDT utilizada para decisiones de empleo debe someterse a una auditoría de sesgo independiente dentro del año anterior a su uso. La auditoría debe evaluar el impacto de la herramienta en raza, etnia y sexo, y los resultados deben publicarse en el sitio web del empleador. Además, los empleadores deben notificar a los candidatos y empleados que se utilizará una AEDT, junto con información sobre las características de la herramienta y cómo solicitar un proceso de selección alternativo o una adaptación. La ley también prohíbe el uso de AEDT que se basen únicamente en un solo factor, como una prueba de personalidad, a menos que ese factor esté relacionado con el puesto.
Antecedentes Legislativos e Intención
La LL 144 fue presentada por la concejal de la Ciudad de Nueva York Laurie Cumbo en 2020, en medio de crecientes preocupaciones sobre el uso de IA en la contratación. La ley formaba parte de un paquete más amplio de medidas de responsabilidad algorítmica, incluida una ley separada sobre sistemas de decisión automatizados en agencias de la ciudad. La intención era abordar casos documentados donde herramientas automatizadas discriminaban a grupos protegidos, como un estudio de 2018 que mostró que una herramienta de reclutamiento de IA de una importante empresa tecnológica penalizaba currículos que contenían la palabra "mujeres". La ley buscaba crear transparencia y responsabilidad sin prohibir la tecnología por completo, en cambio, exigiendo auditorías y divulgación.
El Departamento de Protección al Consumidor y al Trabajador de la Ciudad de Nueva York (DCWP) fue encargado de implementar la ley. El DCWP emitió reglas propuestas en 2022 y reglas finales en abril de 2023, aclarando definiciones y procedimientos clave. La fecha de entrada en vigor se pospuso del 1 de enero de 2023 al 5 de julio de 2023, para dar tiempo a los empleadores a cumplir. Las reglas finales definieron una AEDT como cualquier proceso computacional derivado de aprendizaje automático, modelado estadístico u otras técnicas de procesamiento de datos que produce un resultado simplificado, como una puntuación o clasificación, utilizado para asistir sustancialmente o reemplazar la toma de decisiones discrecional.
Disposiciones y Requisitos Clave
La auditoría de sesgo es la pieza central de la LL 144. Debe ser realizada por un auditor independiente que no sea el proveedor o desarrollador de la AEDT, ni un empleado del empleador. La auditoría debe utilizar datos históricos del propio uso de la herramienta por parte del empleador, o datos de prueba si los datos históricos no están disponibles. La auditoría debe calcular la tasa de selección para cada categoría de raza, etnia y sexo, y compararla con la tasa de selección más alta, utilizando una métrica similar a la regla de cuatro quintos de la Comisión de Igualdad de Oportunidades en el Empleo. Si la tasa de selección para un grupo es inferior a cuatro quintos de la tasa del grupo más alto, la auditoría debe señalar un posible sesgo.
Los resultados de la auditoría deben publicarse en el sitio web del empleador, incluida la fecha de la auditoría, el nombre y la versión de la herramienta, y el resumen de los resultados. La publicación debe ocurrir dentro de los 30 días posteriores a la finalización de la auditoría. Los empleadores también deben conservar los registros de auditoría durante al menos tres años. La ley no exige una puntuación mínima específica, pero si una auditoría revela sesgo, el empleador debe tomar medidas correctivas o dejar de usar la herramienta.
Los requisitos de notificación son igualmente importantes. Los empleadores deben proporcionar una notificación a cada candidato o empleado que esté sujeto a una AEDT al menos 10 días hábiles antes de que se use la herramienta. La notificación debe describir el nombre de la herramienta, el tipo de datos que recopila, la lógica de puntuación o clasificación de la herramienta y la política del empleador sobre procedimientos de selección alternativos. La notificación también debe explicar cómo solicitar una adaptación, como una revisión manual o un método de evaluación diferente. La ley exige que la notificación sea accesible, incluidos idiomas distintos del inglés si el empleador normalmente se comunica en esos idiomas.
Alcance y Definiciones
La LL 144 se aplica a "decisiones de empleo", incluida la contratación, la promoción y la retención. Cubre tanto la evaluación inicial como la evaluación continua. La ley define una AEDT como una herramienta que "asiste sustancialmente o reemplaza la toma de decisiones discrecional". Esto significa que la herramienta debe usarse para tomar una decisión que de otro modo requeriría juicio humano. Una herramienta que simplemente proporciona datos brutos, como un analizador de currículos que extrae palabras clave sin puntuar, no está cubierta. Sin embargo, una herramienta que clasifica candidatos o predice el rendimiento laboral está cubierta.
La ley se aplica a empleadores con al menos un empleado en la Ciudad de Nueva York, así como a agencias de empleo que remiten candidatos a empleadores de NYC. No se aplica a herramientas utilizadas únicamente para fines administrativos internos, como programación o nómina. Tampoco se aplica a herramientas completamente manuales, como un humano que revisa un currículo en papel. La ley tiene alcance extraterritorial: un empleador con sede en California que contrate para un puesto en NYC debe cumplir si utiliza una AEDT para esa contratación.
Cumplimiento y Sanciones
El cumplimiento de la LL 144 es civil, no penal. El DCWP puede investigar quejas y realizar sus propias auditorías. Las sanciones por primeras infracciones son de $500 por día, y por infracciones posteriores, de $1,500 por día. Cada día de incumplimiento es una infracción separada. La ley también crea un derecho de acción privado, que permite a los individuos demandar por medidas cautelares, daños y honorarios de abogados. Sin embargo, el derecho de acción privado se limita a casos donde el empleador no publicó una auditoría o no proporcionó notificación, no por resultados discriminatorios en sí mismos.
El DCWP ha publicado un formulario de quejas y ha declarado que priorizará casos con violaciones claras, como falta de auditoría o notificación. A partir de 2024, el DCWP no había informado públicamente de ninguna acción de cumplimiento, pero la ley ha sido citada en varias demandas privadas. En un caso notable, un solicitante de empleo demandó a una cadena minorista por usar una herramienta de entrevista por video con IA sin proporcionar notificación, alegando violaciones de la LL 144. El caso se resolvió en 2024, pero los términos no fueron divulgados.
Impacto y Respuesta de la Industria
La ley ha tenido un impacto significativo en la industria de tecnología de contratación. Los proveedores de herramientas de evaluación basadas en ML, como las que utilizan redes neuronales o modelos de lenguaje grandes, han tenido que adaptar sus productos para apoyar auditorías de sesgo. Muchos proveedores ahora ofrecen funciones listas para auditoría, como cálculo automatizado de tasas de selección y generación de informes de auditoría. Algunos proveedores también han comenzado a comercializar sus herramientas como "cumplen con la LL 144", aunque el cumplimiento es en última instancia responsabilidad del empleador.
Los empleadores han respondido realizando auditorías internamente (usando auditores de terceros) o dejando de usar ciertas AEDT. Una encuesta de 2023 de una firma consultora de RRHH encontró que el 23% de los empleadores con sede en NYC habían dejado de usar al menos una herramienta de contratación automatizada debido a la LL 144. El costo de una auditoría de sesgo independiente varía de $5,000 a $30,000 por herramienta, dependiendo del volumen de datos y la complejidad. Esto ha sido una barrera para pequeños empleadores, lo que ha llevado a algunos a depender de la revisión manual en su lugar.
La ley también ha influido en otras jurisdicciones. En 2023, el estado de California aprobó una ley similar (AB 331) que exige auditorías de sesgo para sistemas de decisión automatizados, aunque fue vetada por el gobernador. La ciudad de Washington, D.C., y el estado de Illinois han considerado medidas similares. La Comisión de Igualdad de Oportunidades en el Empleo (EEOC) ha citado la LL 144 como un modelo para la regulación federal, y en 2023, la EEOC emitió orientación técnica sobre equidad algorítmica que hace referencia a la ley de NYC.
Críticas y Limitaciones
Los críticos han planteado varias preocupaciones sobre la LL 144. Primero, el enfoque de la ley en raza, etnia y sexo no cubre otras categorías protegidas como edad, discapacidad o religión. Segundo, la regla de cuatro quintos es un instrumento contundente que puede no capturar formas sutiles de sesgo, especialmente en tamaños de muestra pequeños. Tercero, la ley no exige que la auditoría evalúe la precisión de la herramienta o su relación con el puesto, solo su impacto dispar. Cuarto, los requisitos de notificación son onerosos y pueden no ser prácticos para la contratación de alto volumen, donde los candidatos son evaluados en minutos.
Otra limitación es la dependencia de la ley en datos históricos. Si un empleador no ha usado la herramienta antes, debe usar datos de prueba, que pueden no reflejar condiciones del mundo real. La ley también permite a los empleadores usar "procedimientos de selección alternativos" pero no define cuáles son, dejando espacio para la evasión. Algunos académicos legales han argumentado que el derecho de acción privado de la ley es demasiado estrecho, ya que no permite a los demandantes impugnar la metodología de la auditoría. Finalmente, la ley no exige que la auditoría se haga pública en un formato legible por máquina, lo que dificulta que los investigadores la analicen.
Desarrollos Futuros
A partir de 2025, el DCWP no ha anunciado enmiendas a la LL 144, pero ha declarado que monitoreará la efectividad de la ley. La agencia ha publicado orientación sobre mejores prácticas para auditorías y ha celebrado audiencias públicas. Hay un debate en curso sobre si extender la ley para cubrir otros tipos de decisiones automatizadas, como monitoreo de rendimiento o despido. Algunos defensores han pedido una prohibición de ciertas AEDT, como las que utilizan aprendizaje profundo con toma de decisiones opaca, pero no se ha presentado formalmente tal propuesta.
La ley también ha impulsado la investigación académica sobre auditoría algorítmica. Investigadores en MIT CSAIL y Stanford AI Lab han desarrollado herramientas de código abierto para auditoría de sesgo que cumplen con los requisitos de la LL 144. Estas herramientas utilizan técnicas como aumento de datos y poda de modelos para simular diferentes distribuciones demográficas. El campo de la equidad algorítmica, que incluye investigadores como Samy Bengio y Anima Anandkumar, se ha centrado cada vez más en marcos de cumplimiento prácticos.
En el contexto más amplio, la LL 144 es parte de una tendencia global hacia la regulación de la IA en el empleo. La Ley de IA de la Unión Europea, adoptada en 2024, incluye requisitos similares para sistemas de IA de alto riesgo, incluidos los utilizados en la contratación. La ley ha sido citada en artículos académicos e informes de la industria como un ejemplo pionero de "regulación basada en auditoría". Si será efectiva para reducir el sesgo sigue siendo una pregunta abierta, pero ciertamente ha cambiado la conversación sobre cómo gobernar IA en el lugar de trabajo.
Conclusión
La Ley Local 144 de NYC representa un paso significativo en la regulación de la toma de decisiones automatizada en el empleo. Al exigir auditorías de sesgo y transparencia, busca mitigar los riesgos de discriminación algorítmica mientras permite el uso de tecnologías beneficiosas. La implementación de la ley ha sido desafiante, con debates sobre definiciones, metodología de auditoría y cumplimiento. Sin embargo, ha establecido un marco que es probable que otras jurisdicciones sigan. A medida que la IA continúa evolucionando, los principios de la LL 144 - auditorías independientes, divulgación pública y notificación al candidato - pueden convertirse en práctica estándar en todo el mundo. El éxito final de la ley dependerá de si realmente reduce el sesgo sin cargar indebidamente a los empleadores o sofocar la innovación.