Las métricas de equidad son medidas cuantitativas utilizadas para evaluar si las predicciones o decisiones de un modelo de aprendizaje automático tratan a individuos o grupos de manera equitativa. Estas métricas son centrales en el campo de la equidad en el aprendizaje automático, que tiene como objetivo corregir el sesgo algorítmico en los procesos de decisión automatizados. Las decisiones tomadas por dichos modelos pueden considerarse injustas si se basan en variables consideradas sensibles, como el género, la etnia, la orientación sexual o la discapacidad. Como ocurre con muchos conceptos éticos, las definiciones de equidad y sesgo pueden ser controvertidas, y las métricas de equidad proporcionan una forma formal y operativa de evaluar nociones contrapuestas de equidad en sistemas que afectan la vida de las personas, como la contratación, los préstamos, la justicia penal y la entrega de contenido.
El desarrollo de métricas de equidad es un enfoque relativamente reciente en el aprendizaje automático, con un fuerte aumento de la investigación desde 2016. Este auge fue desencadenado en parte por un influyente informe de ProPublica de 2016 que afirmaba que COMPAS, un software ampliamente utilizado en los tribunales de EE. UU. para predecir la reincidencia, estaba sesgado racialmente. El informe destacó que los acusados negros tenían casi el doble de probabilidades que los acusados blancos de ser etiquetados incorrectamente como de mayor riesgo, mientras que el error opuesto ocurría para los acusados blancos. Northepointe Inc., el creador de COMPAS, disputó los hallazgos, pero la controversia subrayó la necesidad de definiciones explícitas y medibles de equidad. Las discusiones cuantitativas sobre la equidad en la toma de decisiones preceden a la era del aprendizaje automático, floreciendo a mediados de los años 1960 y 1970 tras la Ley de Derechos Civiles de EE. UU. de 1964, aunque el debate desapareció en gran medida a finales de los años 1970 debido a nociones contrapuestas de equidad.
Criterios estadísticos de equidad
Las métricas de equidad a menudo se clasifican según la noción estadística de equidad que codifican. Un grupo común es la equidad grupal, que requiere que los resultados sean similares entre grupos protegidos. La paridad demográfica, también conocida como paridad estadística, exige que la probabilidad de una predicción positiva sea igual entre grupos. Las probabilidades igualadas requieren que la tasa de verdaderos positivos y la tasa de falsos positivos sean iguales entre grupos, lo que significa que el modelo funciona igualmente bien para todos los grupos. La igualdad de oportunidades es una versión relajada que se centra solo en tasas de verdaderos positivos iguales. Las métricas basadas en calibración, como la calibración por grupo, requieren que para individuos a los que se les predice una cierta probabilidad de un resultado, la frecuencia real del resultado sea la misma entre grupos. Estos criterios a menudo son mutuamente incompatibles; satisfacer uno puede violar otro, lo que hace imposible lograrlos todos simultáneamente en la mayoría de los entornos del mundo real.
Equidad individual y contrafactual
Más allá de las métricas a nivel de grupo, la equidad puede evaluarse a nivel individual. La equidad individual, propuesta por investigadores, incluidos académicos de la Universidad Carnegie Mellon, requiere que individuos similares reciban predicciones similares. Esto se formaliza típicamente utilizando una métrica de distancia que captura características relevantes, asegurando que dos personas que son similares en todos los aspectos no sensibles sean tratadas de manera similar. La equidad contrafactual extiende esta idea preguntando si una predicción cambiaría si un atributo sensible, como la raza o el género, fuera diferente mientras todo lo demás se mantiene constante. Si el resultado difiriera, el modelo se considera injusto. Estos enfoques son más granulares pero requieren una especificación cuidadosa de la similitud y las relaciones causales, lo que puede ser desafiante en la práctica.
Fuentes de sesgo en los modelos
Las métricas de equidad se utilizan para detectar sesgos que surgen de diversas fuentes. El sesgo lingüístico es un tipo de sesgo de muestreo estadístico vinculado al idioma de una consulta, lo que lleva a una desviación sistemática en el muestreo de información que impide una representación precisa de temas y puntos de vista en un repositorio. La investigación de Luo et al. muestra que los grandes modelos de lenguaje actuales, predominantemente entrenados con datos en inglés, a menudo presentan las opiniones angloamericanas como verdad mientras minimizan las perspectivas no inglesas. Por ejemplo, al consultar sobre ideologías políticas como el liberalismo, un modelo puede enfatizar los derechos humanos y la igualdad desde una perspectiva angloamericana mientras omite aspectos como "se opone a la intervención estatal en la vida personal y económica" desde una perspectiva vietnamita o "limitación del poder gubernamental" desde una perspectiva china. El sesgo de género es otro problema común, donde los modelos asignan roles y características basados en normas de género tradicionales, como asociar enfermeras o secretarias con mujeres e ingenieros o directores ejecutivos con hombres. El sesgo político también surge cuando los datos de entrenamiento contienen una amplia gama de opiniones, lo que hace que los modelos se inclinen hacia ideologías particulares según su prevalencia.
Medición del sesgo en la práctica
Para aplicar métricas de equidad, los profesionales típicamente definen atributos protegidos (por ejemplo, raza, género, edad), seleccionan una métrica apropiada (por ejemplo, probabilidades igualadas) y calculan la métrica en un conjunto de datos de validación. Para la clasificación binaria, se utilizan matrices de confusión para derivar tasas como falsos positivos y falsos negativos para cada grupo. El impacto dispar, una métrica común, se calcula como la proporción de tasas de predicción positiva entre el grupo desfavorecido y el favorecido; una proporción inferior a 0.8 a menudo se considera una señal de alerta, siguiendo las pautas de la Comisión de Igualdad de Oportunidades en el Empleo de EE. UU. Se han desarrollado herramientas para facilitar este proceso. IBM ha lanzado kits de herramientas de código abierto para Python y R con algoritmos para reducir el sesgo y aumentar la equidad. Google ha publicado pautas y herramientas para estudiar y combatir el sesgo en el aprendizaje automático. Facebook informó haber utilizado una herramienta llamada Fairness Flow para detectar sesgos en su IA, aunque los críticos argumentan que los esfuerzos de la empresa son insuficientes, señalando poco uso por parte de los empleados porque no se puede aplicar a todos los programas y su uso es opcional.
Estudios de caso y controversias
El uso de la toma de decisiones algorítmica en el sistema legal ha sido un área notable de escrutinio. En 2014, el Fiscal General de EE. UU., Eric Holder, expresó preocupaciones de que los métodos de evaluación de riesgos podrían poner un enfoque indebido en factores que no están bajo el control del acusado, como el nivel educativo o el trasfondo socioeconómico. El informe de ProPublica de 2016 sobre COMPAS llevó a un extenso debate sobre qué métrica de equidad es apropiada; ProPublica utilizó una métrica relacionada con las tasas de falsos positivos, mientras que Northepointe argumentó a favor de la equidad basada en calibración. Este caso ilustra la tensión fundamental entre diferentes definiciones de equidad. Más allá de la justicia penal, se ha documentado sesgo en el reconocimiento de imágenes. En 2015, Google se disculpó después de que Google Photos etiquetara erróneamente a una pareja negra como gorilas. La función de etiquetado automático de Flickr etiquetó a algunas personas negras como "simios" y "animales". Un concurso de belleza internacional de 2016 juzgado por un algoritmo de IA favoreció a individuos con piel más clara, probablemente debido al sesgo en los datos de entrenamiento. Un estudio de 2018 de tres algoritmos comerciales de clasificación de género encontró que eran más precisos para hombres de piel clara y peores para mujeres de piel oscura. En 2020, se demostró que una herramienta de recorte de imágenes de Twitter prefería rostros de piel más clara. En 2022, los creadores del modelo de texto a imagen DALL-E 2 reconocieron que las imágenes generadas estaban significativamente estereotipadas.
Limitaciones e investigación en curso
Las métricas de equidad no son una panacea. No existe una definición universal de equidad, y diferentes métricas pueden contradecirse entre sí, lo que dificulta juzgar los modelos. Elegir una métrica implica inherentemente juicios de valor sobre lo que constituye equidad en un contexto dado. Además, las métricas solo miden patrones estadísticos; no abordan las causas raíz del sesgo, como la recopilación sesgada de datos o las desigualdades sociales. La investigación continúa sobre los orígenes del sesgo, los tipos de sesgo y los métodos para reducirlo. Técnicas como el aumento de datos, el reponderado y la eliminación de sesgos adversarial se utilizan para mejorar las puntuaciones de equidad, pero pueden intercambiarse con la precisión del modelo. A mediados de la década de 2020, el campo sigue activo, con trabajo en curso en áreas como la equidad causal y la equidad interseccional, que considera múltiples atributos protegidos simultáneamente. Empresas tecnológicas e instituciones académicas, incluidos el Laboratorio de IA de Stanford y la Investigación de IA de Berkeley, continúan contribuyendo a esta disciplina en evolución.
Consideraciones prácticas para el despliegue
Al desplegar sistemas de aprendizaje automático en dominios de alto riesgo, las organizaciones deben seleccionar cuidadosamente métricas de equidad que se alineen con los requisitos legales y éticos. Por ejemplo, en la contratación, la igualdad de oportunidades puede priorizarse para garantizar que los candidatos calificados de todos los grupos no sean pasados por alto. En los préstamos crediticios, la calibración podría enfatizarse para asegurar que las puntuaciones de riesgo sean precisas para todos los datos demográficos. También es importante monitorear la equidad a lo largo del tiempo, ya que los modelos pueden derivar y pueden surgir nuevos sesgos. La documentación y la transparencia son críticas; muchas organizaciones ahora publican tarjetas de modelo que informan métricas de equidad entre grupos. Sin embargo, como muestra el caso de COMPAS, incluso los modelos bien documentados pueden enfrentar disputas sobre qué métrica es correcta. En última instancia, las métricas de equidad son una herramienta para la rendición de cuentas, pero requieren juicio humano para interpretarlas y actuar sobre ellas. El objetivo más amplio es construir sistemas que no solo funcionen bien en métricas agregadas, sino que también respeten la dignidad individual y promuevan la equidad social.
Direcciones futuras
La investigación futura en métricas de equidad probablemente abordará varios desafíos. Uno es desarrollar métricas que sean robustas a tamaños de muestra pequeños para grupos minoritarios, donde las estimaciones estadísticas son ruidosas. Otro es crear métricas para salidas complejas, como modelos generativos que producen texto o imágenes, donde las métricas de clasificación tradicionales no se aplican. Por ejemplo, evaluar la equidad en IA generativa requiere nuevos enfoques para detectar contenido estereotipado o sesgado. También hay un creciente interés en enfoques participativos, donde las comunidades afectadas ayudan a definir qué significa equidad en su contexto. A medida que el aprendizaje automático se vuelve más omnipresente, desde sistemas de IA en la atención médica hasta vehículos autónomos, la demanda de métricas de equidad rigurosas y sensibles al contexto solo aumentará. El campo es interdisciplinario, basándose en ciencias de la computación, estadística, derecho y filosofía, y sigue siendo un área activa tanto de investigación académica como de práctica industrial.