Igualdad de oportunidades es un criterio para evaluar y hacer cumplir la equidad en sistemas de clasificación de aprendizaje automático. Formalmente, un predictor \(\hat{Y}\) satisface la igualdad de oportunidades con respecto a un atributo protegido \(A\) (como raza, género o edad) y una etiqueta de verdad fundamental \(Y\) si \(P(\hat{Y} = 1 | A = a, Y = y) = P(\hat{Y} = 1 | A = b, Y = y)\) para todos los grupos \(a, b\) y todos los resultados \(y \in \{0,1\}\). En términos simples, el clasificador debe tener la misma tasa de verdaderos positivos (recall) y la misma tasa de falsos positivos en todos los grupos protegidos, condicionado al resultado real. Este concepto fue introducido en un artículo de 2016 de Moritz Hardt, Eric Price y Nathan Srebro, quienes lo propusieron como una alternativa a las nociones más simples de paridad demográfica que ignoran la distribución de etiquetas.
La igualdad de oportunidades a menudo se contrasta con la paridad demográfica, que solo requiere tasas de predicción iguales entre grupos sin condicionar sobre la etiqueta verdadera. Al condicionar sobre \(Y\), la igualdad de oportunidades busca capturar la idea de que los errores deberían distribuirse equitativamente: un individuo calificado de cualquier grupo debería tener la misma probabilidad de ser clasificado positivamente, y un individuo no calificado debería tener la misma probabilidad de ser aceptado incorrectamente. Esto hace que la igualdad de oportunidades sea particularmente relevante en dominios de alto riesgo como la contratación, los préstamos, la justicia penal y la atención médica, donde tasas de error dispares pueden perpetuar sesgos sistémicos.
Definición formal y componentes
La condición de igualdad de oportunidades se puede descomponer en dos restricciones de igualdad separadas: igualdad de oportunidades y tasas de falsos positivos igualadas. El criterio de igualdad de oportunidades, también introducido en el mismo trabajo, requiere tasas de verdaderos positivos iguales entre grupos, es decir, \(P(\hat{Y} = 1 | A = a, Y = 1) = P(\hat{Y} = 1 | A = b, Y = 1)\). Esto asegura que entre los individuos que deberían ser clasificados positivamente, todos los grupos reciban la misma tasa de predicciones correctas. El segundo componente, tasa de falsos positivos igual, requiere \(P(\hat{Y} = 1 | A = a, Y = 0) = P(\hat{Y} = 1 | A = b, Y = 0)\), asegurando que los resultados negativos no se sobrepredigan para ningún grupo.
Cuando ambas condiciones se cumplen simultáneamente, se dice que el clasificador satisface la igualdad de oportunidades. En la práctica, lograr ambas restricciones de igualdad puede ser imposible cuando las tasas base difieren entre grupos, lo que lleva a compensaciones entre los dos componentes. Algunas aplicaciones relajan el requisito a solo igualdad de oportunidades, particularmente cuando los falsos positivos son menos consecuentes que los falsos negativos.
Implementación en sistemas de aprendizaje automático
Hacer cumplir la igualdad de oportunidades a menudo requiere técnicas de post-procesamiento o procesamiento interno. Un enfoque común de post-procesamiento implica entrenar un clasificador sin restricciones de equidad, y luego ajustar el umbral de decisión por separado para cada grupo según las puntuaciones propuestas. Hardt, Price y Srebro mostraron que, dado acceso a las etiquetas verdaderas y la pertenencia al grupo, se pueden calibrar de manera óptima los umbrales para satisfacer la igualdad de oportunidades mientras se minimiza la pérdida general. Este método, sin embargo, requiere datos etiquetados y puede no extenderse a entornos completamente no restringidos.
Los métodos de procesamiento interno incorporan restricciones de equidad directamente en la función de pérdida durante el entrenamiento. Por ejemplo, agregar un término de penalización que mida la diferencia en tasas de error entre grupos, o usar entrenamiento adversarial donde un discriminador intenta predecir la pertenencia al grupo a partir de la salida del clasificador. Estos enfoques se utilizan a menudo en pipelines modernos de Deep learning, donde la optimización basada en gradientes con Adam (Optimizer) o Stochastic Gradient Descent Variants puede acomodar penalizaciones de equidad diferenciables.
Trabajos recientes han extendido la igualdad de oportunidades a modelos más complejos, incluyendo arquitecturas de Neural network y sistemas de Generative AI. Sin embargo, medir la igualdad de oportunidades en entornos multiclase o de regresión sigue siendo un desafío, ya que la definición binaria no se generaliza directamente. Los investigadores han propuesto extensiones multivariadas y medidas de calibración condicionales al grupo, pero ningún estándar único domina.
Relación con otras nociones de equidad
La igualdad de oportunidades se encuentra dentro de una familia más amplia de criterios de equidad estadística. La paridad demográfica, también conocida como paridad estadística, requiere \(P(\hat{Y} = 1 | A = a) = P(\hat{Y} = 1 | A = b)\), que es más fuerte en el sentido de que restringe las tasas de predicción generales, pero puede satisfacerse incluso cuando las tasas de error difieren. La calibración, por otro lado, requiere que para cualquier probabilidad predicha \(p\), la probabilidad del resultado verdadero sea \(p\) para todos los grupos, lo que se relaciona pero no implica la igualdad de oportunidades.
El resultado seminal de imposibilidad de Jon Kleinberg, Sendhil Mullainathan y Manish Raghavan (2016) mostró que cuando las tasas base difieren, ningún clasificador puede satisfacer simultáneamente calibración, igualdad de oportunidades y paridad demográfica a menos que sea perfecto. Esta compensación ha provocado un debate sobre qué métrica de equidad es más apropiada para aplicaciones específicas. La igualdad de oportunidades a menudo se favorece en entornos donde los errores son asimétricos en costo, como en el diagnóstico médico donde perder una condición (falso negativo) es más dañino que un falso positivo.
Críticas y limitaciones
Una crítica a la igualdad de oportunidades es que asume que la etiqueta de verdad fundamental \(Y\) es imparcial. Si las etiquetas históricas están contaminadas por discriminación, la igualdad de oportunidades puede perpetuar disparidades existentes en lugar de corregirlas. Por ejemplo, si los registros de arrestos subrepresentan a ciertas comunidades, un clasificador entrenado con estas etiquetas bajo igualdad de oportunidades puede seguir perjudicando a esos grupos. Este problema resalta la importancia de una recopilación de datos cuidadosa y una auditoría de etiquetas.
Otra limitación es que la igualdad de oportunidades no tiene en cuenta las consecuencias de los errores a nivel individual; solo considera tasas a nivel de grupo. Dos grupos pueden tener tasas de verdaderos y falsos positivos idénticas, pero el impacto posterior de esos errores podría diferir sustancialmente debido a diferencias en la asignación de recursos o el contexto social. Además, el entorno de resultados binarios no captura contextos de clasificación o puntuación, donde los umbrales no son fijos.
Aplicaciones e investigación actual
La igualdad de oportunidades se ha aplicado en áreas como la puntuación de crédito, la predicción de reincidencia (por ejemplo, con herramientas como COMPAS) y la contratación algorítmica. Empresas y laboratorios de investigación, incluidos Google DeepMind y grupos de University of Oxford, han explorado la incorporación de restricciones de equidad en sistemas del mundo real. Por ejemplo, se han probado modelos de clasificación justa en atención médica para predecir el reingreso de pacientes, donde se observaron tasas diferenciales de falsos negativos entre grupos raciales.
La investigación contemporánea se centra en relajar el requisito estricto de igualdad de oportunidades para tener en cuenta etiquetas ruidosas, información de grupo faltante y atributos protegidos continuos. La equidad en las salidas de Large language model también ha surgido, aunque medir la igualdad de oportunidades para la generación de texto no es trivial. A mediados de la década de 2020, no existe consenso sobre una métrica de equidad universal, pero la igualdad de oportunidades sigue siendo un concepto fundamental en la literatura de equidad algorítmica, enseñado en cursos en instituciones como Stanford AI Lab y MIT CSAIL.
Véase también
- paridad demográfica (no en slugs proporcionados, omitir)
- equidad algorítmica (no en slugs proporcionados, omitir)
(Nota: La sección de véase también se omite debido a la falta de slugs relevantes.)
Referencias
- Hardt, M., Price, E., Srebro, N. (2016). Equality of Opportunity in Supervised Learning.
- Kleinberg, J., Mullainathan, S., Raghavan, M. (2016). Inherent Trade-Offs in the Fair Determination of Risk Scores.