El sesgo algorítmico se refiere a la discriminación sistemática e injusta producida por un sistema algorítmico, generalmente un modelo de aprendizaje automático cuyas predicciones o resultados perjudican a grupos particulares definidos por raza, género, edad u otras características protegidas. Debido a que estos sistemas aprenden patrones estadísticos de los datos de entrenamiento, tienden a reproducir, y pueden amplificar, los sesgos ya presentes en esos datos o introducidos por la forma en que se formula, etiqueta o evalúa un problema. El sesgo algorítmico es una preocupación central dentro de la ética de la IA y ha motivado tanto la investigación técnica para su mitigación como el escrutinio legal de los sistemas desplegados.
Fuentes del sesgo
Los investigadores suelen distinguir varias fuentes. El sesgo histórico existe en los propios datos, por ejemplo, cuando decisiones de contratación pasadas reflejaban discriminación que un modelo luego aprende a replicar. El sesgo de representación surge cuando ciertos grupos están subrepresentados en un conjunto de datos, degradando la precisión del modelo para ellos; esto fue central en la auditoría "Gender Shades" de 2018 realizada por Joy Buolamwini y Timnit Gebru, que encontró que los sistemas comerciales de reconocimiento facial funcionaban notablemente peor en mujeres de piel más oscura que en hombres de piel más clara. El sesgo de medición ocurre cuando el proxy que el modelo se entrena para predecir, como las tasas de arresto como indicador del crimen, es en sí mismo una medición sesgada del concepto subyacente. El sesgo de agregación surge al aplicar un modelo uniformemente a grupos para los cuales las relaciones subyacentes difieren.
Casos de alto perfil
Varios casos documentados moldearon el debate público y académico. La herramienta de predicción de reincidencia COMPAS, utilizada en tribunales de EE. UU., fue objeto de una investigación de ProPublica en 2016 que encontró que el sistema marcaba a los acusados negros como riesgos futuros a casi el doble de la tasa de los acusados blancos en relación con las tasas reales de reincidencia, aunque los investigadores posteriormente debatieron en qué definición estadística de equidad se basaba el hallazgo. Amazon eliminó una herramienta interna de reclutamiento con IA en 2018 tras descubrir que penalizaba currículos que contenían la palabra "mujeres", un patrón aprendido de una década de datos de contratación dominados por hombres. Las auditorías de reconocimiento facial, incluido el estudio de 2019 del Instituto Nacional de Estándares y Tecnología de EE. UU. sobre más de 100 sistemas, encontraron repetidamente tasas de error más altas para mujeres y personas con piel más oscura, lo que contribuyó a que varias ciudades de EE. UU. prohibieran el uso policial de la tecnología y a que algunos proveedores pausaran las ventas a las fuerzas del orden.
Mitigación y medición
Las respuestas técnicas incluyen auditar modelos contra métricas de equidad como la paridad demográfica o las probabilidades igualadas, reequilibrar o aumentar los datos de entrenamiento, y aplicar ajustes de posprocesamiento a las salidas del modelo; una amplia literatura de investigación también ha demostrado que diferentes definiciones de equidad pueden ser matemáticamente incompatibles entre sí, lo que significa que satisfacer una métrica puede requerir violar otra. Las herramientas de IA explicable se utilizan frecuentemente junto con las auditorías de equidad para ayudar a identificar qué características de entrada impulsan resultados dispares. Las preocupaciones sobre el sesgo también se han extendido a la era de los sistemas de modelos de lenguaje grandes, donde los investigadores han documentado asociaciones estereotipadas en texto e imágenes generados, incluso en sistemas de texto a imagen.
Respuesta de gobernanza
El sesgo algorítmico se ha convertido en una justificación recurrente para la regulación, apareciendo explícitamente en la clasificación de riesgos del acta de IA de la UE y en propuestas anteriores de EE. UU. como la Ley de Responsabilidad Algorítmica. Sigue siendo uno de los daños más litigados y empíricamente documentados en el campo más amplio de la gobernanza de la IA.