El sesgo en la IA, también conocido como sesgo algorítmico, describe la tendencia dañina sistemática y repetible en un sistema sociotécnico computarizado a crear resultados injustos, como privilegiar una categoría sobre otra de maneras que pueden diferir de la función prevista del algoritmo. Este sesgo puede surgir de muchos factores, incluyendo decisiones de diseño intencionalmente sesgadas o el uso o las decisiones no intencionados o imprevistos relacionados con la forma en que los datos se codifican, recopilan, seleccionan o utilizan para entrenar el algoritmo. El estudio del sesgo algorítmico se centra principalmente en algoritmos que reflejan una discriminación sistemática e injusta, y se ha observado en resultados de motores de búsqueda, plataformas de redes sociales y otras aplicaciones, con impactos que van desde violaciones de la privacidad hasta el refuerzo de sesgos sociales de raza, género, sexualidad y etnia.
A medida que los algoritmos amplían su capacidad para organizar la sociedad, la política, las instituciones y el comportamiento, los sociólogos se han preocupado por las formas en que la producción imprevista y la manipulación de datos pueden afectar al mundo físico. Debido a que los algoritmos a menudo se consideran neutrales e imparciales, pueden proyectar inexactamente una mayor autoridad que la experiencia humana, en parte debido al fenómeno psicológico del sesgo de automatización. En algunos casos, la dependencia de los algoritmos puede desplazar la responsabilidad humana por sus resultados. El sesgo puede entrar en los sistemas algorítmicos como resultado de expectativas culturales, sociales o institucionales preexistentes; por cómo se eligen las características y las etiquetas; debido a limitaciones técnicas de su diseño; o por ser utilizados en contextos imprevistos o por audiencias no consideradas en el diseño inicial del software.
Fuentes del sesgo
El sesgo puede introducirse en un algoritmo de varias maneras. Durante el ensamblaje de un conjunto de datos, los datos pueden recopilarse, digitalizarse, adaptarse e introducirse en una base de datos según criterios de catalogación diseñados por humanos. Los programadores asignan prioridades o jerarquías para que un programa evalúe y clasifique esos datos, lo que requiere decisiones humanas sobre la categorización y la inclusión o exclusión. Algunos algoritmos recopilan sus propios datos basándose en criterios seleccionados por humanos, lo que puede reflejar el sesgo de los diseñadores humanos. Otros algoritmos pueden reforzar estereotipos y preferencias a medida que procesan y muestran datos relevantes para los usuarios humanos, por ejemplo, seleccionando información basada en elecciones anteriores de un usuario o grupo similar.
Más allá de ensamblar y procesar datos, el sesgo puede surgir como resultado del diseño. Los algoritmos que determinan la asignación de recursos o el escrutinio, como la determinación de colocaciones escolares, pueden discriminar inadvertidamente contra una categoría al determinar el riesgo basándose en usuarios similares, como en las puntuaciones de crédito. Los motores de recomendación que asocian a los usuarios con usuarios similares o infieren rasgos de marketing pueden depender de asociaciones inexactas que reflejan estereotipos étnicos, de género, socioeconómicos o raciales amplios. Los criterios sobre lo que se incluye y excluye de los resultados pueden presentar resultados imprevistos, como un software de recomendación de vuelos que omite vuelos que no siguen las rutas de la aerolínea patrocinadora. Los algoritmos también pueden mostrar un sesgo de incertidumbre, ofreciendo evaluaciones más seguras cuando hay conjuntos de datos más grandes disponibles, lo que puede sesgar los resultados hacia muestras más grandes e ignorar los datos de poblaciones subrepresentadas.
Contexto histórico
Los primeros programas informáticos se diseñaron para imitar el razonamiento y las deducciones humanas, y se consideraba que funcionaban cuando reproducían con éxito y de manera consistente los resultados esperados. A medida que el aprendizaje automático y la inteligencia artificial avanzaron, creció la dependencia de la toma de decisiones basada en datos, y las preocupaciones sobre el sesgo se hicieron más prominentes. Una encuesta de 2021 identificó múltiples formas de sesgo algorítmico, incluidos los sesgos histórico, de representación y de medición, cada uno de los cuales puede contribuir a resultados injustos. El sesgo histórico surge cuando los datos reflejan desigualdades sociales pasadas, el sesgo de representación ocurre cuando ciertos grupos están subrepresentados en los datos de entrenamiento, y el sesgo de medición resulta del uso de métricas defectuosas o incompletas.
Áreas de impacto
El sesgo algorítmico se ha citado en casos que van desde resultados electorales hasta la difusión del discurso de odio en línea. También ha surgido en la justicia penal, la atención médica y la contratación, agravando los sesgos raciales, socioeconómicos y de género existentes. La relativa incapacidad de la tecnología de reconocimiento facial para identificar con precisión rostros de piel más oscura se ha relacionado con múltiples arrestos erróneos de hombres negros, un problema que surge de conjuntos de datos desequilibrados. En la contratación, los algoritmos entrenados con currículos históricos pueden favorecer a los candidatos masculinos si las prácticas de contratación pasadas estaban sesgadas. En la atención médica, los modelos predictivos pueden subdiagnosticar afecciones en poblaciones minoritarias debido a datos de entrenamiento insuficientes.
Respuestas legales y regulatorias
El sesgo en la IA solo se ha abordado recientemente en los marcos legales. El Reglamento General de Protección de Datos de la Unión Europea, aplicado en 2018, incluye disposiciones relacionadas con la toma de decisiones automatizada y el derecho a la explicación. La Ley de Inteligencia Artificial, propuesta en 2021 y adoptada en 2024, establece requisitos basados en el riesgo para los sistemas de IA, incluidas medidas para mitigar el sesgo. Estas regulaciones tienen como objetivo aumentar la transparencia y la responsabilidad, aunque la aplicación sigue siendo un desafío debido a la naturaleza propietaria de muchos algoritmos.
Desafíos para abordar el sesgo
Persisten problemas para comprender, investigar y descubrir el sesgo algorítmico debido a la naturaleza propietaria de los algoritmos, que generalmente se tratan como secretos comerciales. Incluso cuando se proporciona una transparencia total, la complejidad de ciertos algoritmos plantea una barrera para comprender su funcionamiento. Además, los algoritmos pueden cambiar o responder a la entrada o salida de maneras que no se pueden anticipar o reproducir fácilmente para el análisis. En muchos casos, incluso dentro de un solo sitio web o aplicación, no hay un solo algoritmo para examinar, sino una red de muchos programas interrelacionados y entradas de datos, incluso entre usuarios del mismo servicio.
Enfoques de mitigación
Los investigadores y profesionales han desarrollado varios enfoques para mitigar el sesgo en la IA. Estos incluyen técnicas de preprocesamiento para equilibrar conjuntos de datos, métodos de procesamiento interno que incorporan restricciones de equidad durante el entrenamiento del modelo y ajustes de posprocesamiento a las salidas. Por ejemplo, la aumentación de datos puede ayudar a abordar el sesgo de representación generando ejemplos sintéticos para grupos subrepresentados. Se utilizan métricas de equidad, como la paridad demográfica y las probabilidades igualadas, para cuantificar y monitorear el sesgo. Sin embargo, a menudo hay una compensación entre equidad y precisión, y ninguna definición única de equidad se aplica universalmente.
Direcciones futuras
A medida que los sistemas de IA se integran más en la sociedad, abordar el sesgo sigue siendo un desafío crítico. La colaboración interdisciplinaria entre informáticos, sociólogos, especialistas en ética y juristas es esencial. Organizaciones como OpenAI, Anthropic y Google DeepMind han publicado investigaciones sobre equidad y sesgo, aunque sus algoritmos siguen siendo en gran medida propietarios. El desarrollo de la IA explicable, que tiene como objetivo hacer que las decisiones del modelo sean más interpretables, es un área activa de investigación. En última instancia, reducir el sesgo requiere no solo soluciones técnicas, sino también un escrutinio continuo de los contextos sociales e institucionales en los que se implementan los algoritmos.