Explicación contrafactual

Una explicación contrafactual es un método en la interpretabilidad del aprendizaje automático que identifica el cambio más pequeño en las características de una entrada que haría que un modelo produjera una predicción diferente. Responde a la pregunta: "¿Qué tendría que ser diferente para que el resultado cambiara?". Por ejemplo, si se rechaza una solicitud de préstamo, una explicación contrafactual podría indicar que la solicitud habría sido aprobada si el ingreso del solicitante fuera $5,000 más alto. Este enfoque ayuda a los usuarios a comprender el comportamiento del modelo, generar confianza e identificar posibles sesgos o errores.

Las explicaciones contrafactuales son una forma de explicación post-hoc, lo que significa que se generan después de que un modelo ha realizado una predicción, sin alterar el modelo en sí. Son particularmente útiles para modelos complejos como redes neuronales profundas y grandes modelos de lenguaje, donde el razonamiento interno es opaco. Al centrarse en cambios mínimos de entrada, los contrafactuales proporcionan información procesable que a menudo es más intuitiva que otros métodos de explicación, como las puntuaciones de importancia de características.

Contexto Histórico

El concepto de razonamiento contrafactual tiene raíces en la filosofía y la ciencia cognitiva, donde se refiere a imaginar escenarios alternativos que contradicen hechos conocidos. En el contexto de la inteligencia artificial, el término ganó prominencia en la década de 2010 cuando los investigadores buscaron hacer que los modelos de aprendizaje automático fueran más interpretables. Un artículo seminal de Sandra Wachter, Brent Mittelstadt y Chris Russell en 2017 formalizó las explicaciones contrafactuales para la toma de decisiones algorítmica, proponiendo que podrían satisfacer los requisitos legales de explicación bajo regulaciones como el Reglamento General de Protección de Datos (GDPR) de la Unión Europea.

Desde entonces, se han desarrollado métodos de explicación contrafactual para varios tipos de modelos, incluidos redes neuronales, transformadores y redes residuales. Se han aplicado en dominios como finanzas, atención médica y justicia penal, donde comprender predicciones individuales es crítico.

Cómo Funcionan las Explicaciones Contrafactuales

Los algoritmos de explicación contrafactual típicamente buscan la entrada más cercana que cambie la predicción del modelo. La búsqueda se guía por una métrica de distancia, como la distancia euclidiana o la distancia de Manhattan, que mide cuánto debe cambiar la entrada. El objetivo es encontrar un contrafactual que sea lo más similar posible a la entrada original mientras produce un resultado diferente.

Formalmente, dada una entrada x y un modelo f, se busca un contrafactual x' tal que f(x') ≠ f(x) y la distancia d(x, x') se minimice. Se pueden imponer restricciones adicionales, como requerir que ciertas características permanezcan sin cambios (por ejemplo, edad o género) o que el contrafactual sea plausible (es decir, que se encuentre dentro de la distribución de datos).

A menudo se utilizan técnicas de optimización, como el descenso de gradiente, para encontrar contrafactuales. Para modelos diferenciables, los gradientes pueden guiar la búsqueda hacia entradas que cambien la predicción. Para modelos no diferenciables, se pueden emplear algoritmos genéticos o búsqueda aleatoria.

Aplicaciones

Las explicaciones contrafactuales se utilizan en varios escenarios prácticos:

• Finanzas: En la calificación crediticia, ayudan a los solicitantes de préstamos a entender por qué se denegó su solicitud y qué podrían cambiar para mejorar sus posibilidades. Por ejemplo, un banco podría usar una explicación contrafactual para decirle a un cliente que aumentar su puntaje crediticio en 20 puntos llevaría a la aprobación.
• Atención médica: En el diagnóstico médico, los contrafactuales pueden mostrar a los médicos qué características del paciente (por ejemplo, presión arterial, nivel de colesterol) necesitarían cambiar para reducir el riesgo de una predicción de enfermedad, ayudando en la planificación del tratamiento.
• Justicia penal: En la evaluación del riesgo de reincidencia, los contrafactuales pueden resaltar qué factores, como el estado laboral o delitos previos, necesitarían cambiar para reducir una puntuación de riesgo, aunque surgen preocupaciones éticas sobre el uso de tales explicaciones para justificar decisiones.
• Sistemas autónomos: En coches autónomos y Tesla Autopilot, las explicaciones contrafactuales pueden ayudar a los ingenieros a entender por qué un vehículo tomó una decisión particular, como frenar o cambiar de carril, identificando los cambios mínimos en las entradas del sensor que habrían llevado a una acción diferente.

Desafíos y Limitaciones

A pesar de su utilidad, las explicaciones contrafactuales enfrentan varios desafíos:

• Múltiples Contrafactuales: Puede haber muchos cambios igualmente mínimos que alteren una predicción. Elegir cuál presentar puede ser subjetivo y puede influir en la percepción del usuario.
• Plausibilidad: Los contrafactuales pueden sugerir cambios que no son realistas o imposibles (por ejemplo, cambiar la edad o el género). Asegurar que los contrafactuales sean procesables y estén dentro del manifold de datos es un área de investigación activa.
• Causalidad: Las explicaciones contrafactuales no son causales; solo describen correlaciones. Cambiar una característica en la realidad puede no llevar al resultado predicho si las relaciones causales difieren.
• Costo Computacional: Para modelos complejos, encontrar contrafactuales puede ser computacionalmente costoso, especialmente en aplicaciones en tiempo real.
• Uso Adversarial: Los contrafactuales pueden ser explotados para encontrar entradas que engañen al modelo, similar a los ejemplos adversariales, lo que plantea preocupaciones de seguridad.

Relación con Otros Métodos de Interpretabilidad

Las explicaciones contrafactuales están relacionadas pero son distintas de otras técnicas de interpretabilidad:

• Atribución de Características: Métodos como SHAP (SHapley Additive exPlanations) asignan puntuaciones de importancia a las características, indicando cuánto contribuyó cada una a una predicción. Los contrafactuales en cambio muestran cómo cambiar características juntas puede alterar el resultado.
• Explicaciones Contrastivas: Estas explican por qué se hizo una predicción en lugar de otra, a menudo destacando diferencias entre los casos reales y contrafactuales.
• Ejemplos Adversariales: Mientras que los ejemplos adversariales buscan engañar a un modelo con cambios imperceptibles, los contrafactuales buscan proporcionar cambios significativos y comprensibles para los humanos que lleven a un resultado diferente, a menudo deseado.

Desarrollos Recientes

La investigación sobre explicaciones contrafactuales se ha expandido rápidamente. En 2020, investigadores de Google DeepMind y otras instituciones propusieron métodos para generar contrafactuales que son dispersos (cambiando pocas características) y diversos (ofreciendo múltiples alternativas). En 2021, el trabajo sobre contrafactuales causales incorporó modelos causales estructurales para asegurar que los cambios respeten las dependencias causales.

Con el auge de IA generativa y grandes modelos de lenguaje, las explicaciones contrafactuales se han aplicado a datos de texto e imagen. Por ejemplo, en el procesamiento del lenguaje natural, las explicaciones contrafactuales pueden mostrar cómo alterar unas pocas palabras en una reseña cambiaría una clasificación de sentimiento. En visión por computadora, pueden resaltar qué píxeles o regiones, cuando se modifican, cambiarían una clasificación de imagen.

Empresas como OpenAI y Anthropic han explorado el razonamiento contrafactual para mejorar la robustez e interpretabilidad del modelo. Por ejemplo, la aumentación de datos contrafactual - generar ejemplos de entrenamiento modificados - ha demostrado mejorar la generalización del modelo.

Consideraciones Éticas y Regulatorias

Las explicaciones contrafactuales se han propuesto como una forma de cumplir con el "derecho a la explicación" bajo el GDPR. Sin embargo, hay debate sobre si proporcionan suficiente transparencia. Los críticos argumentan que los contrafactuales pueden ser engañosos si implican relaciones causales que no existen. Por ejemplo, decirle a un solicitante de préstamo rechazado que aumentar su ingreso en $5,000 llevaría a la aprobación podría ser incorrecto si la decisión del modelo está influenciada por otros factores no declarados.

Además, los contrafactuales pueden usarse para manipular a individuos. Por ejemplo, una empresa podría presentar un contrafactual que sugiera un cambio que en realidad es imposible, como reducir la edad, para desalentar apelaciones. Las pautas éticas enfatizan la necesidad de que los contrafactuales sean veraces, procesables y presentados con las advertencias apropiadas.

Direcciones Futuras

El campo de las explicaciones contrafactuales está evolucionando. Las áreas clave de investigación en curso incluyen:

• Contrafactuales Causales: Integrar la inferencia causal para generar explicaciones que reflejen relaciones de causa y efecto reales.
• Explicaciones Interactivas: Permitir que los usuarios exploren escenarios contrafactuales dinámicamente, ajustando características y viendo las predicciones resultantes.
• Equidad Contrafactual: Asegurar que las explicaciones contrafactuales no refuercen sesgos y que sean igualmente válidas entre grupos demográficos.
• Escalabilidad: Desarrollar algoritmos eficientes para modelos a gran escala, como transformadores con miles de millones de parámetros.

A medida que los sistemas de aprendizaje automático se vuelven más prevalentes en decisiones de alto riesgo, las explicaciones contrafactuales probablemente jugarán un papel cada vez más importante en hacer que estos sistemas sean comprensibles y responsables.