SHAP (SHapley Additive exPlanations) es un marco para interpretar la salida de los modelos de aprendizaje automático. Asigna a cada característica un valor de importancia para una predicción particular, basándose en conceptos de la teoría de juegos cooperativos, específicamente el valor de Shapley. El método unifica varias técnicas existentes de atribución de características bajo un único modelo de explicación aditiva, proporcionando una forma teóricamente fundamentada de entender cómo diferentes características de entrada contribuyen a la salida de un modelo.
La idea central detrás de SHAP es descomponer una predicción en una suma de contribuciones de cada característica, más un valor base (la predicción promedio). Esta estructura aditiva hace que las explicaciones sean intuitivas: para una instancia dada, la predicción es igual al valor base más la suma de los valores SHAP de todas las características. El método satisface propiedades deseables como la precisión local (la suma de las contribuciones es igual a la predicción), la consistencia (si un modelo cambia para que una característica importe más, su atribución no disminuye) y la ausencia (las características sin contribución obtienen atribución cero).
Orígenes y Fundamentos Teóricos
SHAP fue introducido en un artículo de 2017 por Scott Lundberg y Su-In Lee en la Universidad de Washington. El nombre significa SHapley Additive exPlanations, haciendo referencia al valor de Shapley de la teoría de juegos cooperativos, desarrollado por el premio Nobel Lloyd Shapley en la década de 1950. El valor de Shapley proporciona una forma justa de distribuir un pago total entre los jugadores en un juego de coalición, basándose en sus contribuciones marginales. En el contexto del aprendizaje automático, los "jugadores" son las características de entrada, y el "pago" es la predicción del modelo.
El fundamento teórico se basa en trabajos anteriores sobre atribución de características, incluyendo LIME (Local Interpretable Model-agnostic Explanations), DeepLIFT y la propagación de relevancia por capas. SHAP unifica estos métodos mostrando que muchos de ellos son aproximaciones del valor de Shapley bajo diferentes supuestos sobre la independencia de las características. Esta unificación proporciona un marco de principios para comparar y mejorar los métodos de explicación.
El Modelo de Explicación Aditiva
SHAP define una explicación como un método de atribución de características aditivo, donde el modelo de salida es una función lineal de variables binarias que indican si una característica está presente o ausente. Formalmente, para una predicción f(x), la explicación g(z') se define como:
g(z') = φ0 + Σ φi z'i
donde z' es un vector de entrada simplificado (con 1 indicando que la característica está presente, 0 ausente), φ0 es el valor base (típicamente la predicción promedio sobre un conjunto de datos de fondo), y φi son los valores SHAP para cada característica. Esta formulación asegura que la explicación es localmente precisa, lo que significa que g(z') aproxima f(x) cuando z' corresponde a la entrada real.
Los valores SHAP se calculan como los valores de Shapley de una función de expectativa condicional. Para una característica i, su valor SHAP es el promedio ponderado de su contribución marginal sobre todos los subconjuntos posibles de características, donde la contribución es la diferencia en la predicción del modelo cuando la característica está incluida versus excluida, manteniendo otras características en sus valores observados.
Métodos de Cálculo
Calcular los valores SHAP exactos es computacionalmente costoso, ya que requiere evaluar el modelo en todos los 2^M subconjuntos de características, donde M es el número de características. Para abordar esto, se han desarrollado varios algoritmos de aproximación:
- KernelSHAP: Un método agnóstico al modelo que utiliza una regresión lineal ponderada para aproximar los valores de Shapley. Funciona con cualquier modelo, tratándolo como una caja negra, pero puede ser lento para conjuntos de datos grandes.
- TreeSHAP: Un algoritmo eficiente específicamente para modelos basados en árboles (como bosques aleatorios y boosting de gradiente). Calcula valores SHAP exactos en tiempo polinómico explotando la estructura del árbol, lo que lo hace práctico para conjuntos grandes.
- DeepSHAP: Una adaptación para redes neuronales profundas, basada en el enfoque de retropropagación de DeepLIFT. Proporciona aproximaciones rápidas pero puede no ser exacto.
- GradientSHAP: Utiliza gradientes para aproximar valores SHAP para modelos diferenciables, ofreciendo una alternativa computacionalmente eficiente.
TreeSHAP, introducido en un artículo de seguimiento de 2018 por Lundberg et al., se volvió particularmente popular debido al uso generalizado de modelos de boosting de gradiente como XGBoost y LightGBM. Permite un cálculo exacto en tiempo O(TLD^2), donde T es el número de árboles, L el número de hojas y D la profundidad máxima.
Aplicaciones en la Interpretación de Modelos
SHAP se utiliza ampliamente tanto para la interpretabilidad local como global. Para explicaciones locales, responde a la pregunta: "¿Por qué el modelo hizo esta predicción específica para esta instancia?" Esto es valioso en dominios como la calificación crediticia, el diagnóstico médico y la detección de fraude, donde comprender las decisiones individuales es crítico para la confianza y el cumplimiento regulatorio.
Para explicaciones globales, los valores SHAP se pueden agregar a través de un conjunto de datos para mostrar la importancia general de las características. Las visualizaciones comunes incluyen:
- Gráficos de resumen: Muestran la distribución de los valores SHAP para cada característica, revelando cómo las características afectan las predicciones en diferentes instancias.
- Gráficos de dependencia: Muestran la relación entre el valor de una característica y su valor SHAP, a menudo revelando patrones no lineales o interacciones.
- Gráficos de fuerza: Visualizan predicciones individuales como fuerzas que empujan la predicción lejos del valor base, con características coloreadas por su contribución.
Estas herramientas ayudan a los científicos de datos a identificar qué características impulsan el comportamiento del modelo, detectar posibles sesgos y validar que los modelos se alineen con el conocimiento del dominio.
Relación con Otros Métodos de Explicación
El marco teórico de SHAP se conecta con varias otras técnicas de interpretabilidad. LIME, por ejemplo, puede verse como un caso especial de KernelSHAP con un kernel de ponderación específico. DeepLIFT y la propagación de relevancia por capas también están relacionados, aunque hacen diferentes supuestos sobre la independencia de las características. La unificación proporcionada por SHAP permite a los profesionales comprender los supuestos subyacentes de diferentes métodos y elegir los apropiados para sus casos de uso.
Una distinción clave es entre métodos agnósticos al modelo (como KernelSHAP) y métodos específicos del modelo (como TreeSHAP). Los métodos agnósticos tratan el modelo como una caja negra y se pueden aplicar a cualquier función predictiva, mientras que los métodos específicos explotan la estructura interna para eficiencia y precisión. SHAP soporta ambos paradigmas, lo que lo hace versátil en diferentes tipos de modelos.
Limitaciones y Críticas
A pesar de su popularidad, SHAP tiene varias limitaciones. El cálculo de los valores de Shapley asume independencia de características al estimar expectativas condicionales, lo que puede llevar a contrafactuales poco realistas cuando las características están correlacionadas. Por ejemplo, si dos características están altamente correlacionadas, SHAP puede asignar importancia a una mientras ignora la otra, aunque ambas sean esenciales en la práctica.
Otro problema es el costo computacional para modelos y conjuntos de datos grandes. Mientras que TreeSHAP es eficiente, KernelSHAP puede ser prohibitivamente lento para modelos con muchas características o conjuntos de datos de fondo grandes. Los métodos de aproximación introducen varianza, y los resultados pueden ser sensibles a la elección de los datos de fondo.
Los críticos también señalan que los valores SHAP proporcionan atribución pero no explicaciones causales. Describen cómo las características se correlacionan con las predicciones, no qué sucedería si una característica se cambiara. Esta distinción es importante en aplicaciones de alto riesgo donde se requiere comprensión causal.
Implementaciones de Software
Varias bibliotecas de software implementan SHAP. La principal es el paquete shap de Python, desarrollado por Lundberg y mantenido por la comunidad de código abierto. Soporta integración con marcos populares de aprendizaje automático, incluyendo scikit-learn, XGBoost, LightGBM, CatBoost y PyTorch. El paquete proporciona funciones de visualización para gráficos de resumen, gráficos de dependencia y gráficos de fuerza, así como utilidades para calcular valores SHAP con varios algoritmos.
Otras implementaciones existen en R (por ejemplo, el paquete shapviz) y en plataformas comerciales. Muchos proveedores de nube, incluyendo Amazon Web Services y Google Cloud, ofrecen funciones de explicación basadas en SHAP en sus servicios de aprendizaje automático, haciendo que el método sea accesible para una audiencia más amplia.
Impacto y Direcciones Futuras
SHAP se ha convertido en una de las herramientas más utilizadas para la interpretabilidad de modelos en la comunidad de aprendizaje automático. Su fundamento teórico y sus implementaciones prácticas lo han convertido en una opción estándar para explicar tanto modelos tradicionales como sistemas de aprendizaje profundo. El método se referencia en miles de artículos de investigación y está integrado en muchos pipelines de producción.
La investigación continúa mejorando la eficiencia de SHAP, manejando dependencias de características con mayor precisión y extendiéndolo a nuevos tipos de modelos como transformadores basados en modelos de lenguaje grandes. Trabajos recientes exploran el uso de SHAP para explicar modelos generativos y para detectar deriva de conceptos. A medida que las regulaciones sobre transparencia de IA se endurecen, métodos como SHAP probablemente jugarán un papel cada vez más importante en asegurar la responsabilidad y la confianza en la toma de decisiones automatizada.