Los anclajes son una técnica en aprendizaje automático para generar explicaciones locales de las predicciones de modelos. Fueron introducidos en 2018 por investigadores de la Universidad de Washington, liderados por Marco Tulio Ribeiro, como sucesores del método anterior LIME (Explicaciones Locales Interpretables Agnósticas del Modelo). Los anclajes proporcionan explicaciones en forma de condiciones simples basadas en reglas que son suficientes para que una predicción particular se mantenga, independientemente de cambios en otras características. A diferencia de LIME, que aproxima un modelo localmente con un modelo lineal, los anclajes buscan crear reglas precisas y de alta exactitud que delineen claramente cuándo una predicción está garantizada o es altamente probable.
La idea central detrás de los anclajes es responder a la pregunta: "¿Qué conjunto mínimo de valores de características, si está presente, es suficiente para que el modelo produzca el mismo resultado?" Por ejemplo, en un clasificador de spam, un anclaje podría ser "si el correo contiene la palabra 'lotería' y el remitente no está en la lista de contactos, entonces la predicción es spam", con una precisión declarada de 0.95. Esta regla se considera un anclaje porque "ancla" la predicción: mientras las condiciones se mantengan, la predicción permanece estable incluso si otras características varían. La técnica es agnóstica del modelo, lo que significa que se puede aplicar a cualquier modelo de caja negra, incluyendo redes neuronales, sistemas de aprendizaje profundo y modelos de lenguaje grandes, sin necesidad de acceso a parámetros internos.
Definición Formal y Precisión
Formalmente, un anclaje es una regla que consiste en un conjunto de pares de valores de características. Dada una instancia x a explicar, un anclaje A es un conjunto de predicados que se aplican a x. Se dice que la regla es un anclaje si satisface dos propiedades: cobertura y precisión. La cobertura se refiere a la proporción de instancias en el vecindario local que satisfacen la regla, mientras que la precisión es la probabilidad de que la predicción del modelo para instancias que satisfacen la regla coincida con la predicción para x. El objetivo es encontrar una regla con alta precisión (típicamente por encima de un umbral establecido por el usuario, como 0.95) y la mayor cobertura posible, para asegurar que la explicación sea tanto precisa como ampliamente aplicable.
Para estimar la precisión sin enumerar todas las perturbaciones posibles, los anclajes utilizan un algoritmo de bandido multi-brazo. El algoritmo muestrea perturbaciones de la instancia original, donde las instancias perturbadas se generan reemplazando valores de características con valores de una distribución (a menudo basada en los datos de entrenamiento o un conjunto de datos de fondo). El enfoque de bandido explora eficientemente el espacio de reglas posibles, centrándose en aquellas que probablemente tengan alta precisión. El anclaje final es la regla que maximiza la cobertura sujeto a la restricción de precisión, con garantías estadísticas basadas en el número de muestras.
Comparación con LIME
Los anclajes se desarrollaron como respuesta a las limitaciones de LIME, que también fue introducido por Ribeiro y colegas en 2016. LIME explica predicciones ajustando un modelo lineal disperso en el vecindario de la instancia, pero el modelo lineal puede ser engañoso para fronteras de decisión altamente no lineales. Por ejemplo, una aproximación lineal podría sugerir que una característica tiene un efecto positivo o negativo, pero en realidad, el efecto podría ser condicional a otras características. Los anclajes evitan esto proporcionando reglas explícitas de si-entonces que son suficientes, haciéndolas más intuitivas para usuarios humanos. Además, las explicaciones de LIME no están garantizadas para ser fieles al comportamiento del modelo, mientras que los anclajes proporcionan una medida de precisión que cuantifica la fidelidad.
Otra diferencia clave es que LIME genera explicaciones que son locales y pueden variar con el núcleo de perturbación, mientras que los anclajes buscan ser más estables e interpretables. Los anclajes también están diseñados para ser más accionables: una regla como "si la característica A y la característica B, entonces la predicción C" se puede usar directamente para entender y potencialmente intervenir en el sistema.
Algoritmo e Implementación
El algoritmo de anclajes funciona en dos fases principales: generación de candidatos y validación. En la primera fase, genera reglas candidatas considerando combinaciones de valores de características de la instancia. Para características continuas, las discretiza en intervalos (por ejemplo, usando cuantiles) para crear predicados. El algoritmo usa una búsqueda de haz para explorar el espacio de reglas, comenzando con los valores de características más frecuentes y expandiéndose. En la fase de validación, cada regla candidata se prueba muestreando perturbaciones y calculando la precisión empírica. El algoritmo de bandido (específicamente, el algoritmo KL-LUCB) se usa para asignar muestras eficientemente, deteniéndose cuando la estimación de precisión es lo suficientemente confiable.
La implementación, disponible en la biblioteca de código abierto anchor (parte de la biblioteca interpret de Microsoft), soporta tanto datos tabulares, texto e imágenes. Para texto, los anclajes pueden basarse en la presencia o ausencia de palabras (por ejemplo, "si la frase 'no está mal' aparece, entonces el sentimiento es positivo"). Para imágenes, los anclajes usan superpíxeles (segmentos de la imagen) como características, y la regla podría ser "si estos píxeles están presentes, entonces la imagen se clasifica como un perro". La biblioteca también proporciona herramientas de visualización para mostrar anclajes en un formato legible para humanos.
Aplicaciones en la Práctica
Los anclajes se han aplicado en varios dominios donde la interpretabilidad del modelo es crítica. En atención médica, los anclajes pueden explicar por qué un modelo predice que un paciente tiene cierta enfermedad, basándose en características como edad, presión arterial y resultados de laboratorio. Por ejemplo, un anclaje podría ser "si edad > 60 y presión arterial sistólica > 140, entonces alto riesgo de enfermedad cardíaca". Esto ayuda a los clínicos a confiar y validar las decisiones del modelo. En finanzas, los anclajes pueden explicar decisiones de aprobación de crédito, asegurando el cumplimiento de regulaciones que requieren explicaciones para acciones adversas. En detección de fraude, los anclajes pueden resaltar la combinación de características de transacción que desencadenan una alerta de fraude.
En el contexto de IA generativa y modelos de lenguaje grandes, los anclajes se han usado para explicar por qué un modelo genera una respuesta particular. Por ejemplo, un anclaje para un clasificador de sentimiento podría ser "si el texto contiene 'amor' y 'increíble', entonces el sentimiento es positivo". Sin embargo, para LLMs, el espacio de características es más complejo, y los anclajes a menudo dependen de características a nivel de token. Los investigadores también han explorado el uso de anclajes para depurar modelos, identificando correlaciones espurias que llevan a predicciones incorrectas.
Limitaciones y Desafíos
A pesar de sus ventajas, los anclajes tienen varias limitaciones. Primero, solo son tan buenos como la distribución de perturbación usada para generar instancias contrafactuales. Si la distribución no refleja variaciones realistas, las estimaciones de precisión pueden ser engañosas. Segundo, los anclajes pueden ser computacionalmente costosos, especialmente para datos de alta dimensión, ya que el espacio de búsqueda crece exponencialmente. Tercero, para características continuas, la discretización puede llevar a reglas que son demasiado gruesas o demasiado finas, afectando la interpretabilidad. Cuarto, los anclajes proporcionan condiciones suficientes pero no necesarias, por lo que pueden no explicar completamente por qué se hizo una predicción; podría haber múltiples anclajes para la misma predicción, y el algoritmo encuentra solo uno.
Otro desafío es que los anclajes asumen independencia de características en el proceso de perturbación, lo que puede no mantenerse en datos reales. Por ejemplo, en texto, la presencia de ciertas palabras a menudo está correlacionada, pero la perturbación puede tratarlas independientemente, llevando a muestras poco realistas. Los investigadores han propuesto extensiones para manejar dependencias, pero estas aún no son estándar.
Extensiones y Trabajo Relacionado
Desde la introducción de los anclajes, se han propuesto varias extensiones. Una extensión notable es el uso de reglas de decisión para explicaciones globales, como en la biblioteca SkopeRules, que extrae reglas de conjuntos de árboles. Otra es la integración de anclajes con explicaciones contrafactuales, donde el objetivo es encontrar cambios mínimos para cambiar la predicción. Los anclajes también están relacionados con el concepto de "razones suficientes" en explicabilidad formal, que busca calcular subconjuntos mínimos de características que garanticen una predicción. En esa línea de trabajo, se han desarrollado algoritmos para calcular anclajes exactos para modelos como árboles de decisión y redes neuronales, usando técnicas de verificación formal.
En el campo más amplio de la IA explicable (XAI), los anclajes se sitúan junto a otros métodos de explicación local como SHAP (Explicaciones Aditivas de Shapley), que proporciona atribuciones de características basadas en teoría de juegos. Mientras que SHAP da una visión global de la importancia de características, los anclajes proporcionan una explicación más directa basada en reglas. Algunos estudios han comparado ambos, encontrando que los anclajes son a menudo más intuitivos para no expertos, mientras que SHAP es más completo.
Impacto y Direcciones Futuras
La introducción de anclajes ha influido en el desarrollo de herramientas de interpretabilidad en la industria. Los principales proveedores de nube, incluyendo Amazon Web Services, Microsoft Azure y Google Cloud, han incorporado métodos de explicación basados en reglas en sus plataformas de aprendizaje automático, permitiendo a los usuarios generar anclajes para modelos desplegados en su infraestructura. Por ejemplo, AWS SageMaker Clarify incluye una característica para generar explicaciones similares a anclajes, y Azure Machine Learning ofrece componentes de interpretabilidad que incluyen explicaciones basadas en reglas.
Las direcciones de investigación futura incluyen mejorar la escalabilidad de los anclajes a datos de alta dimensión, desarrollar métodos para manejar dependencias de características e integrar anclajes con herramientas interactivas que permitan a los usuarios explorar reglas alternativas. Además, a medida que los modelos de aprendizaje profundo se vuelven más complejos, hay una creciente necesidad de explicaciones que sean tanto fieles como comprensibles, y los anclajes están bien posicionados para satisfacer esta necesidad, particularmente cuando se combinan con otras técnicas como poda de modelos y aumento de datos para mejorar la simplicidad del modelo.
En resumen, los anclajes representan un paso significativo en la interpretabilidad local, ofreciendo un equilibrio entre fidelidad y comprensión humana. Al proporcionar condiciones suficientes para predicciones, permiten a las partes interesadas entender y confiar en los sistemas de IA, lo cual es esencial para un despliegue responsable en dominios de alto riesgo.