Las técnicas de interpretabilidad son un componente central de la IA explicable (XAI), un campo de investigación que busca proporcionar a los humanos una supervisión intelectual sobre los algoritmos de inteligencia artificial. Estas técnicas se centran en el razonamiento detrás de las decisiones o predicciones realizadas por los modelos de IA, haciéndolas más comprensibles y transparentes. Esto aborda la necesidad de que los usuarios examinen la toma de decisiones automatizada en aplicaciones donde la seguridad y la confianza son críticas. Las técnicas de interpretabilidad contrarrestan la tendencia de "caja negra" del aprendizaje automático, donde incluso los diseñadores de una IA no pueden explicar por qué llegó a una decisión específica.
El objetivo principal de las técnicas de interpretabilidad es ayudar a los usuarios de sistemas impulsados por IA a desempeñarse de manera más efectiva, mejorando su comprensión de cómo razonan estos sistemas. También pueden servir como una implementación del derecho social a la explicación y, incluso en ausencia de requisitos legales, pueden mejorar la experiencia del usuario al generar confianza. Estas técnicas buscan explicar qué se ha hecho, qué se está haciendo, qué se hará a continuación y en qué información se basan estas acciones, lo que permite a los usuarios confirmar y desafiar el conocimiento existente y generar nuevas suposiciones.
Antecedentes: Modelos de caja blanca y caja negra
Los algoritmos de aprendizaje automático utilizados en la IA se pueden categorizar como de caja blanca o de caja negra. Los modelos de caja blanca proporcionan resultados que son comprensibles para los expertos en el dominio, mientras que los modelos de caja negra son extremadamente difíciles de explicar y pueden no ser entendidos ni siquiera por los expertos. Las técnicas de interpretabilidad siguen tres principios: transparencia, interpretabilidad y explicabilidad.
Un modelo es transparente si los procesos que extraen los parámetros del modelo a partir de los datos de entrenamiento y generan etiquetas a partir de los datos de prueba pueden ser descritos y motivados por el diseñador del enfoque. La interpretabilidad describe la posibilidad de comprender el modelo y presentar la base subyacente para la toma de decisiones de una manera comprensible para los humanos. La explicabilidad, aunque reconocida como importante, carece de una definición consensuada; una posibilidad es "la colección de características del dominio interpretable que han contribuido, para un ejemplo dado, a producir una decisión".
En resumen, la interpretabilidad se refiere a la capacidad del usuario para comprender las salidas del modelo, mientras que la transparencia del modelo incluye la simulabilidad (reproducibilidad de las predicciones), la descomponibilidad (explicaciones intuitivas para los parámetros) y la transparencia algorítmica (explicar cómo funcionan los algoritmos). La funcionalidad del modelo se centra en descripciones textuales, visualizaciones y explicaciones locales, que aclaran salidas o instancias específicas en lugar de modelos completos. Todos estos conceptos buscan mejorar la comprensibilidad y usabilidad de los sistemas de IA.
Métodos de atribución de características
Los métodos de atribución de características se encuentran entre las técnicas de interpretabilidad más utilizadas. Asignan puntuaciones de importancia a las características de entrada, indicando cuánto contribuyó cada una a la predicción del modelo. Por ejemplo, en un modelo de análisis de sentimientos, un método de atribución de características podría resaltar la palabra "horrible" como un fuerte indicador negativo. Estos métodos son particularmente útiles para redes neuronales y otros modelos complejos donde la lógica interna es opaca.
Las técnicas comunes de atribución de características incluyen métodos basados en gradientes, como los mapas de prominencia, que calculan el gradiente de la salida con respecto a la entrada, y métodos basados en perturbaciones que observan cómo cambian las predicciones cuando se alteran las entradas. Estas técnicas se aplican a menudo en el reconocimiento de imágenes para identificar qué píxeles son más influyentes, o en el procesamiento del lenguaje natural para resaltar palabras clave en un texto.
Técnicas de prominencia y visualización
Las técnicas de prominencia son un subconjunto de la atribución de características que se centran en visualizar las partes de una entrada que son más relevantes para la decisión de un modelo. En la visión por computadora, los mapas de prominencia superponen mapas de calor en las imágenes para mostrar en qué regiones se centró el modelo. Por ejemplo, un modelo entrenado para reconocer caballos podría producir un mapa de prominencia que resalte el cuerpo y las patas del caballo, en lugar de los elementos de fondo.
Las técnicas de visualización también se extienden a la comprensión de las representaciones internas de los modelos de aprendizaje profundo. Por ejemplo, los investigadores pueden visualizar los filtros aprendidos por las capas convolucionales en una red residual para ver qué patrones detectan, como bordes o texturas. Estos métodos ayudan a los expertos a verificar que el modelo está aprendiendo características significativas en lugar de correlaciones espurias.
Explicaciones locales y globales
Las técnicas de interpretabilidad se pueden categorizar por su alcance: las explicaciones locales aclaran predicciones individuales, mientras que las explicaciones globales describen el comportamiento general del modelo. Los métodos de explicación local, como LIME (Explicaciones locales interpretables independientes del modelo), aproximan un modelo complejo con un modelo más simple e interpretable alrededor de una instancia específica. Esto ayuda a los usuarios a comprender por qué se tomó una decisión particular, como por qué se rechazó una solicitud de préstamo.
Las explicaciones globales buscan proporcionar una visión general de la lógica del modelo, a menudo a través de modelos sustitutos o extracción de reglas. Por ejemplo, se pueden entrenar árboles de decisión para imitar un modelo de caja negra, ofreciendo una representación legible por humanos de sus límites de decisión. Estos métodos globales son valiosos para auditar modelos en busca de equidad o sesgo, ya que revelan patrones generales que de otro modo podrían pasar desapercibidos.
Modelos de cuello de botella conceptual
Los modelos de cuello de botella conceptual son un tipo específico de arquitectura interpretable que utiliza abstracciones a nivel de concepto para explicar el razonamiento del modelo. Estos modelos primero predicen conceptos comprensibles para los humanos a partir de la entrada, y luego utilizan esos conceptos para tomar la decisión final. Por ejemplo, en una tarea de imágenes médicas, un modelo podría primero predecir la presencia de lesiones específicas y luego usar esas predicciones para diagnosticar una enfermedad. Este enfoque se puede aplicar tanto en tareas de predicción de imágenes como de texto.
Los modelos de cuello de botella conceptual son especialmente importantes en dominios como la medicina, la defensa, las finanzas y el derecho, donde es crucial comprender las decisiones y generar confianza en los algoritmos. Al hacer explícito el razonamiento intermedio, estos modelos permiten a los humanos verificar que el modelo está utilizando criterios sensatos, en lugar de depender de correlaciones opacas.
Enfoques de regresión simbólica y caja blanca
Muchos investigadores argumentan que, al menos para el aprendizaje automático supervisado, el camino a seguir es la regresión simbólica, donde el algoritmo busca en el espacio de expresiones matemáticas para encontrar el modelo que mejor se ajusta a un conjunto de datos dado. Este enfoque produce fórmulas explícitas que pueden ser inspeccionadas y comprendidas por los humanos, ofreciendo un alto grado de transparencia. La regresión simbólica se utiliza a menudo en el descubrimiento científico, donde el objetivo es desentrañar leyes físicas subyacentes.
Los algoritmos de caja blanca, que tienen una estructura interpretable, a veces pueden lograr una alta precisión. Por ejemplo, los árboles de decisión y los modelos lineales son inherentemente interpretables y, con una ingeniería de características cuidadosa, pueden competir con modelos más complejos. Estos enfoques son preferidos en industrias reguladas donde la explicabilidad es un requisito.
Desafíos y limitaciones
A pesar de sus beneficios, las técnicas de interpretabilidad enfrentan varios desafíos. Un problema importante es el equilibrio entre precisión e interpretabilidad; los modelos complejos como los grandes modelos de lenguaje a menudo logran un mayor rendimiento pero son más difíciles de explicar. Además, algunas técnicas proporcionan solo explicaciones aproximadas, que pueden no capturar toda la complejidad del razonamiento del modelo.
Otro desafío es el potencial de explicaciones engañosas. Por ejemplo, un mapa de prominencia podría resaltar características irrelevantes debido a ruido o perturbaciones adversariales. Además, las propias técnicas de interpretabilidad pueden ser manipuladas, ya que los modelos podrían ser optimizados para producir explicaciones plausibles pero incorrectas. Los investigadores continúan trabajando en el desarrollo de métodos más robustos y fiables.
Aplicaciones y direcciones futuras
Las técnicas de interpretabilidad se aplican en diversos dominios, incluidos la atención médica, las finanzas y los sistemas autónomos. En medicina, los sistemas de apoyo a la decisión clínica (CDSS) dependen de estas técnicas para ayudar a los profesionales médicos a comprender y confiar en las decisiones basadas en máquinas. En finanzas, se utilizan para garantizar el cumplimiento de las regulaciones y detectar sesgos en los préstamos o la calificación crediticia.
El programa XAI de DARPA, iniciado por la Agencia de Proyectos de Investigación Avanzada de Defensa de los Estados Unidos, tiene como objetivo producir modelos de "caja de cristal" que sean explicables para un "humano en el circuito" sin sacrificar en gran medida el rendimiento de la IA. Este programa ha impulsado avances significativos en el campo. Las direcciones futuras incluyen el desarrollo de técnicas de interpretabilidad para modelos basados en transformadores, la mejora de la fidelidad de las explicaciones y la integración de la interpretabilidad en el propio proceso de entrenamiento, en lugar de como un análisis posterior.