La IA explicable, comúnmente abreviada como XAI, es el subcampo de la inteligencia artificial que se ocupa de hacer que el funcionamiento interno o las salidas de un modelo sean comprensibles para los usuarios humanos. La necesidad de explicabilidad creció junto con el cambio de modelos simples, inherentemente interpretables, como la regresión lineal y los árboles de decisión, hacia arquitecturas complejas de redes neuronales cuyas predicciones surgen de millones o miles de millones de parámetros aprendidos que interactúan de maneras no directamente trazables por un lector humano, una limitación ampliamente conocida como el problema de la caja negra. Los métodos XAI buscan cerrar esa brecha produciendo explicaciones, ya sea integradas en el diseño del modelo o generadas después del hecho, sin necesariamente requerir un relato mecanicista completo del cómputo interno del modelo.
Motivaciones
La demanda de explicabilidad proviene de varias direcciones. Los reguladores en sectores como el crédito, la atención médica y la justicia penal exigen cada vez más que las decisiones automatizadas que afectan a individuos sean explicables, un principio reflejado en el Reglamento General de Protección de Datos de la UE y en el acto de IA de la UE. Los desarrolladores usan explicaciones para depurar modelos y detectar correlaciones espurias, como un modelo que aprende a reconocer un animal a partir del terreno de fondo en lugar del animal mismo. Las explicaciones también apoyan los esfuerzos para detectar y corregir el sesgo algorítmico, y para construir confianza del usuario en sistemas utilizados para decisiones consecuentes.
Técnicas
Los métodos XAI se dividen comúnmente en dos familias. Los modelos intrínsecamente interpretables, como árboles de decisión, listas de reglas y modelos lineales, son transparentes por construcción pero tienden a ser menos precisos en tareas complejas que el aprendizaje profundo. Los métodos post-hoc, en cambio, tratan un modelo entrenado como fijo e intentan explicar predicciones individuales o el comportamiento general a su alrededor. Las técnicas post-hoc ampliamente utilizadas incluyen mapas de saliencia, que resaltan las regiones de entrada, como píxeles en una imagen, que más influyeron en la salida de un red neuronal convolucional; LIME (Explicaciones Locales Interpretables Agnésticas del Modelo), que aproxima el comportamiento local de un modelo complejo con un modelo sustituto más simple; y SHAP (Explicaciones Aditivas de Shapley),, que utiliza un marco teórico de juegos tomado de la teoría de juegos cooperativos para atribuir una predicción a sus características de entrada contribuyentes de una manera que satisface ciertas propiedades de equidad. Estos métodos son agnósticos del modelo en el sentido de que pueden aplicarse a muchos tipos de sistemas de aprendizaje automático sin acceso a los pesos internos
Límites y relación con la interpretabilidad
Los métodos de explicación post-hoc han recibido críticas por producir a veces relatos plausibles pero infieles del razonamiento real de un modelo, ya que aproximan en lugar de exponer directamente el cómputo involucrado. Esta limitación ha impulsado una dirección de investigación paralela y más ambiciosa conocida como interpretabilidad mecanicista, que busca ingeniería inversa de los circuitos y características reales que una red ha aprendido en lugar de aproximar su comportamiento desde el exterior; los dos campos están estrechamente relacionados pero persiguen estándares de evidencia diferentes. Los métodos XAI diseñados para visión por computadora clásica y modelos tabulares han demostrado ser más difíciles de adaptar a sistemas de modelos de lenguaje grandes, cuyas salidas son texto de forma libre en lugar de un conjunto fijo de clases, lo que ha desplazado gran parte de la investigación fronteriza en explicabilidad hacia el análisis de circuitos estilo interpretabilidad y hacia simplemente pedir a los modelos que produzcan un cadena de pensamiento como explicación proxy, aunque sea una que no siempre refleja fielmente el cómputo subyacente.