Los Modelos de Cuello de Botella de Conceptos (CBM, por sus siglas en inglés) son una clase de arquitecturas de redes neuronales diseñadas para mejorar la interpretabilidad al insertar una capa de cuello de botella de conceptos comprensibles por humanos entre la entrada y la predicción final. En lugar de mapear datos brutos directamente a una salida, un CBM primero predice un conjunto de conceptos predefinidos (por ejemplo, 'tiene alas', 'es rojo') y luego utiliza esas predicciones de conceptos para tomar la decisión final. Este diseño permite a los usuarios inspeccionar qué conceptos influyeron en una predicción e intervenir corrigiendo los valores de los conceptos, haciendo que el modelo sea más transparente y depurable que los modelos de caja negra estándar.
El marco fue formalizado en un artículo de 2020 por Pang Wei Koh, Thao Nguyen, Yew Siang Tang, Stephen Mussmann, Brandon Ying y Percy Liang, presentado en la 34ª Conferencia sobre Sistemas de Procesamiento de Información Neuronal (NeurIPS 2020). Los autores demostraron que los CBM podían lograr una precisión competitiva en tareas de clasificación de imágenes mientras ofrecían beneficios de interpretabilidad. También introdujeron variantes como el CBM 'intervenible', donde un usuario puede sobrescribir conceptos predichos para ver cómo cambia la predicción final, y el CBM 'conjunto', que entrena predictores de conceptos y finales simultáneamente.
Arquitectura y Diseño
Un CBM estándar consta de tres componentes: un extractor de características (a menudo un ResNet preentrenado o un backbone similar de aprendizaje profundo), un predictor de conceptos que mapea características a probabilidades de conceptos, y un predictor final que mapea probabilidades de conceptos a la etiqueta de salida. La capa de conceptos es típicamente un perceptrón multicapa lineal o pequeño, y el predictor final es a menudo un modelo lineal para mantener la interpretabilidad.
Koh et al. exploraron tres paradigmas de entrenamiento: independiente (entrenar el predictor de conceptos primero, congelarlo, luego entrenar el predictor final), secuencial (entrenar el predictor de conceptos, luego el predictor final con etiquetas de conceptos) y conjunto (entrenar ambos simultáneamente con una pérdida ponderada). Sus experimentos en el conjunto de datos de aves CUB-200-2011 (con 312 conceptos) y el conjunto de datos de atributos SUN (con 102 atributos) mostraron que los CBM independientes tenían una precisión menor que los modelos estándar, pero el entrenamiento conjunto cerraba gran parte de la brecha. Por ejemplo, en CUB, un ResNet-18 estándar lograba alrededor del 75% de precisión, mientras que un CBM conjunto alcanzaba alrededor del 72%, y un CBM independiente alrededor del 66%.
Interpretabilidad e Intervención
Una característica clave de los CBM es la capacidad de intervenir: si el modelo predice un concepto incorrectamente (por ejemplo, 'tiene color de ala: marrón' cuando el ave es realmente azul), un usuario puede corregir ese concepto y volver a ejecutar el predictor final. Koh et al. mostraron que incluso una sola intervención en un concepto mal predicho podía mejorar significativamente la precisión. En CUB, intervenir en solo un concepto por imagen aumentó la precisión del 66% a más del 90% en el modelo independiente, y se observaron ganancias similares en el modelo conjunto. Esto hace que los CBM sean útiles en dominios de alto riesgo donde la supervisión humana es valiosa.
El mecanismo de intervención también permite la depuración: al inspeccionar qué conceptos se predicen frecuentemente de manera incorrecta, los desarrolladores pueden identificar debilidades en el extractor de características o en las definiciones de conceptos. Sin embargo, la calidad de las intervenciones depende de que el conjunto de conceptos sea completo y esté anotado con precisión, lo cual es una limitación práctica importante.
Extensiones y Variantes
Se han propuesto varias extensiones desde 2020. Los 'Modelos de Cuello de Botella de Conceptos con Conceptos Específicos de Etiqueta' (2021) de Rieger et al. permitieron que los conceptos se compartieran entre clases, reduciendo la carga de anotación. Los 'Modelos de Cuello de Botella de Conceptos Post-hoc' (2021) de Yukara Ikami et al. y trabajos posteriores de Wong et al. (2021) introdujeron métodos para convertir un modelo de caja negra preentrenado en un CBM sin reentrenar desde cero, utilizando un paso de descubrimiento de conceptos. Otra línea de trabajo, los 'Modelos de Incrustación de Conceptos' (2021) de Zarlenga et al., relajaron el supuesto de conceptos binarios utilizando incrustaciones de conceptos continuas, mejorando la expresividad.
En 2023, los 'Modelos de Cuello de Botella de Conceptos Interactivos' de Collins et al. añadieron un mecanismo para que los usuarios consulten al modelo explicaciones de conceptos durante la inferencia, y los 'Modelos de Cuello de Botella de Conceptos con Borrado de Conceptos' (2023) de Kim et al. abordaron el problema de la fuga de conceptos, donde el predictor final podría depender de información no capturada por los conceptos. Estas extensiones han sido evaluadas en conjuntos de datos como CUB, SUN y el conjunto de datos sintético dSprites, con compensaciones variables entre precisión e interpretabilidad.
Aplicaciones
Los CBM se han aplicado en imágenes médicas, donde la interpretabilidad es crítica. Por ejemplo, un estudio de 2022 de Graziani et al. utilizó CBM para la clasificación de lesiones cutáneas, definiendo conceptos como 'asimetría' e 'irregularidad del borde' a partir de la regla ABCD, logrando un AUC de 0.91 en el conjunto de datos ISIC 2018, comparable a una línea base de caja negra (0.93) pero con la capacidad adicional de explicar predicciones. En radiología, los CBM se han utilizado para el diagnóstico de radiografías de tórax, con conceptos como 'cardiomegalia' y 'derrame', como se demostró en un artículo de 2021 de Chen et al. en el conjunto de datos CheXpert, donde la intervención mejoró la precisión de 0.82 a 0.87.
En conducción autónoma, los CBM se han explorado para predecir el comportamiento del conductor o la comprensión de escenas de tráfico. Un artículo de 2023 de Zhang et al. utilizó CBM para la detección de peatones con conceptos como 'cruzando' y 'mirando', logrando un 95% de precisión en un conjunto de datos personalizado, mientras permitía la corrección humana de conceptos mal clasificados. En finanzas, los CBM se han propuesto para la calificación crediticia, donde se utilizan conceptos como 'estabilidad de ingresos' y 'ratio de deuda', aunque la adopción sigue siendo limitada debido a desafíos regulatorios y de datos.
Limitaciones y Desafíos
La limitación principal es la necesidad de anotaciones de conceptos, que son costosas de obtener. Para conjuntos de datos a gran escala, definir un conjunto de conceptos completo y no superpuesto es difícil. Los CBM también tienden a tener un rendimiento inferior a los modelos de caja negra en tareas complejas, ya que el cuello de botella de conceptos restringe el flujo de información. Por ejemplo, en ImageNet, un CBM con 1000 conceptos (uno por clase) logró solo un 55% de precisión top-1, en comparación con el 76% de un ResNet-50 estándar, como se informó en un estudio de 2021 de trabajo de seguimiento de Koh et al.
Otro problema es la fuga de conceptos: el predictor final puede usar inadvertidamente correlaciones en las probabilidades de conceptos que no son semánticamente significativas, reduciendo la interpretabilidad. Los investigadores han propuesto técnicas de regularización, como restricciones de ortogonalidad en las incrustaciones de conceptos, para mitigar esto. Además, los CBM asumen que los conceptos son independientes, pero los conceptos del mundo real a menudo están correlacionados (por ejemplo, 'tiene plumas' y 'puede volar'), lo que puede llevar a predicciones redundantes o conflictivas.
Relación con Otros Métodos de Interpretabilidad
Los CBM son parte de una familia más amplia de modelos interpretables, incluidos árboles de decisión, sistemas basados en reglas y explicaciones basadas en atención. A diferencia de métodos post-hoc como mapas de saliencia o LIME, que explican un modelo de caja negra después del entrenamiento, los CBM son inherentemente interpretables por diseño. Están relacionados con mecanismos de atención en transformadores, que también proporcionan cierta interpretabilidad, pero los pesos de atención a menudo son ruidosos y no directamente accionables. Los CBM también están conectados con poda de modelos en que ambos apuntan a simplificar modelos, pero la poda reduce el tamaño mientras que los CBM reducen la opacidad.
Trabajo reciente ha combinado CBM con grandes modelos de lenguaje (LLM, por sus siglas en inglés). Por ejemplo, un artículo de 2023 de Oikarinen et al. utilizó GPT-3 para generar automáticamente candidatos de conceptos para un conjunto de datos, reduciendo la necesidad de anotación humana. Otro estudio de 2024 de Yang et al. utilizó un LLM para refinar definiciones de conceptos iterativamente, mejorando la precisión del CBM en CUB en un 3% sobre un conjunto de conceptos fijo. Estos enfoques híbridos son un área activa de investigación, especialmente a medida que los modelos de IA generativa se vuelven más capaces.
Direcciones Futuras
La investigación futura se centra en escalar los CBM a conjuntos de datos más grandes y tareas más complejas, como la comprensión de video y entradas multimodales. También hay trabajo en aprender conceptos automáticamente a partir de datos, utilizando métodos no supervisados o autosupervisados, aunque estos conceptos pueden no alinearse con la semántica humana. Otra dirección es integrar los CBM con aprendizaje por refuerzo para la toma de decisiones secuencial, donde la interpretabilidad podría ayudar en robótica y juegos.
A partir de 2025, los CBM siguen siendo un enfoque de nicho pero influyente, citado en más de 2,000 artículos. Son particularmente valorados en dominios donde los requisitos regulatorios exigen explicabilidad, como la atención médica y las finanzas. Sin embargo, su adopción está limitada por el costo de anotación y la brecha de precisión, y queda por ver si pueden hacerse escalables y competitivos para un despliegue generalizado.