Concept Bottleneck Models (CBM)는 입력과 최종 예측 사이에 인간이 이해할 수 있는 개념의 병목 계층을 삽입하여 해석 가능성을 개선하도록 설계된 신경망 아키텍처의 한 부류입니다. CBM은 원시 데이터를 출력에 직접 매핑하는 대신, 먼저 사전 정의된 개념 집합(예: '날개가 있음', '빨간색임')을 예측한 다음 이러한 개념 예측을 사용하여 최종 결정을 내립니다. 이 설계는 사용자가 어떤 개념이 예측에 영향을 미쳤는지 검사하고 개념 값을 수정하여 개입할 수 있게 하여, 표준 블랙박스 모델보다 더 투명하고 디버깅 가능한 모델을 만듭니다.
이 프레임워크는 2020년 Pang Wei Koh, Thao Nguyen, Yew Siang Tang, Stephen Mussmann, Brandon Ying, Percy Liang이 작성한 논문에서 공식화되었으며, 제34회 신경정보처리시스템 학회(NeurIPS 2020)에서 발표되었습니다. 저자들은 CBM이 이미지 분류 작업에서 경쟁력 있는 정확도를 달성하면서 해석 가능성 이점을 제공할 수 있음을 입증했습니다. 또한 사용자가 예측된 개념을 재정의하여 최종 예측이 어떻게 변하는지 확인할 수 있는 '개입 가능한' CBM과 개념 예측기와 최종 예측기를 동시에 훈련하는 '결합' CBM과 같은 변형을 도입했습니다.
아키텍처 및 설계
표준 CBM은 세 가지 구성 요소로 이루어져 있습니다: 특징 추출기(종종 사전 훈련된 ResNet 또는 유사한 딥러닝 백본), 특징을 개념 확률에 매핑하는 개념 예측기, 그리고 개념 확률을 출력 레이블에 매핑하는 최종 예측기입니다. 개념 계층은 일반적으로 선형 또는 소형 다층 퍼셉트론이며, 최종 예측기는 해석 가능성을 유지하기 위해 종종 선형 모델입니다.
Koh et al.은 세 가지 훈련 패러다임을 탐구했습니다: 독립적(개념 예측기를 먼저 훈련하고 고정한 다음 최종 예측기 훈련), 순차적(개념 예측기 훈련 후 개념 레이블로 최종 예측기 훈련), 결합(가중 손실로 둘 다 동시에 훈련). CUB-200-2011 새 데이터셋(312개 개념)과 SUN 속성 데이터셋(102개 속성)에 대한 실험에서 독립적 CBM은 표준 모델보다 낮은 정확도를 보였지만, 결합 훈련은 그 격차를 크게 줄였습니다. 예를 들어, CUB에서 표준 ResNet-18은 약 75% 정확도를 달성한 반면, 결합 CBM은 약 72%, 독립적 CBM은 약 66%를 달성했습니다.
해석 가능성 및 개입
CBM의 핵심 기능은 개입 능력입니다: 모델이 개념을 잘못 예측하면(예: 새가 실제로 파란색인데 '날개 색: 갈색'으로 예측), 사용자는 해당 개념을 수정하고 최종 예측기를 다시 실행할 수 있습니다. Koh et al.은 잘못 예측된 개념에 대한 단 한 번의 개입만으로도 정확도를 크게 향상시킬 수 있음을 보여주었습니다. CUB에서 이미지당 하나의 개념에 개입하면 독립적 모델의 정확도가 66%에서 90% 이상으로 향상되었으며, 결합 모델에서도 유사한 이득이 관찰되었습니다.这使得 CBM 在人类监督具有价值的高风险领域中非常有用。
개입 메커니즘은 또한 디버깅을 가능하게 합니다: 자주 잘못 예측되는 개념을 검사함으로써 개발자는 특징 추출기 또는 개념 정의의 약점을 식별할 수 있습니다. 그러나 개입의 품질은 개념 집합이 포괄적이고 정확하게 주석 처리되는지에 달려 있으며, 이는 주요 실용적 한계입니다.
확장 및 변형
2020년 이후 여러 확장이 제안되었습니다. Rieger et al.의 '레이블 특정 개념을 가진 개념 병목 모델'(2021)은 개념을 클래스 간에 공유할 수 있게 하여 주석 부담을 줄였습니다. Yukara Ikami et al.의 '사후 개념 병목 모델'(2021)과 Wong et al.의 후속 작업(2021)은 개념 발견 단계를 사용하여 사전 훈련된 블랙박스 모델을 처음부터 재훈련 없이 CBM으로 변환하는 방법을 도입했습니다. 또 다른 연구 계열인 Zarlenga et al.의 '개념 임베딩 모델'(2021)은 연속 개념 임베딩을 사용하여 이진 개념 가정을 완화하고 표현력을 향상시켰습니다.
2023년에는 Collins et al.의 '대화형 개념 병목 모델'이 추론 중에 사용자가 개념 설명을 모델에 질의할 수 있는 메커니즘을 추가했으며, Kim et al.의 '개념 삭제를 가진 개념 병목 모델'(2023)은 최종 예측기가 개념에 포착되지 않은 정보에 의존할 수 있는 개념 누출 문제를 해결했습니다. 이러한 확장은 CUB, SUN 및 합성 dSprites 데이터셋에서 평가되었으며, 정확도와 해석 가능성 사이에 다양한 절충이 이루어졌습니다.
응용 분야
CBM은 해석 가능성이 중요한 의료 영상에서 적용되었습니다. 예를 들어, 2022년 Graziani et al.의 연구는 ABCD 규칙에서 '비대칭성' 및 '경계 불규칙성'과 같은 개념을 정의하여 피부 병변 분류에 CBM을 사용했으며, ISIC 2018 데이터셋에서 AUC 0.91을 달성하여 블랙박스 기준선(0.93)과 비슷하면서도 예측을 설명할 수 있는 추가 기능을 제공했습니다. 방사선학에서는 CBM이 흉부 X선 진단에 사용되었으며, '심비대' 및 '삼출'과 같은 개념이 포함되었고, 2021년 Chen et al.의 CheXpert 데이터셋 논문에서 개입이 정확도를 0.82에서 0.87로 향상시켰습니다.
자율 주행에서는 CBM이 운전자 행동 예측 또는 교통 장면 이해에 탐구되었습니다. 2023년 Zhang et al.의 논문은 '횡단' 및 '응시'와 같은 개념을 사용하여 보행자 감지에 CBM을 적용했으며, 맞춤 데이터셋에서 95% 정확도를 달성하면서 잘못 분류된 개념의 인간 수정을 허용했습니다. 금융에서는 CBM이 '소득 안정성' 및 '부채 비율'과 같은 개념을 사용하는 신용 점수에 제안되었지만, 규제 및 데이터 문제로 인해 채택은 여전히 제한적입니다.
한계 및 과제
주요 한계는 얻기 비용이 많이 드는 개념 주석의 필요성입니다. 대규모 데이터셋의 경우 완전하고 중복되지 않는 개념 집합을 정의하는 것이 어렵습니다. CBM은 또한 개념 병목이 정보 흐름을 제한하기 때문에 복잡한 작업에서 블랙박스 모델보다 성능이 떨어지는 경향이 있습니다. 예를 들어, ImageNet에서 1000개 개념(클래스당 하나)을 가진 CBM은 55%의 top-1 정확도만 달성했으며, 표준 ResNet-50의 76%와 비교되었습니다(2021년 Koh et al. 후속 연구에서 보고됨).
또 다른 문제는 개념 누출입니다: 최종 예측기가 의미적으로 의미가 없는 개념 확률의 상관 관계를 우연히 사용하여 해석 가능성을 줄일 수 있습니다. 연구자들은 이를 완화하기 위해 개념 임베딩에 대한 직교성 제약과 같은 정규화 기술을 제안했습니다. 또한 CBM은 개념이 독립적이라고 가정하지만, 실제 세계의 개념은 종종 상관 관계가 있습니다(예: '깃털이 있음' 및 '날 수 있음'), 이는 중복되거나 모순된 예측으로 이어질 수 있습니다.
다른 해석 가능성 방법과의 관계
CBM은 결정 트리, 규칙 기반 시스템 및 주의 기반 설명을 포함한 더 넓은 해석 가능한 모델 계열의 일부입니다. 살리언시 맵 또는 LIME과 같은 사후 방법이 훈련 후 블랙박스 모델을 설명하는 반면, CBM은 설계상 본질적으로 해석 가능합니다. 이는 주의 메커니즘과 트랜스포머에서 관련이 있으며, 이는 일부 해석 가능성을 제공하지만 주의 가중치는 종종 노이즈가 많고 직접적으로 실행 가능하지 않습니다. CBM은 또한 모델 가지치기와 관련이 있는데, 둘 다 모델을 단순화하는 것을 목표로 하지만 가지치기는 크기를 줄이는 반면 CBM은 불투명성을 줄입니다.
최근 연구는 CBM을 대규모 언어 모델(LLM)과 결합했습니다. 예를 들어, 2023년 Oikarinen et al.의 논문은 GPT-3를 사용하여 데이터셋에 대한 개념 후보를 자동으로 생성하여 인간 주석의 필요성을 줄였습니다. 또 다른 2024년 Yang et al.의 연구는 LLM을 사용하여 개념 정의를 반복적으로 개선하여 고정 개념 집합보다 CUB에서 CBM 정확도를 3% 향상시켰습니다. 이러한 하이브리드 접근 방식은 생성 AI 모델이 더 강력해짐에 따라 활발한 연구 영역입니다.
미래 방향
미래 연구는 CBM을 더 큰 데이터셋과 비디오 이해 및 다중 모달 입력과 같은 더 복잡한 작업으로 확장하는 데 초점을 맞추고 있습니다. 또한 비지도 또는 자기 지도 방법을 사용하여 데이터에서 개념을 자동으로 학습하는 작업이 있지만, 이러한 개념은 인간 의미론과 일치하지 않을 수 있습니다. 또 다른 방향은 CBM을 강화 학습과 통합하여 순차적 의사 결정을 위한 것으로, 해석 가능성이 로봇 공학 및 게임 플레이에 도움이 될 수 있습니다.
2025년 현재 CBM은 틈새 시장이지만 영향력 있는 접근 방식으로, 2,000개 이상의 논문에서 인용되었습니다. 이는 의료 및 금융과 같이 규제 요구 사항이 설명 가능성을 요구하는 분야에서 특히 가치가 있습니다. 그러나 채택은 주석 비용과 정확도 격차로 인해 제한되며, 확장 가능하고 경쟁력 있는 수준으로 만들어 광범위한 배포가 가능한지 여부는 아직 지켜봐야 합니다.