概念ボトルネックモデル（CBM）は、入力と最終予測の間に人間が理解できる概念のボトルネック層を挿入することで、解釈可能性を向上させるように設計されたニューラルネットワークアーキテクチャの一種である。CBMは、生データを直接出力にマッピングする代わりに、まず事前に定義された一連の概念（例：「翼がある」「赤い」）を予測し、その概念予測を使用して最終的な決定を行う。この設計により、ユーザーはどの概念が予測に影響を与えたかを検査し、概念値を修正して介入することができ、標準的なブラックボックスモデルよりも透明性が高く、デバッグが容易になる。
このフレームワークは、2020年の論文でPang Wei Koh、Thao Nguyen、Yew Siang Tang、Stephen Mussmann、Brandon Ying、Percy Liangによって形式化され、第34回神経情報処理システム会議（NeurIPS 2020）で発表された。著者らは、CBMが画像分類タスクで競争力のある精度を達成しながら、解釈可能性の利点を提供できることを実証した。また、ユーザーが予測された概念を上書きして最終予測がどのように変化するかを確認できる「介入可能な」CBMや、概念予測器と最終予測器を同時に訓練する「ジョイント」CBMなどの変種も導入した。
アーキテクチャと設計
標準的なCBMは、特徴抽出器（多くの場合、事前訓練されたResNetまたは類似の深層学習バックボーン）、特徴を概念確率にマッピングする概念予測器、概念確率を出力ラベルにマッピングする最終予測器の3つのコンポーネントで構成される。概念層は通常、線形または小さな多層パーセプトロンであり、最終予測器は解釈可能性を維持するために線形モデルであることが多い。
Kohらは、独立（概念予測器を先に訓練し、それを凍結してから最終予測器を訓練）、逐次（概念予測器を訓練し、その後概念ラベルで最終予測器を訓練）、ジョイント（加重損失で両方を同時に訓練）の3つの訓練パラダイムを探求した。CUB-200-2011鳥類データセット（312概念）とSUN属性データセット（102属性）での実験では、独立CBMは標準モデルよりも精度が低いが、ジョイント訓練はその差を大幅に縮めることが示された。例えば、CUBでは、標準のResNet-18が約75%の精度を達成したのに対し、ジョイントCBMは約72%、独立CBMは約66%を達成した。
解釈可能性と介入
CBMの重要な特徴は介入能力である。モデルが概念を誤って予測した場合（例：鳥が実際には青いのに「翼の色：茶色」と予測）、ユーザーはその概念を修正し、最終予測器を再実行できる。Kohらは、誤予測された概念への単一の介入でも精度を大幅に向上できることを示した。CUBでは、画像ごとに1つの概念に介入するだけで、独立モデルの精度が66%から90%以上に向上し、ジョイントモデルでも同様の改善が見られた。これにより、CBMは人間の監視が価値のある高リスク領域で有用となる。
介入メカニズムはデバッグも可能にする。頻繁に誤予測される概念を検査することで、開発者は特徴抽出器や概念定義の弱点を特定できる。しかし、介入の質は概念セットが包括的かつ正確に注釈されているかに依存しており、これは主要な実用的制限である。
拡張と変種
2020年以降、いくつかの拡張が提案されている。Riegerらによる「ラベル固有概念を持つ概念ボトルネックモデル」（2021年）は、概念をクラス間で共有できるようにし、注釈の負担を軽減した。Yukara Ikamiらによる「ポストホック概念ボトルネックモデル」（2021年）やWongら（2021年）の後続研究は、概念発見ステップを使用して、事前訓練されたブラックボックスモデルをゼロから再訓練せずにCBMに変換する方法を導入した。別の研究系統であるZarlengaらによる「概念埋め込みモデル」（2021年）は、連続的な概念埋め込みを使用してバイナリ概念の仮定を緩和し、表現力を向上させた。
2023年には、Collinsらによる「対話型概念ボトルネックモデル」が、推論中にユーザーがモデルに概念説明を照会するメカニズムを追加し、Kimらによる「概念消去付き概念ボトルネックモデル」（2023年）は、最終予測器が概念に捕捉されていない情報に依存する可能性がある概念漏洩の問題に対処した。これらの拡張は、CUB、SUN、合成dSpritesデータセットなどで評価され、精度と解釈可能性の間でさまざまなトレードオフを示している。
応用
CBMは、解釈可能性が重要である医療画像処理に応用されている。例えば、2022年のGrazianiらによる研究では、CBMを皮膚病変分類に使用し、ABCDルールから「非対称性」や「境界不規則性」などの概念を定義し、ISIC 2018データセットでAUC 0.91を達成した。これはブラックボックスベースライン（0.93）に匹敵するが、予測を説明する追加機能を備えている。放射線学では、CBMが胸部X線診断に使用され、「心肥大」や「滲出液」などの概念が用いられている。これは2021年のChenらによるCheXpertデータセットでの論文で実証され、介入により精度が0.82から0.87に向上した。
自動運転では、CBMが運転行動の予測や交通シーンの理解に探求されている。2023年のZhangらによる論文では、CBMを歩行者検出に使用し、「横断中」や「見ている」などの概念を用いて、カスタムデータセットで95%の精度を達成し、誤分類された概念の人間による修正を可能にした。金融では、CBMが信用スコアリングに提案されており、「収入安定性」や「負債比率」などの概念が使用されているが、規制上およびデータ上の課題により採用は限定的である。
制限と課題
主な制限は、取得コストが高い概念注釈の必要性である。大規模データセットでは、完全で重複のない概念セットを定義することは困難である。CBMはまた、概念ボトルネックが情報フローを制限するため、複雑なタスクでブラックボックスモデルよりも性能が劣る傾向がある。例えば、ImageNetでは、1000概念（クラスごとに1つ）を持つCBMは、2021年のKohらのフォローアップ研究で報告されたように、標準のResNet-50の76%と比較して、トップ1精度55%しか達成しなかった。
もう1つの問題は概念漏洩である。最終予測器が、意味的に意味のない概念確率の相関を不注意に使用する可能性があり、解釈可能性が低下する。研究者はこれを軽減するために、概念埋め込みへの直交性制約などの正則化技術を提案している。さらに、CBMは概念が独立であると仮定しているが、現実世界の概念はしばしば相関している（例：「羽毛がある」と「飛べる」）、これにより冗長または矛盾した予測が生じる可能性がある。
他の解釈可能性手法との関係
CBMは、決定木、ルールベースシステム、注意ベースの説明を含む、より広範な解釈可能モデルのファミリーの一部である。訓練後にブラックボックスモデルを説明するサリエンシーマップやLIMEなどのポストホック手法とは異なり、CBMは設計上本質的に解釈可能である。これらは注意メカニズムとトランスフォーマーに関連しており、これらもある程度の解釈可能性を提供するが、注意重みはしばしばノイズが多く、直接的に実行可能ではない。CBMはまた、モデルプルーニングとも関連しており、両者がモデルを簡素化することを目指すが、プルーニングはサイズを減らすのに対し、CBMは不透明性を減らす。
最近の研究では、CBMと大規模言語モデル（LLM）を組み合わせている。例えば、2023年のOikarinenらによる論文では、GPT-3を使用してデータセットの概念候補を自動生成し、人間の注釈の必要性を減らした。2024年のYangらによる別の研究では、LLMを使用して概念定義を反復的に洗練し、固定概念セットよりもCUBでCBM精度を3%向上させた。これらのハイブリッドアプローチは、生成AIモデルがより高性能になるにつれて、活発な研究分野である。
将来の方向性
将来の研究は、CBMをより大規模なデータセットやビデオ理解、マルチモーダル入力などのより複雑なタスクにスケーリングすることに焦点を当てている。また、教師なしまたは自己教師あり手法を使用してデータから概念を自動的に学習する研究もあるが、これらの概念は人間の意味論と一致しない可能性がある。もう1つの方向性は、CBMを強化学習と統合して逐次的意思決定を行うことであり、解釈可能性がロボティクスやゲームプレイで役立つ可能性がある。
2025年現在、CBMはニッチながら影響力のあるアプローチであり、2,000以上の論文で引用されている。特に、医療や金融など、規制要件が説明可能性を義務付ける領域で高く評価されている。しかし、その採用は注釈コストと精度ギャップによって制限されており、広範な展開に十分なスケーラビリティと競争力を達成できるかどうかはまだ不明である。