反実仮説説明は、機械学習における手法であり、モデルの予測を解釈するために、与えられた入力の特徴に対する最小の変更を特定して、モデルの出力を望ましい代替結果に反転させるものである。特定のインスタンスについて、反実仮説説明は「予測が目標の結果になるために必要な最小の修正は何か」という問いに答える。例えば、ローン申請が却下された場合、反実仮説は「年収が5,000ドル高ければ、AIワークロードを加速し、深層学習モデルのトレーニング時間を短縮できる可能性がある」と述べるかもしれない。
これらの説明は、反実仮説という哲学的概念、つまり異なる条件下で何が起こっていたかに関する命題に基づいている。AIにおいて、それらは局所的解釈可能性の一形態を提供し、グローバルなモデルではなく単一の予測に焦点を当てる。それらは、有利な結果を得るために何を変更できるかを理解しようとするエンドユーザーにとって特に価値がある。特徴量をグローバルにランク付けする特徴重要度手法とは異なり、反実仮説は具体的で個別化された提案を提供する。
この用語は2010年代後半に注目を集め、Ruth FongとAndrea Vedaldi（2017年）、その後Sandra Wachter、Brent Mittelstadt、Chris Russell（2017年）による先駆的な研究があり、彼らはアルゴリズムによる意思決定のための概念を形式化した。それ以来、反実仮説説明は説明可能AI（XAI）の中心的な柱となり、EUの一般データ保護規則（GDPR）などの法的枠組みと交差している。GDPRは個人に自動化された決定の説明を得る権利を付与する。
概念と形式化
与えられた入力xと予測f(x)に対する反実仮説説明は、f(x')が望ましい結果（例えば、却下ではなく承認）と等しくなるような新しい入力x'である。xからx'への変更は、通常、距離メトリック（例えば、L1、L2、またはL0ノルム）で測定され、最小性を保証する。形式的には、f(x') = y'（y'は目標ラベル）という制約の下で、距離d(x, x')を最小化することを求める。
最小性の概念は主観的であり、異なる距離関数は異なる反実仮説をもたらす。表形式データでは、スパース性（少数の特徴を変更すること）を促進するためにL1距離を使用するかもしれないが、画像では知覚的類似性を使用するかもしれない。制約を追加できる：特徴には不変の値（例えば、年齢）やカテゴリカルなものがある場合がある。さらに、反実仮説は実現可能かつ妥当であるべきであり、つまり提案された変更はユーザーが現実的に達成可能でなければならない（例えば、収入を増やすことは妥当であるが、婚姻状況を変えることはそうでないかもしれない）。
反実仮説説明はインスタンス固有であり、これは特徴重要度のようなグローバルな説明とは対照的である。それらはモデルの全体的な振る舞いを説明するのではなく、単一のケースに対する異なる結果への経路を説明する。これにより直感的であるが、目標結果と距離メトリックの選択に敏感でもある。
アルゴリズムとアプローチ
いくつかのアルゴリズムが反実仮説説明を生成する。初期の方法は勾配ベースの最適化を使用した：微分可能なモデル（例えば、ニューラルネットワーク）では、目標予測と距離項のバランスを取る損失を最小化できる。具体的な実装には以下が含まれる：
- Wachterら（2017年）：微分可能なモデルに対して、予測損失と距離の2つの項を持つコスト関数を最適化することで反実仮説を見つける勾配降下アプローチ。
- Growing Spheres（Laugelら、2017年）：微分不可能なモデルに対して、入力の周りに球を反復的に拡張して予測が反転するまで最も近い境界点を探索する方法。
- DiCE（Mothilalら、2020年）：学習されたオートエンコーダーまたはモデル非依存の探索を使用して、ユーザーに選択肢を与えるために多様な反実仮説のセットを生成する。
- ツリーベースの方法：ランダムフォレストや勾配ブースティングの場合、決定経路を辿ってリーフ空間内の最近傍を見つけることができる。
モデル非依存の方法はモデルをブラックボックスとして扱い、サンプリングや最適化技術に依存するため、任意の分類器に適用できる。しかし、画像のような高次元入力では計算コストが高くなる可能性がある。
信用と金融における応用
金融セクターは反実仮説説明の主要な場である。ローンやクレジットカードの申請が自動化システムによって拒否された場合、米国の均等信用機会法（ECOA）などの規制は貸し手に理由を提供することを要求する。反実仮説説明はさらに進んで、申請者が何を変更できるかを提案する：「既存の負債を2,000ドル減らせば、申請は承認されるでしょう。」これにより消費者は実行可能な救済手段を得ることができる。
銀行やフィンテック企業は、意思決定パイプラインに反実仮説ツールを統合し始めている。例えば、勾配ブースティング木でトレーニングされたモデルは、各拒否の説明を生成するために反実仮説ジェネレーターとペアにされるかもしれない。課題は実現可能性のバランスを取ることである：収入の増加を提案することは実行可能ではないため、システムはユーザーが制御できる特徴（例えば、支出パターン、口座履歴）を強調することを学ばなければならない。
ヘルスケアと医学
ヘルスケアでは、反実仮説説明は臨床医が診断モデルが特定の予測を行った理由を理解するのに役立つ。例えば、患者の再入院を予測するニューラルネットワークは次のように提供するかもしれない：「患者の血圧が10 mmHg低ければ、再入院リスクは高から低に低下するでしょう。」これは治療計画に役立ち、2020年のArtificial Intelligence in Medicineの論文で詳述されている。
しかし、医療反実仮説は因果関係の慎重な扱いを必要とする。血圧のようなバイオマーカーを変更することは、他の観測されない要因と相関しているかもしれない。Stanford AI LabやMIT CSAILの研究者は、不可能なシナリオを提案することを避けるために既知の医学知識を組み込んだ因果反実仮説を探求してきた。
画像およびテキストモデルにおける反実仮説説明
Deep learningモデルによる画像では、反実仮説説明は予測を変更するためにピクセルを摂動させることを含む。例えば、犬の画像は、敵対的例研究で示されているように、モデルが猫として分類するように小さなパターンを追加することで変更されるかもしれない。敵対的例とは異なり、反実仮説は人間が妥当だと知覚するかもしれない意味のある変更を目指す。生成的敵対ネットワーク（GAN）やオートエンコーダーなどの技術は、潜在コードを操作することで画像反実仮説を生成できる。
自然言語処理では、感情分析の反実仮説説明は「映画は退屈だった」を「映画は刺激的だった」に変更して、否定的な感情を肯定的に反転させるかもしれない。これは文法性を保ちながら単語やフレーズを編集することで達成される。Large language modelなどのTransformerベースのモデルは、反実仮説テキストを生成するためにプローブできるが、最小性と流暢性を保証することは依然として課題である。
因果性と公平性への関連
反実仮説説明は因果推論と密接に関連している。真の反実仮説はデータの因果構造を反映すべきである：特徴を変更することは連鎖的な影響を持つかもしれない（例えば、教育レベルを上げることは収入を変えるかもしれない）。Pearlの構造因果モデルは形式的な枠組みを提供するが、実際には利用できないことが多い。ほとんどの方法は独立性を仮定しており、現実には実現不可能または一貫性のない提案につながる可能性がある。
公平性研究では、反実仮説公平性は、感度属性（例えば、人種、性別）が変更された実際の世界と反実仮説の世界の両方で予測が同じであることを要求する基準である。Kusnerら（2017年）によって提案されたこの概念は、説明するためではなくモデルのバイアスを監査するために反実仮説説明を使用する。例えば、人の性別を変更することで信用決定が変わるとすれば、そのモデルはこの定義の下で不公平と見なされる。
他の説明可能性方法との関係
反実仮説説明は他のXAI技術を補完する。SHAPとLIMEは局所的な特徴帰属を提供し、どの特徴が予測に最も重要であったかを示すが、ユーザーに結果を変更する方法を伝えるものではない。反実仮説は直接的な提案を提供する。また、敵対的例と類似点を共有する、、両方とも最小の入力摂動を求める、、が、反実仮説は特定の目標クラスを目指すのに対し、敵対的摂動は任意の誤分類を目指し、しばしば知覚できない。
因果性の文脈では、反実仮説は介入とは異なる：介入は他の変数を一定に保ちながら特徴を変更する（ランダム化実験のように）、一方反実仮説は同じ因果構造の下で仮説的な状態を想像する。この区別は社会的応用にとって重要であり、MITのJoshua TenenbaumやBrendan Lakeなどの研究者が直感的物理学と因果推論を研究している。
課題と限界
重要な課題は、反実仮説が現実的かつ実行可能であることを保証することである。表形式データでは、特徴には不変の値（例えば、年齢、民族性）があるかもしれないが、多くの方法はこれを無視する。仕事のカテゴリのような離散特徴は、距離が連続的ではないため特別な扱いを必要とする。さらに、反実仮説は不安定かもしれない：入力やモデルの小さな変更が大幅に異なる提案につながり、ユーザーの信頼を低下させる可能性がある。
最適な反実仮説を見つける複雑さは、特徴の次元数とともに増大する。画像のような高次元データでは、探索空間は広大であり、素朴な最適化は知覚できないが非現実的な摂動をもたらすかもしれない。さらに、多くの方法はモデルが微分可能であることを仮定しており、これはツリーアンサンブルや非微分可能なパイプラインでは常に当てはまるとは限らない。
また、意味的なギャップもある：数学的に最小の反実仮説は人間に解釈可能でないかもしれない。例えば、特徴を0.3単位変更することは抽象的かもしれない。したがって、研究者はドメイン知識やユーザー研究を使用して、人間の知覚的な意味で近い反実仮説を生成することに焦点を当てている。
将来の方向性
研究は、ユーザーが提案を反復できるインタラクティブな設定で反実仮説説明を生成することに向かって動いている。Artificial intelligenceシステムでは、実際の予測を代替案と比較する対照的説明を提供することへの関心が高まっており、これは信頼を向上させる可能性がある。因果モデルの統合は、特徴間の依存関係を尊重するより堅牢な反実仮説を生成することを目指している。
Large language modelの台頭により、モデルの推論から直接自然言語の反実仮説説明を生成する可能性がある。しかし、忠実性を保証することは未解決の問題のままである。2020年代初頭の時点で、単一の方法が支配的ではなく、選択はデータ型、モデルファミリー、ユーザーニーズに依存する。
実装のための実用的考慮事項
反実仮説システムを展開する際、実務者は以下に対処する必要がある：
- スケーラビリティ：何百万人ものユーザーに対してリアルタイムで反実仮説を生成するには効率的なアルゴリズムが必要である。GPUでの勾配ベースの最適化のような方法は高速かもしれないが、ブラックボックスアプローチは遅いかもしれない。
- ユーザーインターフェース：説明は人間が理解できる形式で提示されるべきであり、しばしば「XをAからBに変更すると、結果がPからQに変わります」として提示される。
- モデル非依存性：一部の規制当局はモデルタイプに関係なく説明を要求するため、展開可能なフレームワークはニューラルネットワークやルールベースのシステムなど、任意の予測モデルで機能する必要がある。
Google DeepMindやOpenAIなどの企業は堅牢な反実仮説生成の研究に資金を提供してきたが、本番ツールはまだ初期段階にある。2023年の時点で、この概念は進化し続けており、因果反実仮説やマルチエージェントシナリオの活発な研究がある。
将来の方向性
AIシステムが重要な決定にますます統合されるにつれて、反実仮説説明への需要は成長するだろう。今後の発展には以下が含まれるかもしれない：
- Large language modelとの統合による、生データからの反実仮説ナラティブの生成。
- ユーザーのドメイン知識と好みに適応するパーソナライズされた説明。
- 不確実性の下での反実仮説生成。複数の可能な世界が考慮される。
- 因果発見を通じた反実仮説と実行可能な推奨事項のリンク。
Carnegie Mellon UniversityやBAIR (Berkeley AI Research)などの機関の研究者がこれらの分野で積極的に取り組んでいる。
結論
反実仮説説明は、機械学習モデルを透明かつ実行可能にするための強力なツールである。「もしも」の質問をすることで、不透明な予測をユーザーにとって具体的なステップに変換する。その重要性は、説明可能AIと倫理的AI実践への規制上の推進によって強調されている。モデルがより複雑になるにつれて、反実仮説解釈可能性の必要性は増大し、効率的な生成と検証におけるさらなる革新を促進するだろう。