反実仮説説明は、機械学習において、モデルの予測を解釈するための手法であり、与えられた入力の特徴に対する最小の変更を特定することで、モデルの出力を望ましい代替結果に反転させるものである。特定のインスタンスに対して、反実仮説説明は「予測が目標とする結果になるために必要な最小限の修正は何か？」という問いに答える。例えば、融資申請が拒否された場合、反実仮説は次のように述べるかもしれない：「もしあなたの年収が5,000ドル高ければ、あなたのAIワークロードを加速し、深層学習モデルのトレーニング時間を短縮できるだろう。」
これらの説明は、哲学的 concept である反実仮説（異なる条件下で何が起こっていたかに関する記述）に基づいている。AIにおいて、それらは局所的解釈可能性の一形態を提供し、グローバルなモデルではなく単一の予測に焦点を当てる。それらは、実行可能な救済手段を求めるエンドユーザーにとって特に価値がある：好ましい結果を得るために何を変更できるかを理解することである。特徴重要度のように変数をグローバルにランク付けする手法とは異なり、反実仮説は具体的で個別化された提案を提供する。
この用語は2010年代後半に prominence を得て、Ruth Fong と Andrea Vedaldi（2017年）および後に Sandra Wachter、 Brent Mittelstadt、 そして Chris Russell（2017年）による先駆的な研究があり、彼らはアルゴリズムによる意思決定のためのこの概念を形式化した。それ以来、反実仮説説明は説明可能なAI（XAI）の中心的な柱となり、EUの一般データ保護規則（GDPR）などの法的枠組みと交差している。GDPRは個人に自動化された決定の説明を得る権利を付与する。
概念と形式化
与えられた入力 x と予測 f(x) に対する反実仮説説明は、f(x') が望ましい結果（例：拒否ではなく承認）と等しくなるような新しい入力 x' である。 x から x' への変更は、通常、距離メトリック（例：L1、L2、またはL0ノルム）によって測定され、最小性を保証する。形式的には、f(x') = y' という制約の下で距離 d(x, x') を最小化することを目指す。ここで y' は目標ラベルである。
最小性の概念は主観的であり；異なる距離関数は異なる反実仮説をもたらす。表形式データでは、L1距離を使用してスパース性（少数の特徴のみを変更すること）を促進するかもしれないが、画像では、知覚的類似性を使用するかもしれない。制約を追加できる：特徴には不変の値（例：年齢）やカテゴリカルなものがあるかもしれない。さらに、反実仮説は実現可能かつ妥当であるべきである、、つまり、提案された変更はユーザーによって現実的に達成可能でなければならない（例：収入を増やすことは妥当である；婚姻状態を変えることはそうでないかもしれない）。
反実仮説説明はインスタンス固有であり、これは特徴重要度のようなグローバルな説明とは対照的である。それらはモデルの全体的な振る舞いを説明するのではなく、単一のケースに対する異なる結果への経路を説明する。これにより直感的であるが、目標とする結果と距離メトリックの選択に敏感でもある。
##アルゴリズムとアプローチ
いくつかのアルゴリズムが反実仮説説明を生成する。初期の方法は勾配ベースの最適化を使用した：微分可能なモデル（例：ニューラルネットワーク）の場合、目標予測と距離項のバランスを取る損失を最小化できる。具体的な実装には以下が含まれる：
- Wachter ら（2017年）：微分可能なモデルに対して、予測損失と距離の2つの項を持つコスト関数を最適化することで反実仮説を見つける勾配降下アプローチ。
- Growing Spheres（Laugel ら、2017年）：非微分可能なモデルのために、この方法は、予測が反転するまで入力の周りに球を反復的に拡大することで、最も近い境界点を探索する。
- DiCE（Mothilal ら、2020年）：ユーザーに選択肢を与えるために多様な反実仮説のセットを生成し、学習されたオートエンコーダーまたはモデル非依存の探索を使用する。。
- ツリーベースの方法：ランダムフォレストや勾配ブースティングの場合、決定経路を辿って葉空間内の最近傍を見つけることができる。。
モデル非依存の方法は、モデルをブラックボックスとして扱い、サンプリングや最適化技術に依存するため、任意の分類器に適用可能である。しかし、画像のような高次元入力では計算コストが高くなる可能性がある。
信用と金融における応用
金融セクターは反実仮説説明の主要な場である。融資やクレジットカードの申請が自動化システムによって拒否された場合、米国の均等信用機会法（ECOA）などの規制は、貸し手に理由を提供することを要求する。反実仮説説明はさらに進んで、申請者が何を変更できるかを提案する：「もしあなたの既存の負債を2,000ドル減らせば、あなたの申請は承認されるでしょう。」これにより消費者は実行可能な救済手段を得ることができる。
。
銀行やフィンテック企業は、反実仮説ツールを意思決定パイプラインに統合し始めている。例えば、勾配ブースト木でトレーニングされたモデルは、各拒否の説明を生成するために反実仮説生成器とペアになるかもしれない。課題は実現可能性のバランスを取ることである：収入の増加を提案することは実行可能ではないため、システムはユーザーの制御下にある特徴（例：支出パターン、口座履歴）を強調することを学ばなければならない。
。
医療と医学
医療において、反実仮説説明は臨床医が診断モデルが特定の予測を行った理由を理解するのに役立つ。例えば、患者の再入院を予測するニューラルネットワークは次のように提供するかもしれない：「もし患者の血圧が10 mmHg低ければ、再入院リスクは高から低に低下するでしょう。」これは治療計画に役立ち、2020年のArtificial Intelligence in Medicineの論文で詳述されている。しかし、医療の反実仮説は因果関係の慎重な扱いを必要とする。血圧のようなバイオマーカーを変更することは、他の観測されない要因と相関しているかもしれない。Stanford AI LabやMIT CSAILの研究者は、既知の医学的知識を組み込んで不可能なシナリオを提案することを避ける因果的反実仮説を探求している。
。
画像およびテキストモデルにおける反実仮説説明
Deep learningモデルを画像に適用する場合、反実仮説説明は予測を変更するためにピクセルを摂動させることを含む。例えば、犬の画像は、モデルがそれを猫として分類するように小さなパターンを追加することで変更されるかもしれない。これは敵対的例の研究で示されている。敵対的例とは異なり、反実仮説は人間が妥当だと知覚するかもしれない意味のある変更を目指す。生成的敵対ネットワーク（GAN）やオートエンコーダーなどの技術は、潜在コードを操作することで画像の反実仮説を生成できる。
自然言語処理において、感情分析のための反実仮説説明は、「その映画は退屈だった」を「その映画は興奮した」に変更して、否定的な感情を肯定的に反転させるかもしれない。これは文法性を保ちながら単語やフレーズを編集することで達成される。トランスフォーマーベースのモデル、例えばLarge language modelは、反実仮説テキストを生成するためにプローブできるが、最小性と流暢性を保証することは依然として困難である。
##因果性と公平性へのリンク
反実仮説説明は因果推論と密接に関連している。真の反実仮説はデータの因果構造を反映すべきである：特徴を変更することは連鎖効果を持つかもしれない（例：教育レベルを上げることは収入を変えるかもしれない）。Pearlの構造的因果モデルは形式的な枠組みを提供するが、実際には利用できないことが多い。ほとんどの方法は独立性を仮定しており、現実には実現不可能または一貫性のない提案につながる可能性がある。
公平性研究において、反実仮説公平性は、敏感な属性（例：人種、性別）が変更された実際の世界と反実仮説の世界の両方で予測が同じであることを要求する基準である。この概念は、Kusner ら（2017年）によって提案され、反実仮説説明を説明のためではなく、モデルのバイアスを監査するために使用する。例えば、人の性別を変更することが信用決定を変えるならば、そのモデルはこの定義の下で不公平と見なされる。
##他の説明可能性方法との関係
反実仮説説明は他のXAI技術を補完する。SHAPとLIMEは局所的特徴帰属を提供し、予測にとってどの特徴が最も重要であったかを示すが、ユーザーに結果を変更する方法を伝えない。反実仮説は直接的な提案を提供する。それらは敵対的例とも類似点を共有する、、両方とも最小の入力摂動を求める、、が、反実仮説は特定の目標クラスを目指すのに対し、敵対的摂動は任意の誤分類を目指し、しばしば知覚不可能である。因果性の文脈では、反実仮説は介入とは異なる：介入は他の変数を一定に保ちながら特徴を変更する（ランダム化実験のように）のに対し、反実仮説は同じ因果構造の下で仮想的な状態を想像する。この区別は社会的応用にとって重要であり、MITのJoshua TenenbaumやBrendan Lakeのような直感的物理学と因果推論を研究する研究者によって指摘されている。
##課題と限界
重要な課題は、反実仮説が現実的かつ実行可能であることを保証することである。表形式データでは、特徴には不変の値（例：年齢、民族性）があるかもしれないが、多くの方法はこれを無視する。離散的特徴、例えば職業カテゴリは、距離が連続的でないため特別な扱いを必要とする。さらに、反実仮説は不安定かもしれない：入力またはモデルの小さな変更が、 drastically 異なる提案につながり、ユーザーの信頼を低下させる可能性がある。
最適な反実仮説を見つける複雑さは、特徴の次元とともに増大する。画像のような高次元データでは、探索空間は広大であり、素朴な最適化は知覚不可能だが非現実的な摂動をもたらすかもしれない。さらに、多くの方法はモデルが微分可能であると仮定するが、これはツリーアンサンブルや非微分可能なパイプラインでは常に当てはまるわけではない。また、意味的ギャップもある：数学的に最小の反実仮説は人間に解釈可能でないかもしれない。例えば、特徴を0.3単位変更することは抽象的かもしれない。したがって、研究者は、ドメイン知識やユーザー研究を使用して、人間の知覚的意味で近い反実仮説を生成することに焦点を当てている。
##将来の方向性
研究は、ユーザーが提案を反復できるインタラクティブな設定で反実仮説説明を生成することに向かっている。Artificial intelligenceシステムでは、実際の予測を代替案と比較する対比的説明を提供することへの関心が高まっている。因果モデルの統合は、特徴間の依存関係を尊重するより堅牢な反実仮説を生成することを目指している。Large language modelの台頭により、モデルの推論から直接自然言語の反実仮説説明を生成する可能性があるが、忠実性を保証することは依然として未解決の問題である。2020年代初頭の時点では、単一の方法が支配的であるわけではない；選択はデータ型、モデルファミリー、およびユーザーニーズに依存する。
##実装のための実践的考慮事項
反実仮説システムを展開する際、実務者は以下に対処する必要がある：
- スケーラビリティ：何百万人ものユーザーに対してリアルタイムで反実仮説を生成するには、効率的なアルゴリズムが必要である。GPU上の勾配ベースの最適化のような方法は高速かもしれないが、ブラックボックスアプローチは遅い可能性がある。。
- ユーザーインターフェース：説明は人間が理解しやすい形式で提示されるべきであり、しばしば「もしXをAからBに変更すれば、結果はPからQに変わるでしょう」として提示される。。
- モデル非依存性：一部の規制当局はモデル型に関係なく説明を要求するため、展開可能なフレームワークは、ニューラルネットワークであれルールベースのシステムであれ、任意の予測モデルで動作しなければならない。
。
Google DeepMindやOpenAIのような企業は、堅牢な反実仮説生成の研究に資金を提供してきたが、本番ツールはまだ初期段階にある。2023年の時点で、この概念は進化し続けており、因果的反実仮説やマルチエージェントシナリオの活発な研究が行われている。
。
##将来の方向性
AIシステムが重要な決定にますます統合されるにつれて、反実仮説説明への需要は高まるだろう。今後の発展には以下が含まれるかもしれない：
- Large language modelとの統合により、生データから反実仮説の物語を生成する。。
- ユーザーのドメイン知識と好みに適応するパーソナライズされた説明。。
- 不確実性の下での反実仮説生成。複数の可能な世界が考慮される。。。
- 因果発見を通じて反実仮説を実行可能な推奨事項にリンクする。。。
Carnegie Mellon UniversityやBAIR (Berkeley AI Research)のような機関の研究者は、これらの分野で積極的に取り組んでいる。
##結論
反実仮説説明は、機械学習モデルを透明かつ実行可能にするための強力なツールである。「もしも」の質問をすることで、それらは不透明な予測をユーザーのための具体的なステップに変換する。その重要性は、説明可能なAIと倫理的なAI実践への規制上の推進によって強調されている。モデルがより複雑になるにつれて、反実仮説解釈可能性の必要性は増大し、効率的な生成と検証のさらなる革新を促進するだろう。