説明に基づく学習(EBL)は、機械学習の一形態であり、非常に強力な、あるいは完全なドメイン理論(応用領域の形式的理論であり、オントロジー工学におけるドメインモデルに類似)を活用して、訓練例から一般化や概念形成を行う。多くの例を必要とする経験的手法とは異なり、EBLはドメイン理論を用いて、なぜその例が概念のメンバーであるかを説明することで、単一の例から一般化できる。この説明は再利用可能なルール、すなわちマクロにコンパイルされ、将来の推論を高速化する。EBLはまた、学習を支援するための記憶への符号化とも関連しており、導出された一般化は効率的な検索のために保存される。
このアプローチは、完全なドメイン理論が原理的にはドメインに関するあらゆる疑問を決定するために必要なすべての情報を含んでいるという考えに基づいている。例えば、チェスのルールはチェスにとって完全なドメイン理論を形成し、任意の位置での最善手を演繹できるが、実際には組み合わせ爆発のために実行不可能である。EBLは訓練例を用いて演繹的帰結の探索を導き、実際にはプロセスを効率的にする。
基本定式化
EBLシステムは4つの入力を受け取る:仮説空間(可能な結論のすべての集合)、ドメイン理論(対象ドメインに関する公理)、訓練例(いくつかの仮説を除外する特定の事実)、および操作性基準(センサーで直接検出可能なものなど、効率的に認識可能な特徴を決定するための基準)。システムは、ドメイン理論から各訓練例の短い証明を見つけ、その証明を一般化して、類似した将来の例を迅速に分類するために適用できるルールにする。このプロセスはドメイン理論データベースを拡張し、関連するインスタンスのより高速な分類を可能にする。
EBLの主な欠点は、ミントンによって最初に分析されたユーティリティ問題である:学習された証明マクロの数が増えるにつれて、それらを適用するコストがその利点を上回る可能性がある。この問題は、学習されたルールの選択と使用法の改良を促進してきた。
自然言語処理への応用
EBLにとって特に良い応用領域は自然言語処理(NLP)である。ここでは、自然言語文法などの豊かなドメイン理論は完全でも完璧でもないが、ツリーバンクを訓練例として使用することで、特定のアプリケーションや言語使用に調整できる。レイナーがこの研究を先駆け、最初の成功した産業応用はリレーショナルデータベースへの商用自然言語インターフェースであった。この方法はいくつかの大規模な自然言語構文解析システムに成功裏に適用されており、ユーティリティ問題は元の文法(ドメイン理論)を省略し、特殊なLR構文解析技術を使用することで解決され、カバレッジのコストで大きな高速化が達成されたが、曖昧性解消の利得があった。
EBLをNLPに適用する際、操作性基準は手作業で作成するか、ツリーバンクからそのorノードのエントロピーまたは目標のカバレッジ/曖昧性解消トレードオフ(再現率/適合率トレードオフまたはF値に相当)を用いて推論できる。EBLはまた、一般的な統一文法から音声認識用の文法ベースの言語モデルをコンパイルするためにも使用できる。ユーティリティ問題は元の文法を破棄することで解決され、引用された記事は「文法特殊化」というフレーズを含む傾向があり、これは元の用語「説明に基づく一般化」とは正反対である。おそらくこの技術の最良の名前は、データ駆動型探索空間削減であろう。
EBLをNLPに適用した他の研究者には、ギュンター・ノイマン、アラビンド・ジョシ、スリニヴァス・バンガロール、ハリル・シマアンが含まれる。EBLに類似した技術は、構文解析の逆である表層生成にも適用されている。
他の学習パラダイムとの関係
EBLは、Machine learningやDeep learningで使用されるような経験的または帰納的学習方法とは対照的であり、これらは一般化するために大規模なデータセットを必要とする。Neural networkアプローチ(Large language modelシステムのTransformer (architecture)モデルなど)が大規模なコーパスから統計的パターンを学習する一方で、EBLは明示的な記号的知識を活用する。これにより、EBLは強い理論が存在するがデータが乏しいドメインに特に適している。しかし、EBLが完全またはほぼ完全なドメイン理論に依存することは、その適用可能性をよく理解されたドメインに限定し、統計的手法はノイズの多いまたは理解が不十分な問題を処理できる。
コンピュータビジョンでは、EBLはワンショット学習(モデルが単一の例から学習する)に関連するが、EBLは例を説明するためにドメイン理論を必要とし、ワンショット学習は関連タスクからの事前知識を使用することが多い。ゼロショット学習(例なしで未見のカテゴリを分類する)も概念的に類似しているが、通常は演繹的証明ではなく意味的埋め込みを使用する。
制限と拡張
EBLの主な制限はユーティリティ問題であり、学習されたルールの保存とマッチングのオーバーヘッドがパフォーマンスを低下させる可能性がある。ミントンの分析は、学習された証明マクロを適用するコストが蓄積するにつれて法外になる可能性があることを示した。解決策には、NLPアプリケーションで元の文法を破棄するように、有用なルールの選択的保持が含まれる。EBLの拡張は、Curriculum Learningでの探索を導くためやData Augmentation戦略を洗練するためにEBLを使用するなど、帰納的方法との組み合わせを探求してきた。Artificial intelligence研究では、EBLは計画と診断における説明に基づく一般化の研究に影響を与えたが、現代のGenerative AIシステムは主に統計的学習に依存している。