拡張ニューラルネットワーク（ENN）は、2003年にM. H. WangとC. P. Hungによって最初に提案されたパターン認識手法である。これは、人工ニューラルネットワークの高速かつ適応的な学習能力と、1983年にCaiによって開発された矛盾問題を解決するための数学的枠組みである拡張理論の相関推定特性を組み合わせたものである。このネットワークは、入力がトレーニングデータから学習されたクラスベースの範囲表現にどれだけ近いかを測る拡張距離を計算することでインスタンスを分類する。ENNは、機械の故障検出、MRIによる組織分類、自動車エンジンの故障認識、鉛蓄電池の充電状態推定、不完全な調査データによる分類などのタスクに応用されている。
従来のニューラルネットワークが接続ノード間で単一の重み値を使用するのに対し、ENNは接続ごとに2つの重み値を格納し、特定のクラスの特性の下限と上限を表す。この設計により、ネットワークはクラスカテゴリを点推定ではなく区間としてモデル化でき、拡張理論の物元モデルを活用している。この手法は、パターン認識の文献において、ニューラルの適応性と集合論的推論の両方を活用したハイブリッドアプローチとして引用されている。
拡張理論の基礎
1983年にCaiによって提案された拡張理論は、ENNの数学的基盤を提供する。これはオブジェクトを物元としてモデル化し、R = (N, C, V)と表記される。ここでNはオブジェクトの名前またはタイプ、Cはその特性、Vは対応する値である。例えば、人の身長と体重は値の範囲を持つ特性として表現でき、拡張集合を形成する。この理論は、オブジェクト空間からメンバーシップ区間[-∞, ∞]への要素をマッピングする拡張相関関数K(x)を定義する。正の値はクラスへのメンバーシップを示し、負の値は非メンバーシップを示し、[0, 1]の値はファジー集合理論に似ている。相関関数は、対象領域X_in = (a, b)と近傍領域X_out = (c, d)を使用して計算され、ここでaとcは下限、bとdは上限である。この関数は、要素xが理想的な範囲からどれだけ離れているかを測定し、ENNが分類に利用する段階的メンバーシップを提供する。
アーキテクチャと分類
ENNのアーキテクチャは、入力ノードと出力ノードで構成され、それらの間に重みベクトルが配置される。入力ノードの数nはデータ内の特性の数に対応し、出力ノードの数n_cはクラスの数に対応する。各入力インスタンスについて、ネットワークは相関関数から導出された距離メトリックである拡張距離式を使用して、各クラスkの出力o_ikを計算する。推定クラスは、すべてのクラスの中で最小の拡張距離を持つクラスを選択することで決定される。このプロセスは計算効率が高く、ENNをリアルタイムアプリケーションに適したものにしている。
二重重み構造は、通常接続ごとに単一のスカラー重みを使用する標準的なニューラルネットワークとの主要な差別化要因である。ENNでは、重みは各クラスの各特性の範囲の下限と上限を定義する。この範囲ベースの表現は、拡張理論の区間への強調と一致し、ネットワークが重複するクラスをより優雅に処理できるようにする。
学習アルゴリズム
ENNの学習アルゴリズムは単純で、初期化と調整の2つの主要なフェーズを含む。初期化中、重みはトレーニングデータ内の各クラスの各特性の最大値と最小値を特定することで設定される。このステップは、提供されたデータに基づいて初期クラス範囲を確立する。初期化後、ネットワークは分類エラーを減らすために重みを反復的に調整する。各トレーニングインスタンスについて、アルゴリズムは現在のクラス推定を真のクラスと比較し、誤分類が発生した場合、正しいクラスに向かって範囲をシフトするように重み境界を更新し、識別を強化する。このプロセスはエラー訂正に類似しているが、区間ベースの表現に合わせて調整されている。
初期化が極値のみに依存するため、学習プロセスは高速かつ適応的であり、ニューラル学習と拡張理論の相関推定を組み合わせるという方法の目標と一致している。このアルゴリズムは勾配計算を必要とせず、より深いニューラルネットワークで使用されるバックプロパゲーションよりも単純である。
アプリケーションと制限
ENNはいくつかの領域で応用されている。産業設定では、振動や性能データが潜在的な問題を示す機械/設備の故障検出に使用されている。医療画像では、ENNはMRIスキャンを使用した組織分類に採用され、診断プロセスを支援している。自動車産業では、ENNはエンジンの故障認識に使用され、センサーデータから誤動作を特定するのに役立っている。さらに、ENNはバッテリー管理システムにとって重要な鉛蓄電池の充電状態推定や、欠損値が一般的な不完全な調査データの分類にも応用されている。これらのアプリケーションは、さまざまなデータタイプと問題領域にわたる方法の汎用性を示している。
これらの成功にもかかわらず、ENNには制限がある。範囲ベースの表現は、初期化中の外れ値に敏感であり、極値がクラス境界に大きく影響する。このモデルはまた、クラスが区間で分離可能であることを前提としており、複雑な非線形データには当てはまらない場合がある。さらに、ENNは高次元データに対して現代の深層学習アプローチほどスケーラブルではなく、深層学習モデルや大規模言語モデル、トランスフォーマーのような表現力を欠いている。その結果、ENNは主に解釈可能性と単純さが生の精度よりも重視されるニッチなアプリケーションで使用されている。
関連アプローチ
ENNは、古典的な人工知能の概念とニューラル計算を統合するハイブリッドなニューラルシンボリックまたはニューラル数学的手法のファミリーに属する。例えば、ファジーニューラルネットワークはファジーロジックとニューラルネットワークを組み合わせ、サポートベクターマシンはカーネルベースの分離を使用する。ENNは特に拡張理論に関連しており、これは特定の工学および管理コンテキスト以外では主流の採用が限られている。機械学習では、ほとんどの現代的手法は勾配ベースの最適化に依存しており、深層学習フレームワークで見られ、GPUのようなハードウェアを使用して大規模データセットでトレーニングされる。対照的に、ENNは最小限の計算リソースを必要とする軽量な代替手段を提供し、組み込みシステムやデータが限られたシナリオに魅力的である。
要約すると、2003年にWangとHungによって導入された拡張ニューラルネットワークは、ニューラル学習と拡張理論を統合する2000年代初頭の取り組みを表している。拡張距離と範囲ベースの重みの使用は独自の分類メカニズムを提供するが、人工知能の広範な分野ではより強力なアプローチによって大部分が取って代わられている。それでも、ENNは古典的な数学理論がニューラルネットワーク設計にどのように情報を提供できるかの文書化された例として残っている。