abess（Adaptive Best Subset Selection、略称ABESS）は、統計モデリングにおけるベストサブセット選択問題に対処するために設計されたmachine-learning手法です。データセットと予測タスクが与えられたとき、この手法はモデルの最適な性能にとって重要な特徴量や変数を特定します。この手法は2020年にZhuによって導入されたもので、モデルサイズを適応的に動的に選択し、正則化パラメータの選択を不要とします。abessは、線形回帰、単一インデックスモデル、その他の一般的な予測モデルを含むさまざまな統計的・機械学習タスクに適用可能で、生物統計学でも応用できます。
abessの核心的な革新性は、多項式時間計算量でL0ノルム制約の下でのベストサブセット選択を実行しつつ、不偏かつ一貫性のある推定を提供することにあります。ペナルティパラメータのチューニングを必要とする従来の正則化法とは異なり、abessは反復交換アルゴリズムを通じてサポートセットのサイズを適応的に決定するため、高次元データ解析に特に魅力的です。
基本形式
abessの基本形式は、一般線形回帰における最適サブセット選択問題を扱います。これは、多項式時間計算量と、不偏かつ一貫性のある推定を提供する特性を特徴とするL0手法です。線形回帰の文脈では、n個の独立なサンプル（x_i、y_i）、i = 1、...、n、ここでx_iはp次元ベクトルであり、y_iはスカラー応答であることを知っていると仮定します。Xをn行p列の計画行列、yをn次元応答ベクトルと定義します。一般線形回帰モデルはy = Xβ + εとして表され、ここでβは係数ベクトル、εは誤差項です。
適切なパラメータβを取得するために、線形回帰の損失関数L_n^LR（β; X、y）=（1/（2n））|| y-Xβ ||_2^2を考えます。abessでは、最初にL0制約の下でこの損失関数を最適化することに焦点を当て、||β||_0≤sとして、L_n^LR（β; X; y）を最小化する問題を解きます。ここでsはサポートセットの望ましいサイズを表し、||β||_0 = indicator（β_i ≠ 0）の和はベクトルのL0ノルムです。
アルゴリズムと犠牲の概念
最適化問題に対処するために、abessはアクティブセットと非アクティブセットの間で、同数の変数を反復的に交換します。各反復では、犠牲の概念が導入されます。アクティブセット内の各変数jについて、犠牲ξ_jは、変数jがアクティブセットから削除されたときの損失関数の増分として定義されます：ξ_j = L_n^LR(β_hat_A \ {j}) - L_n^LR(β_hat_A)。ここで、Aは現在のアクティブセットであり、β_hat_AはAに限定された推定係数ベクトルです。
アルゴリズムは、アクティブセット内のすべての変数の犠牲を計算し、最小の犠牲（最小の損失増分で削除できる変数）を持つ変数を特定します。同時に、追加できる非アクティブセットからの候補変数を評価します。交換ステップは、最も重要でないアクティブ変数を最も有望な非アクティブ候補と置き換え、サポートサイズsを維持します。このプロセスは、損失関数の変化またはアクティブセットの安定性で測定される収束まで続けます。
適応的モデルサイズ選択
abessの特徴的な点は、モデルサイズsを適応的に選択することで、変数の数を選択するためのクロス検証や情報基準を不要にすることです。この方法は、小さなサポートサイズから始まり、損失関数の改善を監視しながら徐々にサイズを増やします。適合度とモデル複雑性のトレードオフに基づく基準を使用し、しばしば修正されたベイズ情報基準（BIC）や、それに類似したデータに適応するペナルティを採用します。
この適応的アプローチは、グリッド値のsに対してモデルを適合することを避けるため、計算効率的です。代わりに、abessはsが増加するにつれて解のパスを活用し、以前の反復の計算を再利用します。最終的なモデルサイズは、適合の限界的改善がしきい値を下回ったとき、またはモデル選択情報基準が最小に達したときに選択されます。
理論的特性
abessは、他の変数選択方法と区別するいくつかの理論的保証を提供します。標準的な正則条件の下で、方法は推定の一貫性と変数選択の一貫性を達成します。つまり、推定された係数は真の値に収束し、選択されたサポートセットが真のアクティブセットと一致する確率は、サンプルサイズが増加するにつれて1に近づきます。多項式時間計算量は、一般にNP困難である網羅的なベストサブセット選択に対する大きな利点です。
L0罰則は、lassoなどのL1に基づく方法が回帰係数の縮小を通じてバイアスを導入する一方で、選択された変数の係数を縮小しないため、不偏性の特性が生じます。この不偏性は、解釈や下流の推論にとって不偏な係数推定が重要である場合に、abessを特別に魅力的なものにします。
回帰とその先への応用
abessは、線形回帰を超えた幅広い統計モデルに適用できます。単一インデックスモデルの文脈では、未知のリンク関数を推定しながら、abessは関連する共変量を選択するように拡張できます。この方法は、ロジスティック回帰やポアソン回帰を含む一般化線形モデルにも適応されており、損失関数が適宜変更されます。バイオ統計学では、abessは、予測的な遺伝子や臨床変数の小さなセットを特定することが重要なバイオマーカー発見に使用されています。
さらに、この方法は、予測因子の数pがサンプルサイズnを大きく超えることのできる高次元設定も処理します。このようなシナリオでは、適応選択メカニズムと交換アルゴリズムが計算の可能性を維持し、信頼性の高い変数選択を提供します。
ソフトウェア実装
abessメソッドは、abessという名称のオープンソースのRパッケージに実装されており、線形回帰、ロジスティック回帰、その他のモデルのための関数を提供します。このパッケージには、中核アルゴリズムのための効率的なC++コードが含まれており、大規模データセットに適しています。ユーザーは、最大サポートサイズを指定するか、適応手順に自動的に決定させることができます。また、このパッケージには、解決パスと診断プロットの可視化ツールも含まれています。
他の手法との比較
lassoやエラスティックネットなどの正則化ベースのアプローチと比較すると、abessは不偏な推定とチューニングパラメータなしの自動的なモデルサイズ選択の利点を提供します。ただし、非常に大きなpの場合、lassoよりも計算負荷がかかる可能性がありますが、多項時間計算量はこの懸念を緩和します。直交マッチング追跡などの貪欲アルゴリズムと比較すると、abessはより原則的な交換メカニズムを提供し、局所最適解を逃れることができます。
制限と拡張
abessは強力ですが、線形モデルまたはその拡張が成り立ことと、L0制約が問題に適切であることを仮定します。高度に非線形な関係の場合には、基底展開やカーネル法を使用した拡張が必要になる場合があります。abessを、deep-learningやneural-networkの設定など、より複雑なモデルに拡張する研究が進み、特徴選択がトレーニングプロセスに組み込まれています。
関連項目
参考文献
Zhu, J. (2020). Vector：Adaptive Best Subset Selection。（元となる導入論文）
外部リンク
- CRANにあるRパッケージabess（ガイドラインに基づきリンクは省略）