ロジスティック回帰は、バイナリ分類に使用される統計的および機械学習の手法であり、1つ以上の入力特徴量に基づいて2つの可能な結果のうちの1つを予測することを目的としています。その名前にもかかわらず、これは伝統的な意味での回帰アルゴリズムではなく、分類アルゴリズムです。これは、特徴量の線形結合にロジスティック関数を適用することにより、特定の入力が特定のクラスに属する確率をモデル化します。出力は0から1の間の値であり、閾値を設定してバイナリ決定を行うことができます。ロジスティック回帰はMachine learningの基礎的な手法であり、その単純さ、解釈可能性、線形分離可能なデータに対する強力な性能により、入門コースで最初に教えられる分類モデルであることが多いです。
ロジスティック回帰の起源は19世紀半ばに遡り、ロジスティック関数自体は1844年にピエール・フランソワ・フェルフルストによって人口増加をモデル化するために導入されました。ロジスティック回帰の現代的な統計的定式化は1950年代から1960年代に開発され、特に1958年のデビッド・コックス、その後D.R.コックスらによって発展しました。機械学習の文脈では、ロジスティック回帰は1990年代から2000年代にかけて、特にテキスト分類やスパム検出で主要な手法となりました。現在でも、解釈可能性と確率的出力が重視される医学、経済学、社会科学などの分野で広く使用されています。
数学的定式化
ロジスティック回帰の核心はロジスティック関数、別名シグモイド関数であり、σ(z) = 1 / (1 + e^(-z))と定義されます。与えられた入力ベクトルxに対して、重みwとバイアスbを用いて、モデルはz = w·x + bを計算し、次にシグモイドを適用して予測確率p = σ(z)を得ます。決定境界はp = 0.5の場所、つまりz = 0に対応します。モデルパラメータwとbは、観測された結果の尤度を最大化することによりデータから学習され、通常は勾配降下法やその他の最適化アルゴリズムを使用します。
トレーニングで使用される損失関数はバイナリ交差エントロピー（ログ損失）であり、予測確率と真のラベルとの差を測定します。N個のサンプルのデータセットに対して、損失はL = -1/N Σ [y_i log(p_i) + (1 - y_i) log(1 - p_i)]であり、ここでy_iは真のラベル（0または1）です。この損失を最小化することは、対数尤度を最大化することと同等です。最小二乗法を使用する線形回帰とは異なり、ロジスティック回帰は最尤推定を使用し、特定の条件下で一致性や効率性などの望ましい統計的特性を提供します。
線形モデルとの関係
ロジスティック回帰は、決定境界が入力特徴量の線形関数であるため、線形モデルです。ただし、連続値を予測する線形回帰とは異なり、ロジスティック回帰は確率を予測します。これは、非線形であるロジスティック関数を通じて線形出力を変換することで達成されます。このモデルは、多項式特徴量を追加したりカーネル法を使用したりすることで非線形関係を扱うように拡張できますが、コアモデルはパラメータに関して線形のままです。
Machine learningのより広い風景の中で、ロジスティック回帰はサポートベクターマシン（SVM）やパーセプトロンなどの他の線形分類器としばしば比較されます。SVMがクラス間のマージンを最大化することを目指す一方で、ロジスティック回帰は確率的出力を提供し、自然に較正されています。これにより、医療診断や信用スコアリングなど、決定に信頼度の測定が必要な場合に特に有用です。ロジスティック回帰はまた、バイナリ分類タスクの出力層で活性化関数として使用されるNeural networkを含む、より複雑なモデルの構成要素としても機能します。
トレーニングと最適化
ロジスティック回帰モデルのトレーニングには、交差エントロピー損失を最小化する重みを見つけることが含まれます。これは通常、反復最適化アルゴリズムを使用して行われ、勾配降下法が最も一般的です。勾配降下法では、重みは損失の重みに関する負の勾配の方向に更新されます。学習率はステップサイズを制御し、確率的勾配降下法（SGD）やミニバッチ勾配降下法などの変種が大規模データセットに使用されます。
過学習を防ぐために、特に特徴量の数が多い場合には、正則化がしばしば適用されます。一般的な正則化手法にはL1（ラッソ）とL2（リッジ）正則化があり、損失関数にペナルティ項を追加します。L1正則化はスパース性を促進し、一部の重みをゼロに設定するため、特徴量選択に役立ちます。L2正則化は重みをゼロに向かって縮小しますが、正確にゼロには設定しません。実際には、L2正則化を備えたロジスティック回帰は、多くの分類問題に対する強力なベースラインです。
機械学習における応用
ロジスティック回帰は幅広いアプリケーションで使用されています。医療では、症状や検査結果に基づいて患者が疾患を持つ可能性を予測するために使用されます。金融では、信用スコアリングや不正検出に使用されます。マーケティングでは、顧客離反や購入の可能性を予測するのに役立ちます。自然言語処理では、ロジスティック回帰は感情分析やスパム検出に使用され、特徴量はしばしば単語カウントやTF-IDFベクトルです。
Artificial intelligenceの文脈では、ロジスティック回帰はより複雑なアルゴリズムと比較するためのベースラインモデルとしてしばしば使用されます。その単純さと解釈可能性により、特徴量と結果の関係を理解するための貴重なツールとなります。例えば、医学研究では、モデルの係数は、他の特徴量を一定に保った場合の特徴量の1単位の変化に対する結果の対数オッズとして解釈できます。この解釈可能性は、深層ニューラルネットワークのようなブラックボックスモデルに対する重要な利点です。
拡張と変種
多クラス分類や非線形境界を扱うために、ロジスティック回帰のいくつかの拡張が存在します。多項ロジスティック回帰、別名ソフトマックス回帰は、ソフトマックス関数を使用してバイナリロジスティック回帰を複数クラスに一般化します。これは、2つ以上のクラスを持つ分類タスクでDeep learningで一般的に使用されます。もう1つの変種は順序ロジスティック回帰であり、1から5までの評価など、クラスに自然な順序がある場合に使用されます。
非線形問題の場合、ロジスティック回帰はカーネル法と組み合わせることができ、カーネルロジスティック回帰につながります。これにより、特徴量を高次元空間に暗黙的にマッピングすることで、元の特徴空間で非線形決定境界を見つけることができます。ただし、このアプローチは計算コストが高く、ニューラルネットワークを使用するよりも一般的ではありません。実際には、高度に非線形な問題では、実践者はしばしばNeural networkやTransformer (architecture)ベースのモデルに頼ります。これらは生データから複雑な表現を学習できます。
ニューラルネットワークとの比較
ロジスティック回帰は、シグモイド活性化関数を持つ単層ニューラルネットワークと見なすことができます。実際、ロジスティック回帰モデルは、隠れ層がなく1つの出力ニューロンを持つニューラルネットワークと同等です。この関連性は、古典的な統計学と現代の深層学習を橋渡しするため重要です。隠れ層を持つニューラルネットワークは複雑な非線形関係をモデル化できますが、ロジスティック回帰は、特にデータが線形分離可能である場合や解釈可能性が重要である場合に、強力で効率的なベースラインであり続けます。
大規模なMachine learningの時代でも、ロジスティック回帰は多くの本番システムで使用されており、特にオンライン広告やレコメンデーションシステムで、高速なトレーニングと推論が必要とされます。例えば、ロジスティック回帰はクリックスルー率予測でしばしば使用され、ユーザーが広告をクリックする確率を予測することを目的としています。Deep learningモデルの台頭にもかかわらず、ロジスティック回帰は多くの表形式データ問題に対して競争力のある選択肢であり続けます。
実践的な考慮事項
ロジスティック回帰を適用する際には、いくつかの実践的な考慮事項が重要です。特徴量スケーリングは、特に特徴量が異なるスケールを持つ場合に、勾配降下法が迅速に収束することを保証するためにしばしば必要です。欠損値や外れ値の処理も重要であり、ロジスティック回帰は極端な値に敏感です。さらに、このモデルは結果の対数オッズが特徴量と線形に関連していることを前提としており、これは実際には当てはまらない場合があります。そのような場合、特徴量エンジニアリングやより柔軟なモデルの使用が必要になることがあります。
ロジスティック回帰モデルの評価には、通常、精度、適合率、再現率、F1スコア、ROC曲線下面積（AUC）などの指標が含まれます。AUCは、選択された決定閾値とは無関係に、すべての閾値にわたってモデルがクラスを区別する能力を測定するため、特に有用です。較正も重要な側面であり、ロジスティック回帰の出力は自然に良好に較正されており、予測確率0.8は長期的には実際の頻度約80%に対応します。
歴史的文脈と影響
ロジスティック回帰の発展は、Thomas G. DietterichやMichael I. Jordanなどの統計学者によって影響を受けており、彼らは機械学習への統合に貢献しました。Michael I. Jordanは確率的グラフィカルモデルと統計学と機械学習の関連性に関する研究で知られています。ロジスティック回帰はまた、Stanford AI LabやMIT CSAILなどの機関で教えられるコースの基本的なトピックであり、学生に分類と確率モデリングを紹介するために使用されます。
人工知能のより広い歴史の中で、ロジスティック回帰は多くの現代的手法に先行しますが、依然として関連性があります。これは新しいアルゴリズムを評価するためのベンチマークとしてしばしば使用されます。例えば、新しい分類方法が提案されたとき、改善を示すためにロジスティック回帰と比較されるのが一般的です。この永続的な関連性は、モデルの単純さ、有効性、解釈可能性の証です。
結論
ロジスティック回帰は、統計的モデリングと機械学習の基礎です。確率的予測を提供する能力と、解釈可能性と効率性を組み合わせることで、バイナリ分類のための多用途なツールとなっています。深層ニューラルネットワークのようなより複雑なモデルが多くの領域で最先端の結果を達成していますが、ロジスティック回帰は貴重なベースラインであり、多くの現実世界の問題に対する実用的な解決策であり続けます。ロジスティック回帰を理解することは、機械学習を学ぶすべての人にとって不可欠であり、ニューラルネットワークや確率的グラフィカルモデルなどのより高度なトピックの基礎を築きます。