로지스틱 회귀는 이진 분류를 위해 사용되는 통계적 및 머신러닝 방법으로, 하나 이상의 입력 특성을 기반으로 두 가지 가능한 결과 중 하나를 예측하는 것을 목표로 합니다. 이름과 달리, 이는 전통적인 의미의 회귀 알고리즘이 아니라 분류 알고리즘입니다. 주어진 입력이 특정 클래스에 속할 확률을 로지스틱 함수를 특성의 선형 결합에 적용하여 모델링합니다. 출력은 0과 1 사이의 값이며, 이를 임계값으로 이진 결정을 내릴 수 있습니다. 로지스틱 회귀는 Machine learning의 기초 기법으로, 단순성, 해석 가능성, 그리고 선형적으로 분리 가능한 데이터에 대한 강력한 성능 덕분에 입문 과정에서 가장 먼저 배우는 분류 모델인 경우가 많습니다.
로지스틱 회귀의 기원은 19세기 중반으로 거슬러 올라가며, 로지스틱 함수 자체는 1844년 피에르 프랑수아 베르훌스트가 인구 성장을 모델링하기 위해 도입했습니다. 현대적인 통계적 정식화는 1950년대와 1960년대에 개발되었으며, 특히 1958년 데이비드 콕스와 이후 D. R. 콕스 등의 연구자들이 기여했습니다. 머신러닝의 맥락에서 로지스틱 회귀는 1990년대와 2000년대에 텍스트 분류와 스팸 탐지 분야에서 널리 사용되며 주요 기법으로 자리 잡았습니다. 현재까지도 의학, 경제학, 사회과학 등 다양한 분야에서 해석 가능성과 확률적 출력이 중요시되는 곳에서 폭넓게 활용되고 있습니다.
수학적 정식화
로지스틱 회귀의 핵심은 로지스틱 함수(시그모이드 함수라고도 함)이며, 이는 σ(z) = 1 / (1 + e^(-z))로 정의됩니다. 주어진 입력 벡터 x에 대해 가중치 w와 편향 b를 사용하여 z = w·x + b를 계산한 후, 시그모이드 함수를 적용하여 예측 확률 p = σ(z)를 얻습니다. 결정 경계는 p = 0.5인 지점, 즉 z = 0에 해당합니다. 모델 파라미터 w와 b는 관측된 결과의 가능도를 최대화함으로써 데이터로부터 학습되며, 일반적으로 경사 하강법이나 다른 최적화 알고리즘을 사용합니다.
학습에 사용되는 손실 함수는 이진 교차 엔트로피(로그 손실이라고도 함)로, 예측 확률과 실제 레이블 간의 차이를 측정합니다. N개의 샘플에 대해 손실은 L = -1/N Σ [y_i log(p_i) + (1 - y_i) log(1 - p_i)]로 표현되며, 여기서 y_i는 실제 레이블(0 또는 1)입니다. 이 손실을 최소화하는 것은 로그 가능도를 최대화하는 것과 동일합니다. 선형 회귀가 최소 제곱법을 사용하는 것과 달리, 로지스틱 회귀는 최대 우도 추정을 사용하며, 이는 특정 조건에서 일관성과 효율성 같은 바람직한 통계적 속성을 제공합니다.
선형 모델과의 관계
로지스틱 회귀는 결정 경계가 입력 특성의 선형 함수이므로 선형 모델입니다. 그러나 선형 회귀가 연속 값을 예측하는 반면, 로지스틱 회귀는 확률을 예측합니다. 이는 선형 출력을 로지스틱 함수를 통해 비선형적으로 변환함으로써 달성됩니다. 모델은 다항 특성을 추가하거나 커널 방법을 사용하여 비선형 관계를 처리하도록 확장될 수 있지만, 핵심 모델은 파라미터에 대해 선형성을 유지합니다.
Machine learning의 더 넓은 맥락에서 로지스틱 회귀는 서포트 벡터 머신(SVM) 및 퍼셉트론과 같은 다른 선형 분류기와 자주 비교됩니다. SVM이 클래스 간 마진을 최대화하는 데 중점을 두는 반면, 로지스틱 회귀는 확률적 출력을 제공하며 자연스럽게 잘 보정됩니다. 이는 의료 진단이나 신용 평가와 같이 결정에 대한 신뢰도 측정이 필요한 경우에 특히 유용합니다. 로지스틱 회귀는 또한 Neural network과 같은 더 복잡한 모델의 구성 요소로 사용되며, 이진 분류 작업의 출력 계층에서 활성화 함수로 활용됩니다.
학습 및 최적화
로지스틱 회귀 모델을 학습시키는 것은 교차 엔트로피 손실을 최소화하는 가중치를 찾는 과정입니다. 이는 일반적으로 반복적 최적화 알고리즘을 통해 수행되며, 가장 일반적인 방법은 경사 하강법입니다. 경사 하강법에서는 손실의 가중치에 대한 음의 기울기 방향으로 가중치를 업데이트합니다. 학습률은 업데이트의 크기를 제어하며, 확률적 경사 하강법(SGD) 및 미니 배치 경사 하강법과 같은 변형은 대규모 데이터셋에서 효율성을 높이기 위해 사용됩니다.
과적합을 방지하기 위해 정규화가 자주 적용되며, 특히 특성의 수가 많을 때 중요합니다. 일반적인 정규화 기법으로는 L1(라소) 및 L2(릿지) 정규화가 있으며, 이는 손실 함수에 페널티 항을 추가합니다. L1 정규화는 일부 가중치를 0으로 만들어 희소성을 촉진하므로 특성 선택에 유용합니다. L2 정규화는 가중치를 0에 가깝게 축소하지만 정확히 0으로 만들지는 않습니다. 실제로 L2 정규화를 적용한 로지스틱 회귀는 많은 분류 문제에서 강력한 기준 모델로 널리 사용됩니다.
머신러닝에서의 응용
로지스틱 회귀는 다양한 분야에서 광범위하게 응용됩니다. 의료 분야에서는 증상과 검사 결과를 기반으로 환자의 질병 발병 가능성을 예측하는 데 사용됩니다. 금융 분야에서는 신용 평가와 사기 탐지에 활용됩니다. 마케팅에서는 고객 이탈 또는 구매 가능성을 예측하는 데 도움을 줍니다. 자연어 처리에서는 특성으로 단어 빈도나 TF-IDF 벡터를 사용하여 감정 분석과 스팸 탐지에 적용됩니다.
Artificial intelligence의 맥락에서 로지스틱 회귀는 더 복잡한 알고리즘과 비교하기 위한 기준 모델로 자주 사용됩니다. 모델의 계수는 다른 특성을 일정하게 유지할 때 특성의 한 단위 변화에 대한 결과의 로그 오즈로 해석될 수 있습니다. 이러한 해석 가능성은 딥 뉴럴 네트워크와 같은 블랙박스 모델에 비해 주요 장점입니다. 예를 들어, 의학 연구에서 로지스틱 회귀 계수는 특정 위험 요인의 영향을 정량화하는 데 유용합니다.
확장 및 변형
로지스틱 회귀의 여러 확장이 다중 클래스 분류와 비선형 경계를 처리하기 위해 존재합니다. 다항 로지스틱 회귀(소프트맥스 회귀라고도 함)는 소프트맥스 함수를 사용하여 이진 로지스틱 회귀를 두 개 이상의 클래스로 일반화합니다. 이는 Deep learning에서 다중 클래스 분류 작업에 널리 사용됩니다. 또 다른 변형으로는 순서형 로지스틱 회귀가 있으며, 이는 1에서 5까지의 평점과 같이 클래스에 자연스러운 순서가 있을 때 사용됩니다.
비선형 문제의 경우 로지스틱 회귀는 커널 방법과 결합되어 커널 로지스틱 회귀를 만들 수 있습니다. 이는 특성을 고차원 공간으로 암시적으로 매핑하여 원래 특성 공간에서 비선형 결정 경계를 찾을 수 있게 합니다. 그러나 이 접근법은 계산 비용이 더 많이 들고 신경망보다 덜 일반적으로 사용됩니다. 실제로 고도로 비선형적인 문제의 경우 실무자들은 종종 Neural network이나 Transformer (architecture) 기반 모델을 선택합니다. 이러한 모델은 원시 데이터에서 복잡한 표현을 학습할 수 있기 때문입니다.
신경망과의 비교
로지스틱 회귀는 은닉층이 없는 단일 레이어 신경망으로 볼 수 있습니다. 실제로 로지스틱 회귀는 하나의 출력 뉴런과 시그모이드 활성화 함수를 가진 신경망과 동일합니다. 이러한 연결은 고전 통계와 현대 딥러닝 사이의 다리 역할을 하기 때문에 중요합니다. 은닉층이 있는 신경망은 복잡한 비선형 관계를 모델링할 수 있지만, 로지스틱 회귀는 데이터가 선형적으로 분리 가능하거나 해석 가능성이 중요한 경우 강력하고 효율적인 기준 모델로 남아 있습니다.
대규모 Machine learning 시대에도 로지스틱 회귀는 온라인 광고 및 추천 시스템과 같은 많은 실제 시스템에서 여전히 사용됩니다. 이러한 시스템에서는 빠른 학습과 추론이 중요합니다. 예를 들어, 클릭률 예측에서 로지스틱 회귀는 사용자가 광고를 클릭할 확률을 예측하는 데 자주 사용됩니다. Deep learning 모델의 부상에도 불구하고, 로지스틱 회귀는 특히 표 형식 데이터 문제에서 경쟁력 있는 선택으로 남아 있습니다.
실용적 고려 사항
로지스틱 회귀를 적용할 때 몇 가지 실용적인 고려 사항이 있습니다. 특성의 스케일이 다르면 경사 하강법의 수렴 속도에 영향을 미칠 수 있으므로 특성 스케일링이 종종 필요합니다. 결측값과 이상값 처리도 중요합니다. 로지스틱 회귀는 극단값에 민감할 수 있기 때문입니다. 또한, 모델은 결과의 로그 오즈가 특성과 선형적으로 관련되어 있다고 가정하며, 이는 실제로 항상 성립하지 않을 수 있습니다. 이러한 경우 특성 엔지니어링이나 더 유연한 모델이 필요할 수 있습니다.
로지스틱 회귀 모델의 평가는 일반적으로 정확도, 정밀도, 재현율, F1 점수 및 ROC 곡선 아래 면적(AUC)과 같은 지표를 사용합니다. AUC는 모든 임계값에서 클래스를 구별하는 모델의 능력을 측정하므로 특히 유용합니다. 보정(calibration)도 중요한 측면입니다. 로지스틱 회귀 출력은 자연스럽게 잘 보정되어 있으며, 이는 예측 확률 0.8이 장기적으로 약 80%의 실제 빈도에 해당함을 의미합니다.
역사적 맥락과 영향
로지스틱 회귀의 발전은 Thomas G. Dietterich 및 Michael I. Jordan과 같은 통계학자와 머신러닝 연구자들의 영향을 받았습니다. 이들은 모델의 머신러닝 통합에 기여했습니다. Michael I. Jordan은 확률적 그래픽 모델과 통계와 머신러닝의 연결에 대한 연구로 잘 알려져 있습니다. 로지스틱 회귀는 Stanford AI Lab 및 MIT CSAIL과 같은 기관의 과정에서도 기본 주제로 다루어지며, 학생들에게 분류와 확률적 모델링을 소개하는 데 사용됩니다.
인공지능의 더 넓은 역사에서 로지스틱 회귀는 많은 현대 기법보다 앞서 있지만 여전히 관련성을 유지하고 있습니다. 새로운 분류 방법이 제안될 때, 개선을 입증하기 위해 로지스틱 회귀와 비교하는 것이 일반적입니다. 이러한 지속적인 관련성은 모델의 단순성, 효과성 및 해석 가능성을 증명합니다.
결론
로지스틱 회귀는 통계 모델링과 머신러닝의 초석입니다. 확률적 예측을 제공하는 능력과 해석 가능성 및 효율성을 결합하여 이진 분류를 위한 다재다능한 도구입니다. 딥 뉴럴 네트워크와 같은 더 복잡한 모델이 많은 분야에서 최첨단 결과를 달성했지만, 로지스틱 회귀는 여전히 귀중한 기준 모델이자 많은 실제 문제에 대한 실용적인 해결책입니다. 로지스틱 회귀를 이해하는 것은 머신러닝을 공부하는 모든 사람에게 필수적이며, 이는 신경망 및 확률적 그래픽 모델과 같은 고급 주제의 기초를 마련합니다.