선형 회귀는 스칼라 반응(종속 변수)과 하나 이상의 설명 변수(회귀 변수 또는 독립 변수) 사이의 관계를 추정하는 통계 모델이다. 설명 변수가 정확히 하나인 모델을 단순 선형 회귀라고 하며, 설명 변수가 두 개 이상인 모델을 다중 선형 회귀라고 한다. 이 용어는 단일 종속 변수가 아닌 여러 개의 상관된 종속 변수를 예측하는 다변량 선형 회귀와는 구별된다.
선형 회귀에서의 관계는 데이터로부터 추정되는 미지의 매개변수를 갖는 선형 예측 함수를 사용하여 모델링된다. 가장 일반적으로, 설명 변수의 값이 주어졌을 때 반응의 조건부 평균이 그 값들의 아핀 함수라고 가정하며, 덜 일반적으로는 조건부 중앙값이나 다른 분위수가 사용된다. 모든 형태의 회귀 분석과 마찬가지로, 선형 회귀는 모든 변수의 결합 확률 분포(다변량 분석의 영역)보다는 예측 변수가 주어졌을 때 반응의 조건부 확률 분포에 초점을 맞춘다.
선형 회귀는 또한 머신 러닝 알고리즘의 한 유형, 특히 레이블이 지정된 데이터 세트로부터 학습하고 데이터 포인트를 최적화된 선형 함수에 매핑하여 새 데이터 세트에 대한 예측에 사용할 수 있는 지도 학습 알고리즘이다. 선형 회귀는 미지의 매개변수에 선형적으로 의존하는 모델이 비선형 모델보다 적합하기 쉽고 결과 추정량의 통계적 속성을 결정하기 쉽기 때문에 엄밀하게 연구되고 실제 응용 분야에서 광범위하게 사용된 최초의 회귀 분석 유형이었다.
역사적 발전
선형 회귀의 핵심인 최소 제곱법은 1805년 Adrien-Marie Legendre에 의해 처음 출판되었고, 1809년 Carl Friedrich Gauss에 의해 독립적으로 출판되었다. Gauss는 1795년부터 이 방법을 사용했다고 주장했으며, 그의 연구는 정규 분포와 Gauss-Markov 정리의 이론적 토대를 확립했다. 초기 응용 분야에는 천문학적 계산, 측지학, 행성 궤도 예측이 포함되었다. 19세기 후반까지 선형 회귀는 사회 과학과 생물 과학의 표준 도구가 되었으며, 특히 유전의 맥락에서 "회귀"라는 용어를 도입한 Francis Galton과 상관 및 회귀 분석을 공식화한 Karl Pearson의 연구를 통해 확립되었다.
20세기에는 계산 방법의 발전과 통계학의 학문적 성장으로 선형 회귀의 적용 범위가 확장되었다. 1920년대 Ronald Fisher에 의한 행렬 표기법과 일반 선형 모델의 도입은 회귀를 분산 분석과 통합했다. 이후 1950년대와 1960년대 전자 컴퓨터의 보급으로 대규모 회귀 모델을 적합하는 것이 가능해졌고, 경제학, 공학, 자연 과학에서 광범위하게 사용되었다.
수학적 공식화
n개의 통계 단위로 구성된 데이터 세트가 주어지면, 선형 회귀 모델은 종속 변수 y와 회귀 변수 벡터 x 사이의 관계가 선형이라고 가정한다. 이 관계는 선형 관계에 노이즈를 추가하는 관측되지 않은 확률 변수인 교란 항 또는 오차 변수 ε을 통해 모델링된다. 모델은 다음과 같은 형태를 취한다:
y_i = β_0 + β_1 x_i1 + ... + β_p x_ip + ε_i = x_i^T β + ε_i, for i = 1, ..., n,
여기서 β는 미지의 매개변수 벡터이고, x_i^T β는 벡터 x_i와 β 사이의 내적이다. 종종 이 n개의 방정식은 행렬 표기법으로 y = Xβ + ε로 함께 쌓이며, 여기서 X는 n × (p+1) 설계 행렬이다.
매개변수 β는 일반적으로 비용 함수를 최소화하여 추정된다. 가장 일반적인 접근 방식은 잔차 제곱합을 최소화하는 일반 최소 제곱법(OLS)이다. OLS 추정량은 행렬 X^T X가 가역적일 때 β_hat = (X^T X)^{-1} X^T y의 닫힌 형태 해를 갖는다. Gauss-Markov 가정 하에서 OLS는 최적 선형 불편 추정량(BLUE)이다.
추정 방법 및 변형
선형 회귀 모델은 종종 최소 제곱법을 사용하여 적합되지만, 최소 절대 편차 회귀와 같은 다른 노름에서의 부적합을 최소화하거나 벌점화된 최소 제곱 비용 함수 버전을 최소화하여 적합될 수도 있다. 릿지 회귀는 계수에 L2-노름 페널티를 추가하여 계수를 0으로 축소하고 다중 공선성 문제를 해결하는 데 도움을 준다. 라쏘(최소 절대 수축 및 선택 연산자)는 L1-노름 페널티를 추가하여 일부 계수를 정확히 0으로 설정하여 변수 선택을 수행한다. 엘라스틱 넷은 두 페널티를 결합한다.
많은 큰 이상치가 있는 데이터 세트에서 비용 함수로 평균 제곱 오차(MSE)를 사용하면 MSE가 큰 오차에 더 높은 중요성을 부여하기 때문에 실제 데이터보다 이상치에 더 잘 맞는 모델이 생성될 수 있다. 따라서 데이터 세트에 큰 이상치가 많은 경우 Huber 손실이나 분위수 회귀와 같은 이상치에 강건한 비용 함수를 사용해야 한다. 반대로, 최소 제곱법은 예측 변수를 변환하여 다항 회귀와 같은 비선형 모델을 적합하는 데 사용될 수 있다. 따라서 "최소 제곱법"과 "선형 모델"이라는 용어는 밀접하게 연관되어 있지만 동의어는 아니다.
예측 및 추론에서의 응용
선형 회귀는 두 가지 광범위한 범주로 나뉘는 많은 실제 용도가 있다. 첫째, 목표가 예측 또는 예측(forecasting)인 경우, 선형 회귀는 오차나 분산을 최소화하여 관측된 데이터 세트에 예측 모델을 적합할 수 있다. 이러한 모델을 개발한 후, 반응 값 없이 설명 변수의 추가 값만 수집된 경우, 적합된 모델을 사용하여 반응을 예측할 수 있다. 이는 경제학, 금융, 환경 과학과 같은 분야에서 일반적이다.
둘째, 목표가 반응 변수의 변동을 설명하는 것인 경우, 선형 회귀 분석은 반응과 설명 변수 사이의 관계 강도를 정량화할 수 있다. 일부 설명 변수가 반응과 전혀 선형 관계가 없는지 여부를 결정하거나 중복 정보를 포함하는 설명 변수의 하위 집합을 식별할 수 있다. 이는 사회 과학, 역학, 마케팅 분석에서 널리 사용된다.
선형 회귀는 또한 머신 러닝의 기초 구성 요소 역할을 한다. 이는 더 복잡한 알고리즘의 기준선으로 자주 사용되는 단순하고 해석 가능한 모델이다. 신경망 및 딥 러닝과 같은 많은 현대 기법은 선형 모델의 일반화로 볼 수 있다. 지도 학습에서 선형 회귀는 출력이 연속 값인 회귀 작업에 사용되며, 의사 결정 트리나 서포트 벡터 머신과 같은 더 유연한 모델과 자주 비교된다.
한계 및 확장
선형 회귀는 반응과 예측 변수 사이의 선형 관계를 가정하지만, 이는 실제 데이터에서 성립하지 않을 수 있다. 이상치에 민감하며 예측 변수의 수가 관측치 수에 비해 많으면 과적합될 수 있다. 예측 변수 간의 다중 공선성은 계수 추정치의 분산을 증가시킬 수 있다. 이러한 문제를 해결하기 위해 다항 회귀, 일반화 선형 모델(GLM), 정규화 방법과 같은 확장이 개발되었다.
단순함에도 불구하고 선형 회귀는 가장 널리 사용되는 통계 도구 중 하나로 남아 있다. 해석 가능성과 계산 효율성 덕분에 통계학과 머신 러닝 교육 과정 모두에서 필수 요소가 되었다. 2020년대 현재, 선형 회귀는 데이터 과학의 기본 기법으로 계속 사용되며, 종종 탐색적 분석의 첫 단계이자 더 복잡한 알고리즘의 벤치마크 역할을 한다.