그래디언트 부스팅은 회귀 및 분류 작업에 사용되는 머신러닝 기법이다. 이는 여러 개의 약한 예측 모델을 결합하여 하나의 강력한 모델을 만드는 부스팅 방법 계열에 속한다. 전통적인 부스팅이 잔차에 모델을 적합시키는 것과 달리, 그래디언트 부스팅은 함수 공간에서 작동하며 의사 잔차를 대상으로 하여 임의의 미분 가능한 손실 함수를 최적화할 수 있게 한다. 약한 학습기가 결정 트리인 경우, 그 결과 알고리즘은 그래디언트 부스팅 트리라고 불리며, 일반적으로 랜덤 포레스트보다 예측 정확도가 높다.
이 방법은 약한 모델, 일반적으로 데이터에 대한 가정이 거의 없는 단순한 결정 트리들의 앙상블로 예측 모델을 생성한다. 모델은 반복적으로 구축되며, 각각의 새로운 구성 요소는 이전 앙상블의 오차를 교정한다. 이러한 접근 방식은 초기 부스팅 알고리즘을 일반화한 것으로, 현대 머신러닝의 초석이 되었으며 산업과 연구 분야에서 널리 사용된다.
알고리즘 개요
그래디언트 부스팅은 M단계에 걸쳐 모델을 구축한다. 각 단계 m에서 현재 모델 F_m은 새로운 추정기 h_m을 추가하여 개선된다. 최소 제곱 회귀의 경우, 목표는 크기 n의 훈련 세트에 대해 평균 제곱 오차를 최소화하는 것이다. 처음에는 F_1이 단순히 목표 값의 평균을 예측할 수 있다. 이후 각 단계에서는 관측 값과 현재 예측 값의 차이인 잔차를 계산하고, 일반적으로 얕은 결정 트리인 약한 학습기를 이러한 잔차에 적합시킨다. 업데이트된 모델은 F_{m+1}(x) = F_m(x) + h_m(x)가 된다. 이 과정은 원하는 단계 수에 도달하거나 성능이 더 이상 향상되지 않을 때까지 반복된다.
일반적인 손실 함수의 경우, 알고리즘은 모델 예측에 대한 손실 함수의 음의 기울기인 의사 잔차를 사용한다. 이를 통해 로지스틱 손실을 사용한 분류나 쌍별 손실을 사용한 순위 학습을 포함한 다양한 작업을 처리할 수 있다.
그래디언트 부스팅 트리
약한 학습기로 결정 트리를 사용할 때, 그 알고리즘은 그래디언트 부스팅 트리라고 알려져 있다. 각 트리는 일반적으로 잎의 수를 제한하여 작게 유지함으로써 모델의 해석 가능성을 높이고 과적합을 방지한다. 트리는 순차적으로 추가되며, 각 트리는 이전 앙상블이 남긴 오차에 초점을 맞춘다. 이러한 접근 방식은 표 형식 데이터에서 최첨단 성능을 자주 발휘하며, 랜덤 포레스트를 능가하고 때로는 구조화된 데이터 작업에서 딥러닝 모델보다 나은 결과를 보여준다.
주요 하이퍼파라미터로는 트리의 수, 각 트리의 최대 깊이, 각 트리의 기여도를 축소하는 학습률, 그리고 확률적 그래디언트 부스팅을 위한 서브샘플링 비율이 있다. L1 및 L2 정규화와 같은 기법도 잎 가중치에 일반적으로 적용된다.
응용 및 구현
그래디언트 부스팅은 신용 평가, 클릭률 예측, 검색 순위, 생물정보학 등 다양한 분야에서 성공적으로 적용되었다. 인기 있는 오픈소스 라이브러리로는 XGBoost, LightGBM, CatBoost가 있으며, 이들은 병렬 훈련과 GPU 지원을 갖춘 최적화된 구현을 제공한다. 이러한 도구 덕분에 그래디언트 부스팅은 실무자에게 널리 접근 가능해졌고, 경진 대회와 프로덕션 시스템에서 폭넓게 채택되었다.
이 방법의 유연성과 뛰어난 예측 성능 덕분에 머신러닝 워크플로우에서 표준 벤치마크가 되었으며, 구조화된 데이터에서는 종종 신경망 모델과 경쟁한다.
다른 방법과의 관계
그래디언트 부스팅은 랜덤 포레스트 및 AdaBoost와 같은 다른 앙상블 방법과 관련이 있다. 랜덤 포레스트가 트리를 독립적으로 구축하고 예측을 평균하는 반면, 그래디언트 부스팅은 각 트리가 이전 오차를 교정하도록 순차적으로 구축한다. 이러한 차이로 인해 그래디언트 부스팅은 종종 더 높은 정확도를 달성하지만, 과적합을 피하기 위해 세심한 하이퍼파라미터 튜닝이 필요하다.
함수 공간 최적화 관점은 그래디언트 부스팅을 최적화 이론과 연결하며, 이 개념은 인공지능 및 통계 학습의 다른 영역에도 영향을 미쳤다. 연구자들은 다중 출력 문제, 생존 분석, 잔여 학습을 통한 신경망 훈련 등으로 이 아이디어를 확장했다.
한계 및 고려 사항
장점에도 불구하고 그래디언트 부스팅에는 한계가 있다. 노이즈가 많은 데이터와 이상치에 민감할 수 있으며, 트리의 수가 너무 많거나 트리가 너무 깊으면 과적합될 위험이 있다. 특히 대규모 데이터 세트에서는 훈련이 계산 집약적일 수 있지만, 현대 구현은 효율적인 알고리즘과 하드웨어 가속으로 이를 완화한다. 단일 결정 트리보다 해석 가능성이 낮지만, 특성 중요도 측정과 부분 의존성 플롯을 통해 통찰력을 얻을 수 있다.
다른 머신러닝 기법과 마찬가지로 하이퍼파라미터와 손실 함수의 선택은 성능에 큰 영향을 미치며, 실무자들은 종종 교차 검증을 통해 모델을 튜닝한다.