통계학과 머신러닝에서 앙상블 방법(ensemble methods)은 여러 학습 알고리즘을 결합하여 단일 구성 알고리즘 단독으로 달성할 수 있는 것보다 더 나은 예측 성능을 달성하는 것을 목표로 한다. 통계역학에서의 통계적 앙상블(종종 무한한 경우가 많음)과 달리, 머신러닝 앙상블은 유한한 대체 모델 집합으로 구성되지만, 그 대안들 사이의 유연한 구조를 허용한다. 핵심 아이디어는 다양하고 약한 모델들이 집계될 때 더 정확하고 강건한 예측을 생성할 수 있다는 것이다.
앙상블 학습은 Machine learning과 Artificial intelligence의 기본 개념으로, Deep learning부터 Large language model 시스템에 이르는 분야에서 널리 적용된다. 여러 모델을 활용함으로써, 앙상블은 분산을 줄이고, 편향을 완화하며, 일반화를 개선하여, 현대 예측 모델링의 초석이 된다.
개요
지도 학습 알고리즘은 가설 공간을 탐색하여 특정 문제에 적합한 가설을 찾는다. 이 공간에 잘 맞는 가설이 존재하더라도, 그것을 찾는 것은 어려울 수 있다. 앙상블은 여러 가설을 결합하여 이론적으로 더 나은 하나의 가설을 형성한다. 앙상블 학습은 특정 분류 또는 회귀 작업에 대해 두 개 이상의 알고리즘을 훈련시킨다. 앙상블 내의 알고리즘은 "기본 모델," "기본 학습기," 또는 "약한 학습기"라고 불린다. 이러한 기본 모델은 단일 모델링 알고리즘 또는 여러 다른 알고리즘을 사용하여 구성될 수 있다. 목표는 동일한 작업에 대해 다양한 약한 모델 집합을 훈련시켜, 각 약한 학습기가 높은 편향(낮은 예측 능력)과 높은 분산을 결과와 오류에서 가지도록 하는 것이다. 기본적으로, 앙상블은 더 나은 성능의 모델로 결합하기 위해 적어도 두 개의 고편향 및 고분산 모델을 훈련시킨다. 개별적으로는 만족스러운 결과를 생성하지 못할 약한 모델 집합은 결합되거나 평균화되어 단일 고성능, 정확하고, 저분산 모델을 생성한다
앙상블 학습은 일반적으로 배깅(bootstrap aggregating), 부스팅, 또는 스태킹/블렌딩 기법을 의미한다. 배깅은 훈련 관측치에서 무작위 표본을 생성하고 각 표본에 동일한 모델을 적합시켜 다양성을 창출하며, 이는 동질적 병렬 앙상블로 알려져 있다. 부스팅은 반복적인 프로세스를 따르며, 각 기본 모델을 이전 모델의 가중 오류에 대해 순차적으로 훈련시켜, 최종 오류를 줄이기 위한 가산 모델을 생성하며, 이는 순차적 앙상블 학습으로 알려져 있다. 스태킹 또는 블렌딩은 각각 독립적으로 훈련된 서로 다른 기본 모델로 구성되며, 이를 앙상블로 결합하여 이질적 병렬 앙상블을 생성한다. 일반적인 응용에는 랜덤 포레스트(배깅의 확장), 부스트 트리 모델, 및 그래디언트 부스트 트리 모델이 포함된다. 스태킹 응용은 종종 작업별로 특화되어 있으며, 예를 들어 클러스터링 기법을 모수적 및/또는 비모수적 방법과 결합하는 경우가 있다
앙상블을 평가하는 것은 일반적으로 단일 모델을 평가하는 것보다 더 많은 계산을 요구한다. 어떤 의미에서, 앙상블 학습은 추가 계산을 수행함으로써 성능이 낮은 학습 알고리즘을 보완한다. 대안적으로, 단일 비앙상블 모델로 더 많은 학습을 수행할 수도 있다. 앙상블은 계산, 저장, 또는 통신 자원의 동일한 증가를 두 개 이상의 방법에 사용함으로써, 단일 방법에 대한 자원을 늘리는 것보다 전체 정확도를 개선하는 데 더 효율적일 수 있다. 결정 트리와 같은 빠른 알고리즘은 앙상블 방법(예: 랜덤 포레스트)에서 일반적으로 사용되지만, 느린 알고리즘도 이점을 얻을 수 있다
유추적으로, 앙상블 기법은 합의 클러스터링 또는 이상 탐지와 같은 비지도 학습 시나리오에서도 사용되어 왔다.
앙상블 이론
경험적으로, 앙상블은 모델 간에 상당한 다양성이 있을 때 더 나은 결과를 내는 경향이 있다. 많은 방법이 다양성을 촉진하려고 한다. 비직관적이지만, 더 무작위적인 알고리즘(예: 무작위 결정 트리)은 매우 의도적인 알고리즘(예: 엔트로피 감소 결정 트리)보다 더 강한 앙상블을 생성할 수 있다. 다양한 강한 학습 알고리즘을 사용하는 것은 다양성을 촉진하기 위해 모델을 단순화하는 기법보다 더 효과적인 것으로 나타났다. 다양성은 훈련 단계에서 회귀 작업의 경우 상관관계를, 분류의 경우 교차 엔트로피와 같은 정보 측정을 사용하여 증가시킬 수 있다
이론적으로, 다양성 개념은 앙상블의 오류율 하한이 정확도, 다양성, 및 다른 항으로 분해될 수 있기 때문에 정당화된다.
기하학적 프레임워크
앙상블 학습은 회귀 및 분류를 포함하여 기하학적 프레임워크를 사용하여 설명될 수 있다. 전체 데이터셋에 대한 각 개별 분류기 또는 회귀기의 출력은 다차원 공간의 한 점으로 볼 수 있다. 목표 결과도 한 점이며, "이상점"이라고 불린다. 유클리드 거리는 성능(이상점까지의 거리)과 분류기 간의 비유사성(점 간의 거리)을 모두 측정한다. 이는 앙상블 학습을 결정론적 문제로 변환한다. 예를 들어, 모든 기본 분류기의 출력을 평균화하면 개별 모델의 평균보다 같거나 더 나은 결과를 얻을 수 있음이 증명될 수 있다. 최적 가중치를 사용하면, 가중 평균은 앙상블 내의 어떤 개별 분류기 또는 회귀기보다 더 나은 성능을 낼 수 있다
앙상블 크기
앙상블의 구성 분류기 수는 예측 정확도에 큰 영향을 미치지만, 이 문제를 다루는 연구는 제한적이다. 빅 데이터 스트림의 규모와 속도로 인해 앙상블 크기의 사전 결정은 온라인 앙상블 분류기에 중요하다. 대부분 통계적 검정이 적절한 구성 요소 수를 결정하는 데 사용되었다. 보다 최근에는, 이론적 프레임워크가 이상적인 구성 분류기 수가 존재하며, 그보다 많거나 적으면 정확도가 저하된다고 제안했다. 이를 "앙상블 구성의 수확 체감의 법칙"이라고 한다. 이 프레임워크는 클래스 레이블 수와 동일한 수의 독립적인 구성 분류기를 사용하는 것이 가장 높은 정확도를 제공함을 보여준다
일반적인 앙상블 유형
베이즈 최적 분류기
베이즈 최적 분류기는 가설 공간의 모든 가설을 사후 확률로 가중 평균한 이론적 앙상블이다. 이는 주어진 문제에 대해 가능한 최상의 분류기를 나타내지만, 종종 계산적으로 다루기 어렵다. 이는 다른 앙상블 방법을 평가하기 위한 기준을 제공한다
배깅
배깅 또는 부트스트랩 집계는 1994년 Leo Breiman에 의해 도입되었다. 이는 훈련 데이터에서 여러 부트스트랩 표본(복원 추출 무작위 표본)을 생성하고, 각 표본에 모델을 적합시키며, 회귀의 경우 예측을 평균화하거나 분류의 경우 투표를 수행하는 것을 포함한다. 랜덤 포레스트는 각 분할에서 무작위 특성 선택과 배깅을 결합한 대표적인 예이다. 배깅은 분산을 줄이고 과적합을 방지하는 데 도움이 된다
부스팅
부스팅은 분류하기 어려운 인스턴스에 초점을 맞춘 순차적 앙상블 기법이다. 1996년 Freund와 Schapire가 도입한 AdaBoost와 같은 알고리즘은 훈련 예제에 가중치를 할당하고, 잘못 분류된 인스턴스의 가중치를 증가시킨다. 각 새 모델은 가중된 데이터로 훈련되고, 예측은 가중 투표를 통해 결합된다. XGBoost와 LightGBM을 포함한 그래디언트 부스팅은 손실 함수를 최적화하면서 단계적 방식으로 모델을 구축한다. 부스팅은 편향을 줄이고 매우 정확한 모델을 생성할 수 있다
스태킹
스태킹 또는 스택 일반화는 여러 다양한 기본 모델을 훈련시키고 메타 모델을 사용하여 그들의 예측을 결합하는 것을 포함한다. 기본 모델은 원본 데이터로 훈련되고, 그들의 출력은 메타 모델의 특성으로 사용된다. 스태킹은 Neural network 모델과 결정 트리를 결합하는 것과 같이 다른 알고리즘을 사용할 수 있다. 이는 종종 단일 기본 모델보다 더 나은 성능을 제공한다
투표 및 평균화
단순 투표(분류용) 및 평균화(회귀용)는 일반적인 앙상블 방법이다. 이들은 여러 모델의 예측을 결합하며, 종종 동일한 가중치 또는 학습된 가중치를 사용한다. 이러한 방법은 단순하지만, 특히 모델이 다양할 때 효과적이다
현대 AI에서의 응용
앙상블 방법은 현대 AI 시스템에서 널리 사용된다. Deep learning에서, 신경망의 앙상블은 강건성과 정확도를 개선하는 데 사용된다. 예를 들어, Large language model 시스템은 종종 모델 앙상블을 사용하여 더 신뢰할 수 있는 출력을 생성한다. OpenAI, Anthropic, 및 Google DeepMind와 같은 회사는 연구와 제품에서 앙상블 기법을 사용한다. 컴퓨터 비전에서, 합성곱 신경망의 앙상블은 ImageNet과 같은 대회에서 우승했다. 자연어 처리에서, 트랜스포머의 앙상블은 번역 및 감정 분석과 같은 작업에서 성능을 개선한다
앙상블 방법은 이상 탐지에도 사용되며, 여러 탐지기를 결합하면 오탐지를 줄인다. 의료 진단에서, 분류기 앙상블은 정확도 개선에 도움이 된다. 자율 주행에서, 인식 모델의 앙상블은 안전성을 향상시킨다
도전 과제 및 미래 방향
이점에도 불구하고, 앙상블은 도전 과제에 직면한다. 이들은 더 많은 계산 자원과 저장 공간을 요구한다. 앙상블의 해석 가능성은 단일 모델보다 종종 낮다. 최적의 앙상블 크기와 다양성을 결정하는 것은 여전히 열린 문제이다. 미래 연구는 지식 증류(단일 모델이 앙상블을 모방하도록 훈련되는 방식) 및 앙상블 구성 요소를 위한 신경 아키텍처 탐색과 같은 효율적인 앙상블 방법에 초점을 맞춘다. AI가 계속 진화함에 따라, 앙상블은 성능과 신뢰성을 개선하기 위한 핵심 기법으로 남을 것이다
결론
모델 앙상블은 머신러닝에서 강력한 기법으로, 여러 모델을 결합하여 단일 모델보다 더 나은 성능을 달성한다. 다양성을 활용함으로써, 앙상블은 오류를 줄이고 일반화를 개선한다. 일반적인 방법에는 배깅, 부스팅, 및 스태킹이 있으며, 각각 고유한 강점이 있다. 앙상블은 Generative AI부터 자율 주행에 이르는 현대 AI 응용에서 필수적이다. 계산 자원이 증가함에 따라, 앙상블은 인공 지능을 발전시키는 데 계속 중요한 역할을 할 것이다.