abess(Adaptive Best Subset Selection, ABESS라고도 함)는 통계 모델링에서 최적 부분집합 선택 문제를 해결하기 위해 설계된 기계 학습 방법이다. 주어진 데이터셋과 예측 작업에 대해, 최적의 모델 성능에 중요한 특징 또는 변수를 결정한다. 이 방법은 2020년 Zhu에 의해 소개되었으며, 모델 크기를 적응적으로 동적으로 선택하여 정규화 매개변수 선택의 필요성을 제거한다. abess는 선형 회귀, 단일 지수 모델 및 기타 일반적인 예측 모델을 포함한 다양한 통계 및 기계 학습 작업에 적용할 수 있으며, 생물통계학에도 적용될 수 있다.
abess의 핵심 혁신은 다항식 시간 복잡도로 L0 노름 제약 하에서 최적 부분집합 선택을 수행하면서, 편향되지 않고 일관된 추정치를 제공하는 능력에 있다. 페널티 매개변수 조정이 필요한 전통적인 정규화 방법과 달리, abess는 반복 교환 알고리즘을 통해 지지 집합 크기를 적응적으로 결정하므로 고차원 데이터 분석에 특히 매력적이다.
기본 형태
abess의 기본 형태는 일반 선형 회귀에서 최적 부분집합 선택 문제를 다룬다. 이는 다항식 시간 복잡도와 편향되지 않고 일관된 추정치를 제공하는 특성을 특징으로 하는 L0 방법이다. 선형 회귀의 맥락에서, n개의 독립 표본 (x_i, y_i), i = 1, ..., n을 알고 있다고 가정하며, 여기서 x_i는 p차원 벡터이고 y_i는 스칼라 반응이다. X를 n x p 설계 행렬로, y를 n차원 반응 벡터로 정의하자. 일반 선형 회귀 모델은 y = Xβ + ε로 표현되며, 여기서 β는 계수 벡터이고 ε는 오차 항이다.
적절한 매개변수 β를 얻기 위해, 선형 회귀에 대한 손실 함수를 고려한다: L_n^LR(β; X, y) = (1/(2n)) ||y - Xβ||_2^2. abess에서 초기 초점은 L0 제약 하에서 이 손실 함수를 최적화하는 것이며, 다음 문제를 해결한다: ||β||_0 ≤ s라는 제약 하에서 L_n^LR(β; X, y)를 최소화한다. 여기서 s는 지지 집합의 원하는 크기를 나타내고, ||β||_0 = 합계(지시 함수(β_i ≠ 0))는 벡터의 L0 노름이다.
알고리즘 및 희생 개념
최적화 문제를 해결하기 위해, abess는 활성 집합과 비활성 집합 사이에서 동일한 수의 변수를 반복적으로 교환한다. 각 반복에서 희생 개념이 도입된다. 활성 집합의 각 변수 j에 대해, 희생 ξ_j는 변수 j가 활성 집합에서 제거될 때 손실 함수의 증가분으로 정의된다: ξ_j = L_n^LR(β_hat_{A \ {j}}) - L_n^LR(β_hat_A). 여기서 A는 현재 활성 집합이고 β_hat_A는 A로 제한된 추정 계수 벡터이다.
알고리즘은 활성 집합의 모든 변수에 대한 희생을 계산한 다음, 가장 작은 희생(최소 손실 증가로 제거할 수 있는 변수)을 가진 변수를 식별하는 방식으로 진행된다. 동시에 추가될 수 있는 비활성 집합의 후보 변수를 평가한다. 교환 단계는 가장 덜 중요한 활성 변수를 가장 유망한 비활성 후보로 대체하여 지지 크기 s를 유지한다. 이 과정은 일반적으로 손실 함수의 변화 또는 활성 집합의 안정성으로 측정되는 수렴까지 계속된다.
적응형 모델 크기 선택
abess의 독특한 특징은 모델 크기 s의 적응형 선택으로, 변수 수를 선택하기 위해 교차 검증이나 정보 기준의 필요성을 제거한다. 이 방법은 작은 지지 크기로 시작하여 손실 함수의 개선을 모니터링하면서 점차 크기를 증가시킨다. 적합도와 모델 복잡성 사이의 균형에 기반한 기준을 사용하며, 종종 수정된 베이즈 정보 기준(BIC) 또는 데이터에 적응하는 유사한 페널티를 사용한다.
이 적응형 접근 방식은 s 값의 그리드에 대해 모델을 피팅하는 것을 피하기 때문에 계산 효율적이다. 대신 abess는 s가 증가함에 따라 해의 경로를 활용하여 이전 반복의 계산을 재사용한다. 최종 모델 크기는 적합의 한계 개선이 임계값 아래로 떨어지거나 정보 기준이 최소값에 도달할 때 선택된다.
이론적 특성
abess는 다른 변수 선택 방법과 구별되는 몇 가지 이론적 보장을 제공한다. 표준 정규성 조건 하에서, 이 방법은 추정 일관성과 변수 선택 일관성을 달성하며, 이는 표본 크기가 증가함에 따라 추정 계수가 실제 값으로 수렴하고 선택된 지지 집합이 실제 활성 집합과 일치할 확률이 1에 접근함을 의미한다. 다항식 시간 복잡도는 일반적으로 NP-난해인 완전 탐색 최적 부분집합 선택에 비해 상당한 이점이다.
편향되지 않은 특성은 L0 페널티가 선택된 변수의 계수를 축소하지 않기 때문에 발생하며, 이는 축소를 통해 편향을 도입하는 라소와 같은 L1 기반 방법과 대조된다. 이는 해석이나 하류 추론에 편향되지 않은 계수 추정치가 중요할 때 abess를 특히 매력적으로 만든다.
회귀 및 그 이상의 응용
abess는 선형 회귀를 넘어 다양한 통계 모델에 적용할 수 있다. 단일 지수 모델의 맥락에서, abess는 알려지지 않은 연결 함수를 추정하면서 관련 공변량을 선택하도록 확장될 수 있다. 이 방법은 손실 함수가 그에 따라 수정되는 로지스틱 및 포아송 회귀를 포함한 일반화 선형 모델에 적용되었다. 생물통계학에서 abess는 소수의 예측 유전자 또는 임상 변수를 식별하는 것이 중요한 바이오마커 발견에 사용되었다.
이 방법은 예측 변수의 수 p가 표본 크기 n을 크게 초과할 수 있는 고차원 설정도 처리한다. 이러한 시나리오에서 적응형 선택 메커니즘과 교환 알고리즘은 계산 가능성을 유지하면서 신뢰할 수 있는 변수 선택을 제공한다.
소프트웨어 구현
abess 방법은 오픈 소스 R 패키지(역시 abess라는 이름)로 구현되어 있으며, 선형 회귀, 로지스틱 회귀 및 기타 모델에 대한 함수를 제공한다. 패키지에는 핵심 알고리즘에 대한 효율적인 C++ 코드가 포함되어 있어 대규모 데이터셋에 적합하다. 사용자는 최대 지지 크기를 지정하거나 적응형 절차가 자동으로 결정하도록 할 수 있다. 패키지는 또한 해 경로 및 진단 플롯을 위한 시각화 도구를 제공한다.
다른 방법과의 비교
라소 및 엘라스틱 넷과 같은 정규화 기반 접근 방식과 비교하여, abess는 편향되지 않은 추정치와 조정 매개변수 없이 자동 모델 크기 선택의 이점을 제공한다. 그러나 매우 큰 p의 경우 라소보다 계산 집약적일 수 있지만, 다항식 시간 복잡도가 이 문제를 완화한다. 직교 매칭 추적과 같은 탐욕 알고리즘과 비교하여, abess는 국소 최적값을 벗어날 수 있는 더 원리적인 교환 메커니즘을 제공한다.
한계 및 확장
abess는 강력하지만, 선형 모델 또는 그 확장이 성립하고 L0 제약이 문제에 적절하다고 가정한다. 고도로 비선형적인 관계의 경우, 기저 확장 또는 커널 방법을 사용한 확장이 필요할 수 있다. 특징 선택이 훈련 과정에 통합되는 딥 러닝 아키텍처 및 신경망 설정을 포함한 더 복잡한 모델로 abess를 확장하는 연구가 계속되고 있다.
같이 보기
참고 문헌
Zhu, J. (2020). abess: Adaptive Best Subset Selection. (원본 소개 논문)
외부 링크
- CRAN의 R 패키지 abess (지침에 따라 여기에 링크하지 않음)