개념 드리프트(concept drift)란 머신러닝 모델이 예측하도록 훈련된 입력 데이터와 목표 변수 사이의 근본적인 관계가 변화하는 것을 의미한다. 시간이 지남에 따라 데이터 스트림의 통계적 속성이 변할 수 있으며, 이로 인해 한때 정확했던 모델이 시대에 뒤처져 신뢰할 수 없는 예측을 생성하게 될 수 있다. 이는 데이터 드리프트(입력 분포만의 변화)와는 구별되며, 동적 환경에서 작동하는 응용 머신러닝 및 인공지능 시스템의 근본적인 문제이다.
개념 드리프트는 많은 영역에 걸쳐 만연한 문제이다. 예를 들어, 금융 사기 탐지에서는 사기범들이 대응 조치에 적응함에 따라 사기 거래의 패턴이 진화한다. 전자상거래에서는 소비자 선호도와 계절적 구매 습관이 변하여 브라우징 기록과 구매 결정 같은 특징 간의 관계를 바꾼다. 의료 분야에서는 환자 인구 통계와 질병 유병률이 시간에 따라 변하여 진단 모델에 영향을 미친다. 이 현상은 특정 산업에 국한되지 않으며, 과거 데이터에 의존하여 미래 예측을 하는 모든 시스템에 영향을 준다.
개념 드리프트의 유형
개념 드리프트는 시간적 특성과 변화의 성격에 따라 분류할 수 있다. 가장 일반적인 분류 체계는 급격한(또는 갑작스러운) 드리프트, 점진적 드리프트, 점진적 전환 드리프트, 그리고 반복적 드리프트를 구분한다. 급격한 드리프트는 금융 거래 패턴을 즉시 바꾸는 새로운 규정과 같이 기본 개념이 순간적으로 변할 때 발생한다. 점진적 드리프트는 소비자 취향의 느린 변화처럼 시간에 따라 누적되는 일련의 작은 변화를 포함한다. 점진적 전환 드리프트는 유사하지만, 새 개념이 점차 지배적으로 되면서 이전 개념과 새 개념이 공존하는 전환 기간을 포함한다. 반복적 드리프트는 소매 판매나 교통 흐름의 계절적 패턴처럼 개념이 주기적으로 재등장하는 경우를 말한다.
또 다른 중요한 구분은 실제 드리프트와 가상 드리프트 사이의 차이이다. 실제 드리프트는 입력 특징이 주어졌을 때 목표 변수의 사후 분포가 변하여, 입력에서 출력으로의 실제 매핑이 이동했음을 의미한다. 반면 가상 드리프트는 입력 분포가 변하지만 기본 매핑은 동일하게 유지될 때 발생한다. 가상 드리프트는 모델의 결정 경계가 입력 분포에 민감하다면 성능을 저하시킬 수 있지만, 실제 드리프트보다 처리하기 쉬운 경우가 많다.
탐지 방법
개념 드리프트를 탐지하는 것은 모델 성능을 유지하는 데 있어 중요한 첫 단계이다. 방법은 크게 지도 및 비지도 접근 방식으로 나눌 수 있다. 지도 탐지 방법은 레이블이 있는 데이터를 필요로 하며 시간에 따른 모델의 예측 오류 또는 기타 성능 지표를 모니터링한다. 일반적인 기법으로는 오류율 같은 신호의 평균 변화를 감지하는 페이지-힝클리 검정이 있다. 또 다른 인기 있는 방법은 온라인 오류율을 추적하고 지금까지 관찰된 최소 오류에 상대적인 임계값을 초과할 때 경보를 발생시키는 드리프트 탐지 방법(DDM)이다. 조기 드리프트 탐지 방법(EDDM)은 분류 오류 간의 거리에 초점을 맞춰 DDM을 개선하여 점진적 드리프트에 더 민감하게 만든다.
비지도 방법은 레이블을 필요로 하지 않으며 대신 입력 데이터 또는 모델 출력의 분포를 모니터링한다. 이러한 방법은 종종 콜모고로프-스미르노프 검정이나 젠슨-섀넌 발산 같은 통계적 검정을 사용하여 현재 데이터 분포를 참조 분포와 비교한다. 더 정교한 접근 방식은 딥러닝 아키텍처를 사용하여 특징 공간의 이상 징후를 감지한다. 그러나 비지도 방법은 실제 레이블에 접근할 수 없기 때문에 가상 드리프트만 탐지할 수 있고 실제 드리프트는 탐지할 수 없다.
적응 전략
드리프트가 탐지되면 모델은 정확도를 유지하기 위해 적응해야 한다. 가장 간단한 접근 방식은 최근 데이터 창에서 모델을 처음부터 다시 훈련하고, 시대에 뒤처질 수 있는 이전 데이터를 버리는 것이다. 이는 슬라이딩 윈도우 접근 방식으로 알려져 있으며, 여기서 창 크기는 핵심 하이퍼파라미터이다. 작은 창은 모델을 드리프트에 더 반응적으로 만들지만 제한된 데이터로 높은 분산을 초래할 수 있으며, 큰 창은 더 많은 안정성을 제공하지만 반응이 느릴 수 있다.
더 정교한 방법으로는 새 데이터가 도착할 때 모델을 점진적으로 업데이트하는 온라인 학습이 있다. 학습률 스케줄이 있는 확률적 경사 하강법 같은 알고리즘을 사용하여 모델 가중치를 지속적으로 업데이트할 수 있다. 앙상블 방법도 인기 있는데, 여러 모델이 서로 다른 시간 창이나 학습률로 훈련되고, 그 예측이 가중 투표 방식으로 결합된다. 가중치는 각 모델의 최근 성능에 따라 조정될 수 있어 앙상블이 드리프트에 적응할 수 있다. 또 다른 전략은 드리프트 탐지를 사용하여 필요한 경우에만 재훈련 이벤트를 트리거하여 불필요한 계산 비용을 피하는 것이다.
도전 과제 및 미해결 문제
수십 년간의 연구에도 불구하고 개념 드리프트는 여전히 어려운 문제로 남아 있다. 주요 도전 과제 중 하나는 적응성과 안정성 사이의 균형이다. 너무 빨리 적응하는 모델은 노이즈에 과민 반응할 수 있으며, 너무 느리게 적응하는 모델은 중요한 변화를 놓칠 수 있다. 이는 종종 안정성-가소성 딜레마라고 불린다. 또 다른 도전 과제는 많은 실제 응용 분야에서 레이블이 있는 데이터가 부족하여 실제 드리프트를 탐지하거나 적응된 모델의 성능을 평가하기 어렵다는 점이다.
현대 대규모 언어 모델 및 생성형 AI 시스템의 맥락에서 개념 드리프트는 새로운 차원을 띤다. 이러한 모델은 종종 방대한 정적 데이터 세트로 훈련되고 사용자 행동과 언어 사용이 진화하는 환경에 배포된다. 예를 들어, 2023년 데이터로 훈련된 챗봇은 2025년에 등장하는 새로운 속어나 참조를 이해하지 못할 수 있다. 이로 인해 지속적 학습 및 모델 업데이트 기법에 대한 관심이 생겼지만, 대규모 모델을 재훈련하는 계산 비용은 상당하다. 2020년대 중반 현재, 새로운 정보를 학습할 때 이전에 학습한 작업의 성능을 저하시키는 파괴적 망각 없이 이러한 모델을 효율적으로 적응시킬 수 있는 방법에 대한 연구가 진행 중이다.
관련 분야 및 미래 방향
개념 드리프트는 온라인 학습, 지속적 학습, 도메인 적응을 포함한 머신러닝의 다른 영역과 밀접하게 관련되어 있다. 또한 통계 및 신호 처리에서 비정상 환경 연구와 교차한다. 미래 연구 방향으로는 제한된 레이블로 작동하는 더 견고한 드리프트 탐지 방법 개발, 여러 유형의 드리프트를 동시에 처리할 수 있는 적응형 알고리즘 생성, 그리고 드리프트가 발생한 이유를 설명할 수 있는 시스템 설계가 포함되며, 이는 AI 시스템에 대한 신뢰 구축에 중요하다. AI가 자율 주행 및 의료 진단 같은 더 중요한 응용 분야에 배포됨에 따라 개념 드리프트를 처리하는 능력은 안전성과 신뢰성을 보장하는 데 점점 더 중요해질 것이다.
참고 문헌
- Gama, J., Žliobaitė, I., Bifet, A., Pechenizkiy, M., & Bouchachia, A. (2014). A survey on concept drift adaptation. ACM Computing Surveys.
- Widmer, G., & Kubat, M. (1996). Learning in the presence of concept drift and hidden contexts. Machine Learning.
- Dries, A., & Rückert, U. (2009). Adaptive concept drift detection. Statistical Analysis and Data Mining.