경험적 동적 모델링(EDM)은 복잡하고 비선형적인 동적 시스템의 동작을 이해하고 예측하기 위한 데이터 기반 접근 방식이다. 고정된 함수 형태(예: 선형 회귀)를 가정하는 전통적인 통계 모델과 달리, EDM은 관측된 시계열만으로 기저 시스템의 상태 공간을 재구성한다. 이는 단일 스칼라 시계열이 충분히 큰 임베딩 차원에서 시스템의 어트랙터를 복원하기 위해 고차원 공간에 임베딩될 수 있다는 타켄스 정리에 근거한다. EDM은 시스템이 종종 비정상적이고 혼돈적 동역학을 보이는 생태학, 역학, 기후학, 신경과학 전반에 적용되어 왔다.
EDM의 핵심 아이디어는 모수적 모델을 적합시키는 대신 관측된 데이터를 시스템 자체로 취급하는 것이다. 시계열에서 지연 좌표 임베딩을 구성함으로써, EDM은 실제 상태 공간의 그림자를 만든다. 예측은 이 재구성된 공간에서 가장 가까운 이웃을 찾고 그 궤적을 앞으로 투영함으로써 이루어진다. 이 접근 방식은 명시적 방정식을 필요로 하지 않으므로, 지배 메커니즘이 알려져 있지 않거나 분석적으로 모델링하기에는 너무 복잡한 시스템에 특히 적합하다.
역사적 발전
EDM의 이론적 기초는 1980년대에 마련되었으며, 1981년 플로리스 타켄스가 단일 관측값에서 지연 임베딩이 시스템의 동역학을 재구성할 수 있음을 증명한 데 이어졌다. 1990년대 초, 조지 스기하라와 로버트 메이 같은 연구자들은 이러한 아이디어를 생태 시계열에 적용하여 비선형 예측이 혼돈과 확률적 동역학을 구별할 수 있음을 입증했다. 스기하라의 1994년 "혼돈과 측정 오차를 구별하는 방법으로서의 비선형 예측" 논문은 생물학적 시스템의 단기 예측에서 EDM이 선형 모델보다 우수할 수 있음을 보여주며 중추적인 역할을 했다.
이후 수십 년 동안 EDM은 심플렉스 투영과 S-맵(순차적 국소 가중 전역 선형 맵)과 같은 방법으로 확장되었다. 이러한 기법들은 예측과 변수 간 인과 관계 식별을 모두 가능하게 했다. 2012년, 스기하라와 동료들은 EDM 원리를 사용하여 시계열에서 인과성을 추론하는 수렴 교차 매핑(CCM)을 도입했으며, 이는 생태학과 기후 과학에서 널리 사용되게 되었다.
핵심 방법
EDM은 모두 동일한 임베딩 원리에 기반한 여러 관련 기법을 포함한다. 가장 기본적인 것은 심플렉스 투영으로, 재구성된 상태 공간에서 단일 최근접 이웃을 사용하여 예측을 수행한다. 이웃의 수는 다양하게 할 수 있으며, 최적의 임베딩 차원은 종종 교차 검증을 통해 선택된다. S-맵은 대상 점까지의 거리로 가중된 국소 선형 모델을 적합시켜 심플렉스를 개선하며, 비선형성을 더 효과적으로 포착할 수 있다.
수렴 교차 매핑(CCM)은 EDM에서 파생된 인과 추론 도구이다. 이는 한 시계열이 다른 시계열에 대한 정보를 포함하는지 여부를, 더 많은 과거 데이터가 포함됨에 따라 한 변수의 예측 능력이 향상되는지 검토함으로써 테스트한다. 변수 X가 Y를 유발한다면, Y의 상태는 X에 대한 정보를 포함해야 하며, CCM은 약한 결합이나 잡음이 있는 경우에도 이를 감지할 수 있다. CCM은 정어리-멸치 개체군 동역학부터 해수면 온도와 대기 CO2 간의 상호작용에 이르기까지 다양한 문제에 적용되어 왔다.
응용 분야
생태학에서 EDM은 개체군 밀도 예측, 종 간 상호작용 감지, 체제 전환 이해에 사용되어 왔다. 예를 들어, 태평양 정어리와 멸치 개체군에 대한 연구는 EDM을 사용하여 환경 요인과의 비선형 관계를 밝혀냈다. 역학에서 EDM은 인플루엔자와 뎅기열 같은 전염병 발생을 예측하기 위해 사례 보고에서 전파 동역학을 재구성하는 데 적용되어 왔다.
기후 과학에서 EDM은 지구 시스템의 원격 연결과 피드백 루프를 분석하는 데 도움을 준다. 연구자들은 CCM을 사용하여 엘니뇨-남방진동이 전 지구 온도 패턴에 미치는 인과적 영향을 연구해 왔다. 신경과학에서 EDM은 신경 스파이크 열과 뇌파 신호를 분석하여 뇌 활동의 기저에 있는 비선형 동역학을 밝히는 데 사용되어 왔다. 이 방법은 금융 시계열 분석에도 사용되지만, 시장의 낮은 신호 대 잡음비로 인해 주의를 기울여 사용된다.
다른 접근 방식과의 비교
EDM은 Deep learning이나 Neural network 접근 방식과 같은 기존의 기계 학습 방법과 근본적으로 다르다. 이러한 방법들은 많은 양의 데이터를 필요로 하고 종종 정상성을 가정하는 반면, EDM은 짧고 잡음이 많으며 비정상적인 시계열을 위해 설계되었다. 전통적인 의미의 훈련을 필요로 하지 않으며, 대신 예측을 위해 데이터를 직접 사용한다. 이는 EDM을 더 해석 가능하게 만들고 데이터가 부족할 때 과적합에 덜 취약하게 한다.
그러나 EDM에는 한계가 있다. 시스템이 결정론적이고 관측 변수가 상태의 매끄러운 함수라고 가정한다. 측정 잡음은 성능을 저하시킬 수 있으며, 임베딩 차원이 비현실적으로 되는 매우 고차원 시스템에서는 어려움을 겪는다. 외생 변수를 쉽게 통합할 수 있는 Machine learning 모델과 달리, EDM은 일반적으로 다변량 시계열을 신중하게 처리해야 한다.
소프트웨어 및 실용적 고려 사항
R의 rEDM 패키지와 Python의 pyEDM 라이브러리는 심플렉스, S-맵, CCM의 구현을 제공한다. 이러한 도구들은 EDM을 다양한 분야의 연구자들이 접근할 수 있게 만들었다. 실용적인 단계로는 최적 임베딩 차원 결정(종종 거짓 최근접 이웃을 통해), 이웃 수 선택, 보류된 데이터에 대한 예측 검증이 포함된다. 교차 검증은 과적합을 피하기 위해 필수적이며, 방법의 성능은 일반적으로 ARIMA 같은 선형 기준선과 비교된다.
현재 연구 및 미래 방향
최근 연구는 EDM을 다변량 임베딩, 결측 데이터, 비균일 시간 샘플링을 처리하도록 확장했다. 연구자들은 또한 Artificial intelligence 기법과 EDM을 결합하고 있으며, 예를 들어 Neural network 인코더를 사용하여 원시 데이터에서 임베딩을 학습하는 방법을 모색하고 있지만, 이는 여전히 활발한 탐구 영역이다. EDM과 인과 발견 및 Machine learning의 통합은 메커니즘 모델을 사용할 수 없는 복잡한 시스템에서 특히 유망한 전망이다.
2020년대 초 현재, EDM은 정량 생태학자의 도구 상자에서 여전히 귀중한 도구로 남아 있으며, 그 원리는 로봇 공학과 경제학 같은 다양한 분야에 영향을 미쳤다. 데이터 기반의 방정식 없는 모델링에 대한 강조는 복잡계 과학에 대한 관심 증가와 변화하는 세계에서 강건한 예측의 필요성과 일치한다.