군 방법(GMDH)은 데이터로부터 자동으로 다항식 모델을 구성하는 귀납적 모델링 접근 방식이다. 이 방법은 1968년 소련에서 알렉세이 이바흐넨코가 개발했으며, 기본 물리적 과정에 대한 사전 지식 없이 복잡한 시스템을 모델링하는 방법으로 제시되었다. GMDH는 가장 관련성 높은 입력 변수를 선택하고 이를 일반적으로 2차 함수인 단순한 다항식 함수로 결합하여 검증 데이터에 대한 예측 오차를 최소화함으로써 모델을 반복적으로 구축하기 때문에 자기 조직화 방법으로 자주 설명된다.
GMDH는 머신 러닝 기법의 광범위한 계열에 속하며, 계층적 순방향 구조로 인해 딥 러닝의 초기 형태로 간주된다. 역전파와 경사 기반 최적화에 의존하는 기존의 신경망과 달리, GMDH는 정규성 기준과 같은 외부 기준에 기반한 휴리스틱 선택 과정을 사용하여 각 계층에서 유지할 노드를 결정한다. 이는 소표본 문제와 잡음이 많은 환경에서 비선형 관계를 모델링하는 데 특히 효과적이다.
역사적 발전
이 방법은 1968년 알렉세이 이바흐넨코에 의해 도입되었으며, 사이버네틱스와 자기 조직화 시스템에 대한 초기 연구를 기반으로 한다. 우크라이나 키이우에 있는 사이버네틱스 연구소에서의 이바흐넨코의 연구는 인간의 개입 없이 데이터로부터 복잡한 시스템의 구조를 자동으로 발견할 수 있는 모델을 만드는 것을 목표로 했다. 이 접근 방식은 1970년대와 1980년대에 특히 소련과 동유럽에서 경제학, 생태학, 공학 분야의 응용으로 인기를 얻었다.
GMDH는 현대 딥 러닝 모델과 유사한 계층 구조를 사용한 최초의 방법 중 하나였지만, 경사 하강법에 의존하지 않는다는 점에서 차이가 있었다. 대신 조합 선택 과정을 사용했는데, 이는 계산 집약적이지만 적절히 정규화되면 과적합에 강했다. 이 방법은 이후 신경망과 기호 회귀의 발전에 영향을 주었지만, 1990년대까지 서양에서는 상대적으로 덜 알려져 있었다.
알고리즘 및 구조
GMDH 알고리즘은 계층별 방식으로 작동한다. 각 계층에서는 입력 변수(또는 이전 계층의 출력)를 쌍으로 결합하고 일반적으로 y = a + bx_i + cx_j + dx_i^2 + ex_j^2 + fx_ix_j 형태의 2차 다항식을 적합시켜 후보 모델을 생성한다. 계수는 데이터의 훈련 하위 집합에서 최소 제곱법을 사용하여 추정된다.
계층에 대한 모든 가능한 후보 모델을 생성한 후, 알고리즘은 평균 제곱 오차 또는 정규성 기준과 같은 외부 기준을 사용하여 검증 하위 집합에서 각 후보를 평가한다. 최상의 성능을 보이는 후보만 유지되어 다음 계층으로 전달된다. 이 과정은 검증 오차가 더 이상 감소하지 않을 때까지 계속되며, 이 시점에서 알고리즘은 최종 계층에서 최상의 모델을 선택한다. 결과는 방정식 집합으로 표현될 수 있는 다항식 네트워크로, 많은 블랙박스 머신 러닝 모델과 비교하여 해석 가능하다.
구조는 순방향 신경망과 유사하지만, 핵심 차이점은 구조가 사전에 고정되지 않고 데이터에 의해 결정된다는 점이다. 이러한 자기 조직화 속성은 GMDH의 특징이며 전통적인 신경망 훈련 방법과 구별된다.
응용 및 사용 사례
GMDH는 다양한 분야에 적용되었다. 공학에서는 공정 식별, 고장 감지, 제어 시스템 설계에 사용되었다. 경제학과 금융에서는 주가, 환율, 거시경제 지표 예측에 활용되었다. 환경 과학에서는 GMDH 모델이 대기 질, 수질, 기상 패턴을 예측하는 데 사용되었다.
주목할 만한 응용 중 하나는 시계열 예측을 위한 인공 지능 및 머신 러닝 분야이다. GMDH가 관련 시차 변수를 자동으로 선택하는 능력은 동적 시스템을 모델링하는 데 적합하다. 또한 생물정보학의 유전자 발현 분석과 의학의 진단 지원에도 사용되었다.
딥 러닝 및 대규모 언어 모델과 같은 더 강력한 방법의 등장에도 불구하고, GMDH는 데이터가 부족하고 해석 가능성이 중요하며 기본 시스템이 비선형이고 잘 이해되지 않는 시나리오에서 여전히 유용하다. 다항식 형태는 최적화 및 제어 알고리즘과의 쉬운 통합을 가능하게 한다.
다른 방법과의 비교
GMDH는 특히 훈련 및 해석 가능성 측면에서 신경망과 자주 비교된다. 신경망이 역전파와 경사 하강법을 사용하는 반면, GMDH는 다항식 조합에 대한 휴리스틱 탐색을 사용한다. 이로 인해 GMDH는 지역 최소값에 덜 취약하지만 외부 기준 선택과 데이터의 훈련 및 검증 집합 분할에 더 민감하다.
딥 러닝 방법과 비교할 때, GMDH는 일반적으로 더 적은 매개변수와 계산 자원을 필요로 하지만 매우 고차원 문제에는 잘 확장되지 않을 수 있다. 또한 다항식 조합으로 제한되므로 표현할 수 있는 함수 유형 측면에서 유연성이 떨어진다. 그러나 투명성과 소규모 데이터 세트 작업 능력은 많은 실제 응용에서 귀중한 도구로 만든다.
GMDH는 기호 회귀 및 유전 프로그래밍과 같은 다른 귀납적 모델링 기법과 관련이 있지만, 결정론적 계층별 선택 과정에서 차이가 있다. 또한 각 계층이 예측을 개선한다는 점에서 잔차 네트워크와 개념적 유사성을 공유하지만 선택 메커니즘은 구별된다.
한계 및 확장
GMDH의 주요 한계 중 하나는 입력 변수 수가 많을 때 계산 복잡성인데, 후보 쌍의 수가 2차적으로 증가하기 때문이다. 또한 외부 기준이 적절히 선택되지 않거나 검증 집합이 대표적이지 않으면 과적합될 수 있다. 이러한 문제를 해결하기 위해 다양한 확장이 제안되었으며, 여기에는 다른 다항식 차수, 정규화 기법, GMDH를 다른 머신 러닝 방법과 결합하는 하이브리드 접근 방식이 포함된다.
또 다른 한계는 GMDH가 입력과 출력 간의 관계가 다항식으로 근사될 수 있다고 가정한다는 점인데, 이는 모든 시스템에 해당하지 않을 수 있다. 이러한 경우 딥 러닝 또는 Transformer (architecture) 기반 모델과 같은 다른 방법이 더 적합할 수 있다. 그럼에도 불구하고 GMDH는 인공 지능 분야에 대한 중요하고 역사적이며 실용적인 기여로 남아 있다.