성장 자기 조직화 지도(GSOM)는 인공 신경망의 한 유형으로, 비지도 학습, 특히 고차원 데이터의 클러스터링 및 시각화에 사용된다. 처음부터 고정된 뉴런 격자를 갖는 표준 자기 조직화 지도(SOM)와 달리, GSOM은 최소한의 노드 네트워크(일반적으로 4개)로 시작하여 훈련 과정에서 새 노드를 추가하며 성장한다. 이러한 동적 성장을 통해 GSOM은 입력 데이터의 기본 구조에 맞게 토폴로지를 적응시킬 수 있으며, 복잡하거나 비균일한 데이터 분포를 더 잘 표현할 수 있다. 이 개념은 2000년대 초에 SOM의 확장으로 도입되었으며, 지도 크기의 사전 지정 필요성을 줄이고 데이터 밀도가 높은 영역에서 지도의 해상도를 개선하는 것을 목표로 한다.
GSOM은 성장 단계와 평활화 단계의 두 가지 주요 단계로 작동한다. 성장 단계 동안 네트워크는 노드의 누적 오류가 사전 정의된 임계값을 초과하는 영역에 새 노드를 삽입하여 확장된다. 오류는 일반적으로 노드의 가중치 벡터와 해당 노드가 승리한 입력 벡터 간의 유클리드 거리로 측정된다. 노드의 오류가 임계값을 초과하면 이웃 위치에 새 노드가 추가되고, 가중치는 기존 노드 사이를 보간하도록 초기화된다. 평활화 단계는 추가 성장 없이 가중치를 미세 조정하며, 표준 SOM의 최종 단계와 유사하다. 이러한 두 단계 접근 방식은 세부 사항을 포착하는 것과 안정적이고 해석 가능한 지도를 유지하는 것 사이의 균형을 맞추는 데 도움이 된다.
성장 메커니즘
GSOM의 성장 과정은 네트워크가 오류에 얼마나 민감한지를 제어하는 성장 임계값(GT) 매개변수에 의해 결정된다. 낮은 GT는 더 빈번한 노드 삽입을 초래하여 더 큰 지도를 생성하는 반면, 높은 GT는 더 작고 컴팩트한 지도를 생성한다. 각 노드의 오류 누적은 일반적으로 해당 노드가 승리한 입력 벡터에 대한 제곱 오류의 합으로 계산되며, 이 값은 GT와 비교된다. 임계값을 초과하면 노드는 성장 대상으로 표시되고, 가장 높은 오류를 가진 이웃 방향으로 새 노드가 삽입된다. 이 메커니즘은 데이터가 더 복잡하거나 밀집된 영역에서 지도가 우선적으로 확장되도록 보장한다.
훈련 알고리즘
GSOM의 훈련 알고리즘은 일련의 단계를 따른다. 처음에는 무작위 가중치 벡터를 가진 2x2 격자의 노드가 생성된다. 각 입력 벡터에 대해 승리 노드(입력과의 거리가 가장 작은 노드)가 식별되고, 해당 노드와 토폴로지 이웃의 가중치는 시간이 지남에 따라 감소하는 학습률을 사용하여 업데이트된다. 각 에포크 후에는 각 노드의 오류가 누적된다. 어떤 노드의 오류가 GT를 초과하면 성장이 촉발된다. 이 과정은 총 오류 또는 노드 수가 중지 기준에 도달할 때까지 반복된다. 최종 평활화 단계는 더 낮은 학습률로 고정된 수의 에포크 동안 실행되어 가중치를 정제한다. 이 알고리즘은 복잡한 가지치기나 병합 작업을 요구하지 않으므로 다른 성장 네트워크 모델에 비해 계산 효율적이다.
응용 분야
GSOM은 데이터가 고차원이고 최적의 지도 크기를 알 수 없는 다양한 분야에 적용되었다. 일반적인 응용 분야로는 머신 러닝 작업, 예를 들어 문서 클러스터링, 이미지 분할, 네트워크 트래픽의 이상 탐지가 있다. 생물정보학에서는 생물학적으로 관련된 클러스터 수가 사전에 알려지지 않은 경우가 많아 유전자 발현 데이터를 클러스터링하는 데 GSOM이 사용되었다. 지도를 적응적으로 성장시키는 능력은 데이터 분포가 시간에 따라 변할 수 있는 스트리밍 데이터 시나리오에서 특히 유용하며, GSOM은 새 패턴을 수용하기 위해 계속 노드를 추가할 수 있다. 표준 SOM과 비교하여 GSOM은 특히 데이터 밀도가 비균일할 때 더 나은 양자화 오류와 토폴로지 보존을 제공하는 경우가 많다.
표준 SOM과의 비교
GSOM과 표준 SOM의 주요 차이점은 네트워크 아키텍처에 있다. 표준 SOM은 훈련 전에 지도의 행과 열 수를 사용자가 지정해야 하며, 데이터의 내재적 차원을 알 수 없는 경우 이는 어려울 수 있다. GSOM은 필요에 따라 지도를 성장시켜 이 요구 사항을 제거한다. 그러나 이러한 유연성은 성장 임계값과 최대 노드 수와 같은 추가 매개변수를 조정해야 하는 비용을 수반한다. 실제로 GSOM은 초기 학습률과 입력 제시 순서에 더 민감한 경향이 있지만, 유사한 노드 수를 가진 고정 크기 SOM보다 더 컴팩트한 표현으로 수렴하는 경우가 많다. 연구에 따르면 GSOM은 유사한 크기의 SOM보다 더 낮은 최종 양자화 오류를 달성할 수 있지만, 노드 삽입의 계산 오버헤드는 더 높을 수 있다.
확장 및 변형
특정 한계를 해결하기 위해 GSOM의 여러 변형이 제안되었다. 예를 들어, 성장 계층적 자기 조직화 지도(GHSOM)는 각 노드가 자체적으로 지도가 될 수 있는 지도의 계층 구조를 구축하여 GSOM을 확장하며, 다중 수준 클러스터링을 가능하게 한다. 또 다른 변형인 성장 신경 가스(GNG)는 관련이 있지만 노드 간 연결의 연령에 기반한 다른 성장 규칙을 사용한다. 일부 구현은 노이즈가 있는 데이터를 훈련할 때 견고성을 개선하기 위해 데이터 증강 기술을 통합한다. GSOM은 또한 차원 축소가 필요한 인공 지능 시스템의 전처리 단계로 사용하는 등 딥 러닝 프레임워크와 통합되었다. 이러한 확장에도 불구하고 적응적 성장의 핵심 아이디어는 모든 접근 방식에서 중심적이다.
한계 및 고려 사항
GSOM의 한계 중 하나는 성장 임계값을 적절히 설정해야 한다는 점이다. 너무 낮게 설정하면 지도가 과도하게 커져 훈련 데이터에 과적합될 수 있다. 반대로 높은 임계값은 중요한 구조를 포착하기에 너무 작은 지도를 초래할 수 있다. 알고리즘은 거리 계산이 스케일에 민감하므로 입력 데이터가 정규화되었다고 가정한다. 또한 입력 벡터가 제시되는 순서가 최종 지도에 영향을 미칠 수 있으므로 여러 번 다른 무작위 시드로 실행하는 것이 권장된다. GSOM은 대규모 언어 모델이나 트랜스포머 기반 아키텍처가 아니라 경쟁 학습 네트워크 클래스에 속하며, 이는 현대 생성형 AI 응용 분야를 지배하는 지도 및 자기 지도 모델과는 구별된다. 그럼에도 불구하고 연구 및 산업 분야의 탐색적 데이터 분석에 유용한 도구로 남아 있다.