자기 조직화 지도(SOM)는 자기 조직화 특성 지도(SOFM) 또는 코호넨 지도라고도 하며, 고차원 데이터 집합의 저차원(일반적으로 2차원) 표현을 생성하면서 데이터의 위상 구조를 보존하는 비지도 기계 학습 기법이다. 예를 들어, n개의 관측치에서 측정된 p개의 변수를 가진 데이터 집합은 유사한 값을 가진 관측치들의 클러스터로 표현될 수 있으며, 이는 근접한 클러스터가 먼 클러스터보다 더 유사한 값을 가지는 2차원 지도로 시각화된다. 이로 인해 고차원 데이터를 더 쉽게 시각화하고 분석할 수 있다.
SOM은 인공 신경망의 한 유형이지만, 경사 하강법을 사용한 역전파와 같은 오류 수정 학습이 아닌 경쟁 학습을 통해 훈련된다. 이 기법은 1980년대 핀란드 교수 테우보 코호넨이 1970년대 신경계의 생물학적 모델과 1950년대 앨런 튜링으로 거슬러 올라가는 형태 형성 모델을 바탕으로 도입했다. SOM은 감각 처리에 전념하는 뇌 영역에 기반한 인체의 왜곡된 신경학적 지도인 피질 호문쿨루스를 연상시키는 내부 표현을 생성한다.
훈련 및 매핑
SOM은 훈련과 매핑의 두 가지 모드로 작동한다. 훈련은 입력 데이터 집합(입력 공간)을 사용하여 저차원 표현(지도 공간)을 생성한다. 그런 다음 매핑은 생성된 지도를 사용하여 추가 입력 데이터를 분류한다. 훈련의 목표는 p > n인 경우 p차원의 입력 공간을 n차원의 지도 공간으로 표현하는 것이다. 지도 공간은 일반적으로 2차원인 육각형 또는 직사각형 격자로 배열된 노드 또는 뉴런으로 구성된다. 노드의 수와 배열은 분석 목표에 따라 사전에 지정된다.
각 노드는 입력 공간에서의 위치를 나타내는 가중치 벡터와 연결된다. 지도 공간의 노드는 고정된 상태로 유지되지만, 훈련은 유클리드 거리와 같은 거리 측정 기준을 줄여 가중치 벡터를 입력 데이터 쪽으로 이동시키며, 지도 공간에서 유도된 위상을 손상시키지 않는다. 훈련 후, 지도는 입력 벡터에 가장 가까운 가중치 벡터를 가진 노드를 찾아 추가 관측치를 분류한다.
학습 알고리즘
학습 목표는 네트워크의 서로 다른 부분이 특정 입력 패턴에 유사하게 반응하도록 하는 것이며, 이는 부분적으로 감각 정보가 대뇌 피질의 별도 부분에서 처리되는 방식에서 동기가 부여된다. 뉴런 가중치는 작은 무작위 값으로 초기화되거나 두 개의 가장 큰 주성분 고유 벡터에 의해 생성된 부분 공간에서 균등하게 샘플링된다. 후자의 대안은 초기 가중치가 이미 최종 SOM 가중치에 근사하므로 학습 속도를 높인다.
네트워크는 예상 입력을 나타내는 많은 예제 벡터를 공급받으며, 일반적으로 반복으로 여러 번 실행된다. 훈련은 경쟁 학습을 사용한다. 훈련 예제가 공급되면 모든 가중치 벡터와의 유클리드 거리가 계산되고, 가장 유사한 가중치 벡터를 가진 뉴런이 최적 일치 유닛(BMU)이 된다. BMU와 SOM 격자에서 인접한 뉴런은 입력 벡터 쪽으로 가중치를 조정하며, 변경 크기는 시간과 BMU로부터의 격자 거리에 따라 감소한다.
가중치 벡터 Wv(s)를 가진 뉴런 v에 대한 업데이트 공식은 Wv(s+1) = Wv(s) + θ(u,v,s) · α(s) · (D(t) - Wv(s))이며, 여기서 s는 단계 인덱스, t는 훈련 샘플의 인덱스, u는 입력 벡터 D(t)에 대한 BMU 인덱스, α(s)는 단조 감소하는 학습 계수, θ(u,v,s)는 단계 s에서 뉴런 u와 v 사이의 거리를 제공하는 이웃 함수이다. 훈련 샘플은 체계적으로 스캔되거나, 부트스트랩 샘플링을 통해 무작위로 추출되거나, 잭나이프와 같은 다른 방법을 사용할 수 있다.
이웃 함수는 BMU와 뉴런 v 사이의 격자 거리에 따라 달라진다. 가장 간단한 형태로는 BMU에 충분히 가까운 뉴런에 대해 1이고 다른 뉴런에 대해 0이지만, 가우시안 및 멕시칸 햇 함수가 일반적이다. 이웃은 시간이 지남에 따라 축소된다. 넓은 이웃은 전역 자기 조직화를 가능하게 하고, 좁은 이웃은 가중치가 지역 추정치로 수렴하도록 한다. 학습 계수와 이웃 함수는 꾸준히 또는 T 단계마다 계단식으로 감소한다.
응용 및 중요성
SOM은 데이터 분석, 패턴 인식, 생물정보학 등의 분야에서 시각화, 클러스터링, 차원 축소에 사용된다. 위상 관계를 보존하는 데 뛰어나며, 구조 이해가 핵심인 탐색적 데이터 분석에 유용하다. 지도 학습 방법과 달리 SOM은 레이블이 지정된 데이터가 필요하지 않으므로 비지도 학습 시나리오에서 가치가 있다.
SOM은 음성 인식, 이미지 분석에서 금융 데이터 마이닝, 의료 진단에 이르기까지 다양한 분야에 적용되었다. 복잡한 데이터의 직관적인 지도를 생성하는 능력은 데이터 시각화 도구의 필수 요소가 되었다. 이 기법은 현대 AI 연구에서 여전히 관련성이 있으며, 딥 러닝 모델과 같은 더 복잡한 아키텍처를 비교하기 위한 기준선으로 자주 사용된다.
다른 신경망과의 관계
SOM은 대규모 언어 모델에 사용되는 트랜스포머와 같은 역전파로 훈련된 피드포워드 네트워크와 근본적으로 다르다. SOM은 경쟁 학습과 위상 보존을 사용하는 반면, 트랜스포머는 오류 수정과 주의 메커니즘에 의존한다. SOM은 또한 잔차 네트워크 및 U-Net과도 구별되며, 이들은 지도 학습이고 경사 기반 최적화를 사용한다. 그러나 SOM은 분산 처리와 적응 가중치의 신경망 패러다임을 공유하며, 전처리 또는 특성 추출을 위해 더 큰 시스템에 통합될 수 있다.
한계 및 확장
SOM은 초기화 및 매개변수 선택에 민감하고, 매우 고차원 데이터로 확장하는 데 어려움이 있을 수 있는 등 한계가 있다. 성장형 SOM 및 계층적 SOM과 같은 변형은 지도 크기를 동적으로 조정하여 일부 문제를 해결한다. 이러한 과제에도 불구하고 SOM은 비지도 학습의 기본 도구로 남아 있으며, 현대 기법과의 하이브리드 모델에서의 사용을 탐구하는 지속적인 연구가 진행 중이다.