손실 지형(Loss Landscape)
머신러닝에서 손실 지형은 모델 파라미터 공간에 걸쳐 손실 함수가 변화하는 기하학적 구조를 의미한다. 파라미터 θ를 가진 모델의 경우, 손실 함수 L(θ)는 모델이 훈련 데이터를 얼마나 잘못 적합하는지를 나타내는 스칼라 값을 할당한다. 손실 지형은 일반적으로 고차원인 파라미터 공간에 대한 이 함수의 그래프이다. 손실 지형을 이해하는 것은 경사 하강법과 같은 최적화 알고리즘의 동작과 훈련된 모델의 궁극적인 일반화 성능에 직접적인 영향을 미치기 때문에 매우 중요하다.
이 개념은 수백만 또는 수십억 개의 파라미터를 가진 신경망이 등장하면서 두드러지게 부각되었으며, 이로 인해 지형을 직접 시각화하는 것은 불가능해졌다. 연구자들은 지형을 저차원으로 투영하거나 분석하는 다양한 기법을 개발하여 국소 최솟값, 안장점, 평평한 최솟값 대 날카로운 최솟값의 존재에 대한 통찰을 얻었다. 이러한 기하학적 특성은 최적화의 용이성과 모델이 보지 못한 데이터에 일반화하는 능력과 연결된다.
역사적 배경
손실 지형에 대한 연구는 고유한 최솟값을 가진 볼록 함수에 초점을 맞춘 고전적 최적화 이론에 뿌리를 두고 있다. 그러나 신경망은 많은 국소 최솟값과 안장점을 가질 수 있는 비볼록 손실 함수를 도입한다. 1980년대와 1990년대의 초기 연구(주디아 펄(Judea Pearl) 등의 연구)는 비볼록 함수 최적화의 어려움을 탐구했다. 현대적 이해는 확률적 경사 하강법(SGD)이 지형의 명백한 복잡성에도 불구하고 딥 네트워크에서 안정적으로 좋은 해를 찾을 수 있다는 경험적 관찰에서 시작되었다.
전환점이 된 것은 2014년 얀 도팽(Yann Dauphin)과 동료들의 논문 "고차원 비볼록 최적화에서 안장점 문제 식별 및 공격"으로, 고차원 공간에서 국소 최솟값보다 안장점이 더 흔하다는 점을 강조했다. 이는 국소 최솟값 탈출에서 안장점 처리로 초점을 이동시켰다. 이후 2017년 안나 코로만스카(Anna Choromanska)와 동료들의 딥 네트워크 손실 지형에 대한 연구는 많은 국소 최솟값이 서로 연결되어 있고 유사한 손실 값을 가지며, 지형이 이전에 생각했던 것보다 더 온화하다는 이론적, 경험적 증거를 제공했다.
시각화 기법
파라미터 공간이 고차원이기 때문에 직접적인 시각화는 불가능하다. 연구자들은 지형을 2차원 또는 3차원으로 투영하여 분석하는 여러 방법을 개발했다. 일반적인 접근 방식 중 하나는 파라미터 공간의 무작위 방향 또는 두 개의 서로 다른 해(예: 훈련 시작점과 종료점)를 연결하는 방향을 따라 손실을 그리는 것이다. 이는 지형의 1차원 단면을 제공한다.
더 정교한 기법으로, 2018년 하오 리(Hao Li)와 동료들이 도입한 필터별 정규화(filter-wise normalization) 가 의미 있는 2D 시각화를 만드는 데 사용된다. 이 방법은 컨볼루션 네트워크의 각 필터의 스케일을 고려하여 파라미터 섭동을 정규화함으로써 서로 다른 모델 간의 공정한 비교를 가능하게 한다. 결과 플롯은 종종 최솟값 주변에 명확한 분지를 보여주며, 손실이 모든 방향으로 매끄럽게 증가한다. 이러한 시각화는 다양한 아키텍처, 최적화기, 초기화 전략의 지형을 비교하는 데 사용되었다.
또 다른 접근 방식은 주성분 분석(PCA) 을 사용하여 파라미터 공간에서 분산이 가장 큰 방향을 찾고 그 방향을 따라 손실을 그리는 것이다. 이는 지형이 길쭉한지 등방성인지와 같은 전반적인 형태를 드러낼 수 있다. 또한 t-SNE 및 UMAP과 같은 기법이 서로 다른 해의 손실 값에 적용되어 해 간의 관계를 이해하는 데 사용되지만, 직접적인 지형 시각화에는 덜 일반적이다.
기하학적 특성
딥 신경망의 손실 지형은 몇 가지 주목할 만한 기하학적 특성을 보인다. 주요 관찰 중 하나는 안장점의 보편성이다. 안장점은 기울기가 0이지만 헤세 행렬(2차 도함수 행렬)이 양수와 음수 고유값을 모두 갖는 지점이다. 고차원 공간에서 안장점은 이론적 분석에서 보여주듯 국소 최솟값보다 기하급수적으로 더 많다. 이는 최적화 알고리즘이 좋은 최솟값에 도달하기 위해 안장점을 탈출할 수 있어야 함을 의미한다.
또 다른 중요한 특성은 평평한 최솟값과 날카로운 최솟값의 존재이다. 평평한 최솟값은 손실이 천천히 변하는 영역으로 더 나은 일반화로 이어지는 반면, 날카로운 최솟값은 작은 섭동이 큰 손실 증가를 유발하는 좁은 분지이다. 평평함과 일반화 사이의 관계는 논쟁의 대상이었으며, 일부 연구는 SGD가 확률적 특성으로 인해 평평한 최솟값으로 수렴하는 경향이 있다고 제안한다. 2020년에 도입된 샤프니스-인지 최소화(SAM) 알고리즘은 이웃의 최악의 경우 손실을 최소화하여 명시적으로 평평한 최솟값을 찾으며, 최첨단 성능을 달성한다.
또한 손실 지형은 종종 저손실 해의 연결 성분을 포함한다. 연구에 따르면 SGD로 발견된 서로 다른 국소 최솟값은 종종 손실이 낮게 유지되는 단순한 경로로 연결된다. 모드 연결성(mode connectivity) 으로 알려진 이 현상은 지형이 고립된 분지로 구성된 것이 아니라 하나의 큰 골짜기임을 시사한다. 이는 앙상블 및 모델 평균화에 중요한 의미를 가지며, 해 사이를 보간하면 유효한 모델을 얻을 수 있음을 나타낸다.
최적화와 지형
손실 지형의 기하학은 최적화 알고리즘의 선택과 동작에 직접적인 영향을 미친다. 경사 하강법과 그 변형(SGD, Adam, RMSprop 등)은 음의 기울기를 따라 지형을 탐색한다. 안장점의 존재는 기울기가 작기 때문에 느린 진행을 유발할 수 있다. 모멘텀 및 적응형 학습률과 같은 기법은 관성 추가 또는 업데이트 스케일링을 통해 안장점을 극복하는 데 도움이 된다.
손실 지형의 개념은 특정 초기화 전략이 다른 전략보다 더 잘 작동하는 이유도 설명한다. 예를 들어, 자비에 초기화(Xavier initialization) 및 히 초기화(He initialization) 는 층 전체에 걸쳐 활성화의 분산을 일관되게 유지하도록 설계되어 기울기가 나쁜 지형 영역을 피하는 데 도움이 된다. 마찬가지로 배치 정규화(batch normalization) 는 중간 활성화를 정규화하여 지형을 더 매끄럽고 최적화하기 쉽게 만든다.
또한 지형은 손실 함수의 선택에 의해 영향을 받는다. 분류 작업의 경우 교차 엔트로피 손실이 일반적이며, 회귀 작업은 종종 평균 제곱 오차를 사용한다. 이러한 함수의 지형은 다르며, 교차 엔트로피는 포화를 피하는 데 도움이 되는 더 점진적인 기울기를 가진다. 최근 연구는 평평함 또는 견고성과 같은 바람직한 특성을 장려하기 위해 손실 함수를 수정하는 손실 지형 엔지니어링도 탐구하고 있다.
일반화와 지형
손실 지형과 일반화 사이의 관계는 딥러닝 이론의 핵심 주제이다. 한 가설은 평평한 최솟값이 파라미터의 섭동(데이터의 노이즈 또는 최적화 과정에서 발생할 수 있는)에 덜 민감하기 때문에 더 나은 일반화로 이어진다는 것이다. 이 아이디어는 더 큰 배치 크기로 훈련된 모델이 더 날카로운 최솟값으로 수렴하고 더 나쁘게 일반화하는 반면, 더 작은 배치 크기(더 많은 노이즈를 도입)는 더 평평한 최솟값을 찾는다는 경험적 연구에 의해 뒷받침된다.
그러나 평평함-일반화 연결은 보편적으로 받아들여지지 않는다. 일부 연구자는 이 관계가 파라미터의 노름 또는 초기화로부터의 거리와 같은 다른 요인에 의해 혼동된다고 주장한다. 피셔 정보 행렬 및 헤세 스펙트럼이 평평함을 정량화하는 데 사용되었지만, 이러한 측정은 재파라미터화에 불변하지 않다. 이러한 논쟁에도 불구하고 손실 지형은 데이터 증강, 가중치 감쇠, 학습률 스케줄과 같은 특정 훈련 관행이 일반화를 개선하는 이유를 이해하는 유용한 프레임워크로 남아 있다.
최근 연구는 손실 지형을 이중 하강(double descent) 현상과 연결했는데, 여기서 테스트 오류는 모델 크기가 증가함에 따라 먼저 감소하고, 증가하고, 다시 감소한다. 이 동작은 과소 파라미터화에서 과대 파라미터화 체제로의 전환과 관련이 있으며, 지형이 많은 국소 최솟값에서 단일 전역 최솟값(또는 연결된 최솟값 집합)으로 변경된다. 이러한 전환을 이해하면 모델 용량 선택을 안내하는 데 도움이 될 수 있다.
모델 설계에서의 응용
손실 지형 분석의 통찰은 모델 아키텍처 설계에 실용적인 응용을 제공한다. 예를 들어, ResNet과 같은 네트워크의 잔차 연결(residual connections) 은 손실 지형을 더 매끄럽게 만들어 최적화를 용이하게 한다. 마찬가지로 이미지 분할을 위한 U-Net 아키텍처의 스킵 연결(skip connections) 은 네트워크를 통한 더 짧은 경로를 제공하여 기울기 소실을 방지한다.
신경 아키텍처 탐색(NAS) 도 지형 분석의 이점을 얻을 수 있다. 후보 아키텍처의 손실 지형을 평가함으로써 연구자는 어떤 아키텍처가 최적화하기 쉽고 일반화가 더 잘 될지 예측할 수 있다. 이는 초기에 나쁜 아키텍처를 걸러내어 NAS의 계산 비용을 줄일 수 있다.
또한 손실 지형의 개념은 전이 학습(transfer learning) 및 미세 조정(fine-tuning) 에 사용된다. 모델이 대규모 데이터 세트에서 사전 훈련된 다음 더 작은 데이터 세트에서 미세 조정될 때, 미세 조정된 모델의 손실 지형은 종종 사전 훈련된 지형의 섭동이다. 이를 이해하면 파괴적 망각을 피하기 위해 적절한 학습률과 정규화를 선택하는 데 도움이 될 수 있다.
현재 연구 및 향후 방향
손실 지형에 대한 연구는 진행 중이며 여러 활발한 영역이 있다. 한 방향은 국소 기하학을 이해하는 데 중요한 헤세 행렬을 계산하고 분석하는 더 효율적인 방법을 개발하는 것이다. 헤세-프리 최적화(Hessian-free optimization) 및 크로네커-팩터 근사(Kronecker-factored approximations) 와 같은 기법이 대규모 모델로 확장하기 위해 탐구되고 있다.
또 다른 영역은 대규모 언어 모델(LLM)의 손실 지형 연구이다. GPT 및 BERT와 같은 모델은 수십억 개의 파라미터를 가지며, 그 손실 지형은 훨씬 더 복잡하다. 최근 연구는 스케일링 법칙(scaling laws) 이 지형에 미치는 영향을 조사하여, 모델 크기가 증가함에 따라 지형이 더 매끄러워지고 최적화가 더 쉬워짐을 보여준다. 이는 대규모 모델 훈련에 중요한 의미를 가지며, 신중한 초기화와 최적화가 규모가 커질수록 덜 중요해짐을 시사한다.
또한 손실 함수가 고정되어 있지 않고 정책에 의존하는 강화 학습을 위한 손실 지형에 대한 관심도 있다. 이는 지형이 훈련 중에 변경되기 때문에 추가적인 어려움을 도입한다. 이 설정에서 지형을 이해하면 더 안정적이고 샘플 효율적인 알고리즘으로 이어질 수 있다.
마지막으로 손실 지형과 적대적 견고성(adversarial robustness) 사이의 연결이 탐구되고 있다. 적대적 섭동에 견고한 모델은 더 평평한 손실 지형을 가지는 경향이 있으며, 이는 지형 분석이 더 안전한 모델을 설계하는 데 사용될 수 있음을 시사한다. 이는 안전이 중요한 영역에서 잠재적인 응용을 가진 활발한 연구 영역이다.
결론
손실 지형은 최적화와 일반화에 대한 기하학적 관점을 제공하는 머신러닝의 기본 개념이다. 신경망의 고차원적 특성으로 인해 직접적인 시각화가 어렵지만, 지형을 분석하고 해석하기 위한 다양한 기법이 개발되었다. 안장점의 보편성, 평평한 최솟값의 존재, 저손실 영역의 연결성과 같은 핵심 통찰은 딥러닝이 작동하는 이유에 대한 우리의 이해를 형성했다. 모델이 계속해서 크기와 복잡성이 증가함에 따라 손실 지형은 알고리즘 설계와 이론적 분석을 안내하는 중요한 도구로 남을 것이다.