주파수 원리(frequency principle)는 스펙트럼 편향(spectral bias)이라고도 알려져 있으며, 심층 신경망의 경험적으로 관찰된 속성이다. 이는 훈련 중 이러한 네트워크가 먼저 목표 함수의 저주파 성분을 학습한 다음 점진적으로 고주파 세부 사항을 포착하는 경향을 설명한다. 이러한 행동은 완전 연결 네트워크, 합성곱 신경망, 잔차 네트워크를 포함한 광범위한 네트워크 아키텍처와 이미지 생성, 회귀, 분류와 같은 다양한 작업에서 문서화되었다. 이 현상은 종종 네트워크 출력의 오류를 주파수에 대해 플로팅하여 시각화되며, 훈련 초기에 저주파에 대한 오류가 더 빠르게 감소함을 보여준다.
이 원리는 동일한 저주파 우선 학습을 설명하는 데 사용되는 용어인 스펙트럼 편향의 개념과 밀접하게 관련되어 있다. 두 용어는 종종 상호 교환적으로 사용되지만, 주파수 원리는 때때로 더 광범위한 경험적 관찰로 간주되는 반면, 스펙트럼 편향은 기저의 이론적 설명을 지칭할 수 있다. 이 효과는 이미지 초해상도 또는 선명한 텍스처 생성과 같은 고주파 세부 사항을 포함하는 작업에서 특히 딥러닝 모델의 일반화 능력과 한계를 이해하는 데 중요한 의미를 가진다.
이론적 설명
주파수 원리를 설명하기 위해 여러 이론적 프레임워크가 제안되었다. Xu Zhiqin과 Luo Tao를 포함한 연구자들이 개발한 한 주요 연구 방향은 푸리에 영역에서 신경망의 훈련 역학을 분석한다. 그들은 2층 네트워크의 경우 경사 하강 알고리즘의 수렴 속도가 목표 성분의 주파수에 반비례한다는 것을 보여주었다. 이는 신경 탄젠트 커널에서 더 큰 고유값을 갖는 저주파 성분이 더 빠르게 학습된다는 것을 의미한다. 넓은 네트워크의 훈련을 선형 시스템으로 근사하는 신경 탄젠트 커널 이론은 이러한 주파수 의존적 수렴에 대한 수학적 기초를 제공한다.
또 다른 설명은 손실 함수의 지형(loss landscape) 맥락에서 "F-원리"(주파수 원리)의 개념을 포함한다. 경사 하강의 최적화 궤적은 손실을 가장 빠르게 줄이는 방향으로 이동하는 경향이 있으며, 많은 손실 함수에서 이러한 방향은 저주파 변화에 해당한다. 이는 저주파 모드가 더 느리게 감쇠하는 편미분 방정식의 행동과 유사하지만, 경사 하강의 맥락에서는 초기 손실 감소에 더 많이 기여하기 때문에 먼저 학습된다.
경험적 관찰
주파수 원리는 수많은 실험에서 관찰되었다. 예를 들어, 생성적 적대 신경망을 사용한 이미지 생성 작업에서 초기 훈련 에포크는 고주파 세부 사항이 부족한 흐릿한 이미지를 생성하며, 선명한 가장자리와 텍스처는 후기 에포크에서만 나타난다. 마찬가지로 회귀 작업에서 네트워크는 처음에 목표 함수의 매끄러운 근사를 맞춘 다음 고주파 진동으로 적합성을 개선한다. 이러한 행동은 ReLU 및 시그모이드와 같은 다양한 활성화 함수와 Adam 및 확률적 경사 하강을 포함한 다양한 최적화 알고리즘에서 일관되게 나타난다.
주목할 만한 경험적 발견은 훈련 데이터가 균일하게 분포되지 않은 경우에도 주파수 원리가 유지된다는 것이다. 예를 들어, 데이터가 특정 영역에 집중된 경우 네트워크는 여전히 전역적으로 저주파 성분을 먼저 학습하지만, 로컬 주파수 내용은 달라질 수 있다. 이는 데이터 분포와 샘플링 전략이 고주파 특징 학습에 어떻게 영향을 미칠 수 있는지에 대한 연구로 이어졌다.
딥러닝에 대한 의미
주파수 원리는 몇 가지 실용적인 의미를 가진다. 첫째, 아키텍처가 이를 처리하도록 특별히 설계되지 않는 한 딥 네트워크가 이미지의 선명한 가장자리나 빠르게 변하는 신호와 같은 고주파 세부 사항에 종종 어려움을 겪는 이유를 설명한다. 이는 고주파 정보를 보존하기 위해 스킵 연결을 사용하는 이미지 분할용 U-Net과 자연어 처리에서 고주파 특징을 표현하기 위해 트랜스포머에서 위치 인코딩을 사용하는 것과 같은 아키텍처 개발을 촉진했다.
둘째, 이 원리는 훈련 전략에 정보를 제공한다. 예를 들어, 모델이 더 단순한(저주파) 예제로 먼저 훈련되는 커리큘럼 학습은 자연스러운 학습 순서와 일치한다. 또한 학습률 스케줄링과 같은 기술은 고주파 성분의 느린 수렴을 고려하여 조정될 수 있다. 이 원리는 또한 일반화 격차를 이해하는 데 의미를 가지며, 고주파 성분을 학습하지 못하는 모델은 미세한 세부 사항이 필요한 작업에서 과소적합될 수 있다.
다른 개념과의 관계
주파수 원리는 딥러닝의 여러 다른 개념과 연결된다. 경사 하강이 본질적으로 더 단순한 해를 선호하며, 이는 종종 저주파 함수에 해당하는 암시적 정규화의 개념과 관련이 있다. 또한 과도한 매개변수화로 모델 성능이 향상될 수 있는 이중 하강(double descent) 현상과 상호 작용하며, 부분적으로 더 큰 모델이 고주파를 더 효과적으로 포착할 수 있기 때문이다. 더 나아가, 이 원리는 배치 정규화 및 레이어 정규화와 같은 기술의 성공과 연결되었으며, 이는 효과적인 학습 역학을 변경하고 일부 경우 스펙트럼 편향을 완화할 수 있다.
현재 연구 및 공개 질문
주파수 원리에 대한 연구는 진행 중이며 여러 공개 질문이 있다. 한 주요 영역은 이 원리가 매우 깊고 매우 넓은 네트워크로 어떻게 확장되는지, 그리고 대규모 언어 모델 및 트랜스포머와 같은 현대 아키텍처와 어떻게 상호 작용하는지 이해하는 것이다. 이 원리는 주로 완전 연결 및 합성곱 네트워크의 맥락에서 연구되었지만, 주의 기반 모델에 대한 적용 가능성은 활발한 연구 영역이다. 또 다른 질문은 주파수 원리를 활용하여 예를 들어 손실 기여도를 주파수별로 명시적으로 가중화함으로써 더 효율적인 훈련 알고리즘을 설계할 수 있는지 여부이다. 일부 연구자들은 고주파 오류를 더 강하게 패널티하는 "주파수 인식" 손실 함수의 아이디어를 탐구했으며, 이는 수렴을 가속화할 수 있다.
2020년대 초반 현재, 주파수 원리는 성장하는 이론적 기반을 가진 견고한 경험적 관찰로 남아 있다. 이는 신경망의 학습 역학을 이해하는 통합 렌즈를 제공하며, 이론과 응용 모두에서 새로운 연구를 계속 고무하고 있다.