하이퍼파라미터 최적화는 학습 알고리즘에 대한 최적의 하이퍼파라미터 집합을 선택하는 문제이다. 하이퍼파라미터는 학습 과정을 제어하는 값으로, 훈련이 시작되기 전에 구성되어야 하는 파라미터이다. 목표는 주어진 데이터셋에서 사전 정의된 손실 함수를 최소화하는 최적의 모델을 산출하는 하이퍼파라미터 집합을 찾는 것이다. 목적 함수는 하이퍼파라미터 집합을 입력으로 받아 관련 손실을 반환하며, 일반화 성능을 극대화하기 위해 교차 검증을 통해 추정되는 경우가 많다.
하이퍼파라미터 최적화는 머신 러닝과 딥 러닝의 핵심 작업으로, 신경망 및 트랜스포머와 같은 모델은 학습률, 배치 크기, 정규화 강도와 같은 설정에 의존한다. 모델 파라미터가 훈련 중에 학습되는 반면, 하이퍼파라미터는 사전에 설정되며 모델 성능에 큰 영향을 미친다. 탐색 과정은 특히 대규모 모델의 경우 계산 비용이 많이 들 수 있지만, 효율성과 효과성의 균형을 맞추기 위해 다양한 전략이 개발되었다.
그리드 탐색
그리드 탐색 또는 파라미터 스윕은 하이퍼파라미터 최적화의 전통적인 방법이다. 하이퍼파라미터 공간의 수동으로 지정된 부분 집합을 철저히 탐색한다. 그리드 탐색 알고리즘은 일반적으로 훈련 세트에 대한 교차 검증 또는 홀드아웃 검증 세트에 대한 평가로 측정되는 성능 지표에 의해 안내된다. 하이퍼파라미터 공간에는 실수 값 또는 무한 값이 포함될 수 있으므로 수동 경계와 이산화가 필요한 경우가 많다.
예를 들어, RBF 커널을 사용하는 소프트 마진 서포트 벡터 머신에는 정규화 상수 C와 커널 하이퍼파라미터 γ라는 최소 두 개의 하이퍼파라미터가 있다. 둘 다 연속적이므로 그리드 탐색은 C ∈ {10, 100, 1000} 및 γ ∈ {0.1, 0.2, 0.5, 1.0}과 같은 유한 집합을 선택한다. 알고리즘은 데카르트 곱의 각 쌍 (C, γ)에 대해 SVM을 훈련하고 검증 세트에서 성능을 평가하여 가장 높은 점수를 가진 설정을 출력한다.
그리드 탐색은 하이퍼파라미터 수에 따라 평가 횟수가 기하급수적으로 증가하므로 차원의 저주를 겪는다. 그러나 평가가 독립적이므로 종종 당황스러울 정도로 병렬적이며, 여러 프로세서나 머신에 쉽게 분산할 수 있다.
무작위 탐색
무작위 탐색은 철저한 열거를 대체하여 하이퍼파라미터 조합을 무작위로 선택한다. 이산, 연속 및 혼합 공간에 적용할 수 있다. 그리드 탐색보다 주요 이점은 연속 하이퍼파라미터에 대해 훨씬 더 많은 값을 탐색할 수 있다는 점이며, 소수의 하이퍼파라미터만 성능에 크게 영향을 미치는 경우(낮은 고유 차원성으로 알려진 상황) 그리드 탐색보다 종종 더 나은 성능을 발휘한다.
무작위 탐색은 또한 당황스러울 정도로 병렬적이며 샘플링 분포를 지정하여 사전 지식을 통합할 수 있다. 단순함에도 불구하고 새로운 하이퍼파라미터 최적화 방법이 비교되는 중요한 기준선으로 남아 있다. 그 효과는 모든 하이퍼파라미터가 동일하게 중요하지 않다는 사실에서 비롯되며, 무작위 샘플링은 고차원에서 공간을 더 효율적으로 덮는다.
베이지안 최적화
베이지안 최적화는 잡음이 있는 블랙박스 함수를 위한 전역 최적화 방법이다. 하이퍼파라미터 최적화에 적용하면 하이퍼파라미터 값에서 검증 세트에서 평가된 목적 함수로의 매핑에 대한 확률적 모델을 구축한다. 유망한 구성을 반복적으로 평가하고 모델을 업데이트함으로써 함수와 최적점의 위치에 대해 가능한 한 많은 정보를 드러내는 관측치를 수집하는 것을 목표로 한다.
베이지안 최적화는 탐험(결과가 불확실한 하이퍼파라미터)과 활용(최적점 근처로 예상되는 하이퍼파라미터)의 균형을 맞춘다. 실제로 실행 전에 실험 품질에 대해 추론할 수 있는 능력 덕분에 그리드 탐색이나 무작위 탐색보다 더 적은 평가로 더 나은 결과를 얻는다. 일반적인 구현은 가우시안 프로세스 또는 트리 구조 파젠 추정기를 사용하며, OpenAI의 도구 및 Google Cloud의 AI 플랫폼과 같은 프레임워크에서 널리 사용된다.
경사 기반 최적화
특정 학습 알고리즘의 경우 하이퍼파라미터에 대한 기울기를 계산하고 경사 하강법을 사용하여 최적화할 수 있다. 초기 연구는 신경망에 초점을 맞췄지만 방법은 서포트 벡터 머신과 로지스틱 회귀로 확장되었다. 한 가지 접근 방식은 자동 미분을 사용하여 반복 최적화 알고리즘의 단계를 미분한다. 최근 연구는 암시적 함수 정리를 사용하여 하이퍼그라디언트를 계산하며, 역 헤세 행렬의 안정적인 근사를 통해 수백만 개의 하이퍼파라미터로 일정한 메모리로 확장할 수 있다.
또 다른 접근 방식은 최상의 응답 함수를 근사하는 하이퍼네트워크를 훈련하여 이산 하이퍼파라미터를 처리할 수 있다. 자체 튜닝 네트워크는 컴팩트 표현을 선택하여 메모리 효율적인 버전을 제공한다. Δ-STN은 하이퍼네트워크를 재파라미터화하고 가중치에서 네트워크를 선형화하여 훈련을 가속화하고 최상의 응답 야코비안에 대한 더 나은 근사를 산출함으로써 이를 더욱 개선한다. 경사 기반 방법은 신경 아키텍처 탐색에서 사용되는 연속 완화를 통해 이산 하이퍼파라미터를 최적화할 수도 있다.
진화 최적화
진화 최적화는 생물학적 진화에서 영감을 받아 진화 알고리즘을 사용하여 하이퍼파라미터 공간을 탐색한다. 이 과정은 무작위 하이퍼파라미터 튜플(일반적으로 100개 이상)의 초기 모집단으로 시작하여 적합도(예: 10겹 교차 검증 정확도)를 평가하고 순위를 매긴 다음 최고 성능자를 선택, 변이 및 재결합하여 새 세대를 만든다. 이 주기는 중지 기준이 충족될 때까지 반복된다.
진화 방법은 잡음이 있는 블랙박스 함수에 대해 견고하며 복잡하고 고차원적인 공간을 처리할 수 있다. 목적 함수가 미분 불가능하거나 사전 지식이 제한적인 경우 특히 유용하다. 그러나 많은 평가가 필요하므로 계산 집약적일 수 있으며, 이는 대규모 모델에는 금지될 수 있다. 그럼에도 불구하고 다양한 영역에서 하이퍼파라미터 최적화를 위한 실행 가능한 옵션으로 남아 있다.
실용적 고려 사항
하이퍼파라미터 최적화는 대규모 언어 모델 훈련부터 AWS 또는 Azure에 모델 배포에 이르기까지 실제 응용 프로그램에서 중요하다. 방법 선택은 예산, 하이퍼파라미터 수 및 각 평가 비용에 따라 달라진다. 소규모 예산의 경우 무작위 탐색 또는 베이지안 최적화가 종종 선호된다. 대규모 튜닝의 경우 분산 및 병렬 접근 방식이 필수적이다.
자동 머신 러닝(AutoML) 플랫폼은 이러한 기술을 통합하여 모델 개발을 간소화한다. 예를 들어 Alibaba Cloud 및 Oracle Cloud는 하이퍼파라미터 튜닝을 자동화하는 서비스를 제공한다. 또한 MIT CSAIL 및 Stanford AI Lab과 같은 연구 기관은 최적화 알고리즘 발전에 기여하고 있으며, Google DeepMind 및 Anthropic과 같은 기업은 최첨단 모델에 이를 적용하고 있다.
과제 및 향후 방향
하이퍼파라미터 최적화는 수백만 개의 파라미터를 가진 딥 러닝 모델의 높은 계산 비용과 같은 과제에 직면한다. 탐색 공간은 방대할 수 있으며 단일 구성을 평가하는 데 몇 시간의 훈련이 필요할 수 있다. 조기 중지 및 다중 충실도 최적화와 같은 기술은 좋지 않은 구성을 조기에 폐기하여 비용을 완화하는 데 도움이 된다.
향후 방향에는 이전 작업의 사전 지식이 최적화를 가속화하는 메타 러닝과 아키텍처와 하이퍼파라미터를 모두 최적화하는 신경 아키텍처 탐색이 포함된다. 모델이 커짐에 따라 효율적인 최적화가 점점 더 중요해지며 모델 가지치기 및 데이터 증강과 같은 영역에서 부담을 줄이는 연구를 주도하고 있다. 이 분야는 학계와 산업계에서 새로운 방법이 등장하면서 계속 진화하고 있다.