머신 러닝에서 하이퍼파라미터는 모델의 학습 과정에서 구성 가능한 부분을 정의하기 위해 설정할 수 있는 파라미터이다. 하이퍼파라미터는 신경망의 토폴로지와 크기 같은 모델 하이퍼파라미터와, 옵티마이저의 학습률과 배치 크기 같은 알고리즘 하이퍼파라미터로 분류된다. 이들은 훈련 중에 모델이 데이터로부터 학습하는 특성인 파라미터와 대조되어 하이퍼파라미터라고 불린다.
하이퍼파라미터는 모든 모델이나 알고리즘에 필수적인 것은 아니다. 일반 최소 제곱 회귀와 같은 일부 단순한 알고리즘은 하이퍼파라미터를 필요로 하지 않는다. 그러나 예를 들어 LASSO 알고리즘은 훈련 전에 설정해야 하는 정규화 하이퍼파라미터를 일반 최소 제곱에 추가한다. 하이퍼파라미터 정의가 엄격히 요구되지 않는 모델과 알고리즘조차도, 신중하게 선택되지 않으면 의미 있는 결과를 내지 못할 수 있다. 하이퍼파라미터의 최적 값은 항상 예측하기 쉬운 것은 아니며, 일부 하이퍼파라미터는 의미 있는 효과가 없을 수도 있고, 중요한 변수 하나가 다른 변수의 값에 조건적일 수도 있다. 종종 데이터와 작업에 적합한 조합을 찾기 위해 별도의 하이퍼파라미터 튜닝 과정이 필요하다. 하이퍼파라미터는 모델 성능을 향상시키는 것 외에도, 특히 난수 생성을 포함하는 모델을 사용하는 경우 연구자가 작업에 견고성과 재현성을 도입하는 데 사용할 수 있다.
고려 사항
모델을 훈련하고 테스트하는 데 필요한 시간은 하이퍼파라미터 선택에 따라 달라질 수 있다. 하이퍼파라미터는 일반적으로 연속형 또는 정수형이어서 혼합형 최적화 문제를 초래한다. 일부 하이퍼파라미터의 존재는 다른 값에 조건적이다. 예를 들어, 신경망의 각 은닉층 크기는 층 수에 조건적일 수 있다. 결과적으로 하이퍼파라미터는 계층적 또는 조건적 구성 공간을 형성할 수 있으며, 여기서 하나의 설계 선택이 어떤 추가 하이퍼파라미터가 관련되는지를 결정한다.
학습 어려운 파라미터
목적 함수는 일반적으로 하이퍼파라미터에 대해 미분 불가능하다. 결과적으로 대부분의 경우 하이퍼파라미터는 모델 파라미터를 학습하는 데 일반적으로 사용되는 경사 하강법과 같은 경사 기반 최적화 방법으로 학습할 수 없다. 이러한 하이퍼파라미터는 일반적인 최적화 방법으로 학습할 수 없지만 손실 함수에 영향을 미치는 모델 표현을 설명한다. 예로는 서포트 벡터 머신의 오류에 대한 허용 오차 하이퍼파라미터가 있다.
훈련 불가능한 파라미터
때로는 하이퍼파라미터가 훈련 데이터에서 학습될 수 없는 이유는, 이들이 모델의 용량을 과도하게 증가시켜 손실 함수를 바람직하지 않은 최소값으로 밀어붙여 데이터에 과적합을 초래할 수 있기 때문이다. 이는 데이터 구조의 풍부함을 올바르게 매핑하는 것과 반대된다. 예를 들어, 회귀 모델에 맞추는 다항식 방정식의 차수가 훈련 가능한 파라미터로 취급되면, 차수는 모델이 데이터에 완벽하게 맞을 때까지 증가하여 낮은 훈련 오류를 산출하지만 일반화 성능은 낮아진다.
튜닝 가능성
대부분의 성능 변동은 몇 가지 하이퍼파라미터에 기인할 수 있다. 알고리즘, 하이퍼파라미터 또는 상호 작용하는 하이퍼파라미터의 튜닝 가능성은 튜닝을 통해 얻을 수 있는 성능 향상의 정도를 측정한 것이다. LSTM의 경우 학습률과 네트워크 크기가 가장 중요한 하이퍼파라미터인 반면, 배칭과 모멘텀은 성능에 큰 영향을 미치지 않는다. 일부 연구는 수천 개의 미니 배치 크기를 옹호했지만, 다른 연구는 2에서 32 사이의 미니 배치 크기에서 최상의 성능을 발견했다.
견고성
학습의 고유한 확률성은 경험적 하이퍼파라미터 성능이 반드시 실제 성능이 아님을 직접적으로 의미한다. 하이퍼파라미터, 무작위 시드 또는 동일한 알고리즘의 다른 구현에 대한 단순한 변화에 견고하지 않은 방법은 상당한 단순화와 견고화 없이 임무 중요 제어 시스템에 통합될 수 없다. 결과적으로 하이퍼파라미터 선택은 예측 성능뿐만 아니라 변경되거나 잡음이 있는 입력 조건에서 모델 출력의 견고성과 안정성에도 영향을 미칠 수 있다. 특히 강화 학습 알고리즘은 많은 수의 무작위 시드에 걸쳐 성능을 측정하고 하이퍼파라미터 선택에 대한 민감도를 측정해야 한다. 적은 수의 무작위 시드로 평가하는 것은 높은 분산으로 인해 성능을 적절히 포착하지 못한다. DDPG(Deep Deterministic Policy Gradient)와 같은 일부 강화 학습 방법은 다른 방법보다 하이퍼파라미터 선택에 더 민감하다.
최적화
하이퍼파라미터 최적화는 주어진 테스트 데이터에서 사전 정의된 손실 함수를 최소화하는 최적 모델을 산출하는 하이퍼파라미터 튜플을 찾는다. 목적 함수는 하이퍼파라미터 튜플을 받아 관련 손실을 반환한다. 일반적으로 이러한 방법은 경사 기반이 아니며, 대신 미분 없는 최적화 또는 블랙 박스 최적화의 개념을 적용한다. 일반적인 기법으로는 그리드 검색, 무작위 검색, 베이지안 최적화가 있지만, 출처는 이러한 세부 사항을 명시하지 않는다.
재현성
하이퍼파라미터 튜닝 외에도 머신 러닝은 파라미터와 결과를 저장하고 구성하며 재현 가능하도록 보장하는 것을 포함한다. 이를 위한 견고한 인프라가 없는 경우, 연구 코드는 종종 빠르게 진화하며 기록 유지 및 재현성과 같은 필수 측면을 손상시킨다. 머신 러닝을 위한 온라인 협업 플랫폼은 과학자들이 실험, 데이터, 알고리즘을 자동으로 공유, 구성, 논의할 수 있게 함으로써 더 나아간다. 재현성은 특히 딥 러닝 모델에서 어려울 수 있다. 예를 들어, 연구에 따르면 딥 러닝 모델은 난수 생성기의 무작위 시드 선택에 매우 크게 의존한다.
같이 보기
- 하이퍼 휴리스틱
- 재현성 위기