정규화(Normalization)는 서로 다른 척도로 측정된 값을 개념적으로 공통된 척도로 조정하는 데 사용되는 통계 기법으로, 종종 평균을 내거나 비교하기 전에 적용된다. 가장 단순한 형태의 정규화는 데이터를 재조정하며, 더 정교한 조정은 전체 확률 분포를 정렬하는 것을 목표로 한다. 이 용어는 점수 분포를 정규 분포에 맞출 수 있는 교육 평가와 같은 분야와, 모델 훈련을 안정화하고 가속화하는 데 도움이 되는 Machine learning 분야에서 나타난다.
통계학에서 정규화 프레임워크에는 평균이 0이고 표준 편차가 1이 되도록 데이터를 이동하고 확장하는 표준 점수(또는 Z-점수)가 포함된다. 이러한 정규화된 값은 위치와 산포의 영향을 제거하여 데이터 세트 간의 비교를 가능하게 한다. 백분위수와 같은 일부 정규화는 분포 간의 분위수를 정렬한다. 이러한 비율은 측정값이 비율 척도에 있어야 의미가 있으며, 이는 측정값 간의 비율이 의미 있음을 뜻한다.
역사
정규화의 개념은 18세기부터 19세기까지 Abraham De Moivre, Pierre-Simon Laplace, Carl Friedrich Gauss와 같은 수학자들이 정규 분포를 연구하면서 등장했다. 표준 정규 분포(평균 0, 표준 편차 1)로의 표준화는 정규화로 알려지게 되었다.
표본 값과 모집단 평균의 차이를 모집단 표준 편차로 나눈 값으로 정의되는 Z-점수는 20세기 초 Karl Pearson과 Ronald Fisher와 같은 통계학자들에 의해 공식화되었다. 그들의 통계적 추론과 가설 검정에 대한 연구는 이 접근법을 대중화했다.
William Sealy Gosset은 Guinness 양조장에서 근무하면서 작은 표본 근사 - 작은 데이터 세트에 대해 더 높고 좁게 나타나는 정규 분포에 대한 조정 - 를 다루었다. 1908년 "Student"라는 가명으로 출판한 그의 연구는 Student의 t-분포가 되었고, 이후 Fisher에 의해 확장되었다. 이는 작은 표본 크기를 위한 초기 정규화 기법이었다.
특성 스케일링과 배치 정규화
20세기 중반 다변량 통계와 컴퓨터의 부상과 함께, 서로 다른 단위를 가진 더 큰 데이터 세트를 정규화하는 방법이 등장했는데, 예를 들어 최소-최대 스케일링과 로버스트 스케일링이 있다. 이러한 기법은 총칭하여 특성 스케일링으로 알려졌으며, 20세기 후반 패턴 인식 및 신경망과 같은 분야에서 중요해졌다.
2015년 Sergey Ioffe와 Christian Szegedy는 심층 신경망의 훈련을 안정화하고 가속화하도록 설계된 기법인 배치 정규화를 제안했다. 이 방법은 훈련 중 네트워크 내의 계층에 대한 입력을 정규화하여 더 높은 학습률을 허용하고 초기화에 대한 민감도를 줄이며, 많은 Deep learning 아키텍처에서 표준 구성 요소가 되었다.
정규화의 유형
각각 고유한 특성을 가진 여러 일반적인 정규화 유형이 존재한다:
- Z-점수(표준 점수): 평균과 표준 편차를 기반으로 재조정하여 값이 평균에서 표준 편차의 몇 배만큼 떨어져 있는지를 나타내는 무차원 양을 생성한다.
- 최소-최대 스케일링: 최소값을 빼고 범위로 나누어 데이터를 일반적으로 [0, 1]의 고정 범위로 재조정한다. 이는 이상값에 민감하다.
- 로버스트 스케일링: 중앙값과 사분위 범위를 사용하여 최소-최대 스케일링 추정보다 이상값에 덜 민감하게 만든다.
- 백분위수 정규화: 각 값에 백분위수 순위를 할당하여 분포를 0에서 100까지 정렬한다. 이는 표준화 시험에서 흔히 사용된다.
- 분위수 정규화: 서로 다른 분포의 분위수를 정렬하여 여러 데이터 세트의 통계적 속성이 유사하도록 보장한다.
이러한 방법은 대부분의 경우 무차원적이며, 즉 척도 불변(단위 없음)이지만, 분산-평균 비율(σ²/μ)과 같은 일부 비율은 단위를 가지며 척도 불변이 아니다.
머신러닝에서의 응용
정규화는 Artificial intelligence 모델을 훈련하는 데 실용적이다. 특성 스케일링은 서로 다른 단위를 가진 입력 변수(예: 센티미터 단위의 키와 킬로그램 단위의 몸무게)가 모델에 동등하게 기여하도록 보장하여, 특정 변수가 거리 계산이나 기울기 업데이트를 지배하는 것을 방지한다. Neural network 훈련에서 정규화된 입력은 기울기 소실 또는 폭주 위험을 줄여 안정적인 수렴을 가능하게 한다.
이 개념은 원시 입력을 넘어 확장된다. 배치 정규화는 네트워크 내부에서 작동하여 각 계층의 활성화를 정규화한다. 이는 표준화와 심층 네트워크에 도움이 되며, 현대 대규모 언어 및 컴퓨터 비전 시스템에서 널리 채택되었다.
고려 사항 및 관련 개념
정규화의 사용은 데이터가 자연적으로 경계를 가질 때와 구별되며, 과도한 정규화는 상대적 차이를 축소할 수 있다. Machine learning 실무에서 학자들은 데이터 분할 후에 특성 스케일링을 적용하여 데이터 누출을 방지해야 하며, 특정 알고리즘(예: 트리 기반 방법)은 단조 변환에 불변하여 스케일링이 덜 필요하다는 점을 종종 강조한다.
정규화는 또한 이론 통계학에서의 더 넓은 개념인 중심량(pivotal quantity)과 관련이 있다. 중심량은 표본 분포가 관측 값의 모수에 의존하지 않는 함수이며, 미지수 없이 계산할 수 있을 때 보조 통계량(ancillary statistic)이 된다. 표준화는 종종 가설 검정에 사용되는 이러한 중심량으로 이어진다.