로그 손실(log loss)은 교차 엔트로피 손실(cross-entropy loss)이라고도 하며, 확률적 분류 작업에서 사용되는 손실 함수입니다. 이는 예측된 확률 분포와 실제 레이블 분포 간의 차이를 정량화합니다. 머신러닝에서 로그 손실은 훈련 중에 최소화되어 모델의 보정(calibration)과 정확도를 향상시킵니다. 이 함수는 확신이 있지만 틀린 예측에 높은 패널티를 부여하므로, Neural network 분류기 및 Large language model과 같이 확률적 출력이 필요한 작업에서 특히 효과적입니다.
수학적으로, 실제 레이블 \(y \in \{0,1\}\)과 예측 확률 \(p \in [0,1]\)을 가진 단일 예제에 대해 로그 손실은 \(- [y \log(p) + (1-y) \log(1-p)]\)로 정의됩니다. 다중 클래스 문제의 경우 \(- \sum_{c=1}^{C} y_c \log(p_c)\)로 일반화되며, 여기서 \(C\)는 클래스 수입니다. 이 함수는 로지스틱 회귀에서 볼록하므로, Adam (Optimizer) 및 Stochastic Gradient Descent Variants와 같은 경사 기반 최적화 방법이 전역 최솟값으로 수렴함을 보장합니다.
기원 및 이론적 기초
로그 손실의 개념은 정보 이론, 특히 1940년대 클로드 섀넌(Claude Shannon)이 도입한 교차 엔트로피 개념에 뿌리를 두고 있습니다. 교차 엔트로피는 모델 분포를 사용하여 한 분포의 사건을 인코딩하는 데 필요한 평균 비트 수를 측정합니다. 통계적 학습에서 로그 손실을 최소화하는 것은 확률적 모델 하에서 관찰된 데이터의 가능도를 최대화하는 것과 동일합니다. 이러한 연결은 1950년대와 1960년대에 Bernard Widrow와 같은 통계학자들에 의해 공식화되었으며, 초기 패턴 인식 시스템에 적용되었습니다.
Machine learning의 맥락에서 로그 손실은 로지스틱 회귀와 이후 Deep learning의 부상과 함께 분류의 표준 손실 함수가 되었습니다. Neural network 훈련에서의 사용은 1980년대와 1990년대에 역전파 알고리즘과 함께 널리 보급되었습니다. 오늘날 로그 손실은 현대 AI 시스템에서 사용되는 많은 Loss Functions의 기본 구성 요소입니다.
현대 AI에서의 응용
로그 손실은 다양한 영역의 지도 분류 작업에서 널리 사용됩니다. Natural language processing 및 OpenAI와 Google DeepMind가 개발한 Large language model에서 로그 손실은 사전 훈련 중 시퀀스의 다음 토큰을 예측하는 데 사용됩니다. 예를 들어, 트랜스포머 기반 모델에서 출력 레이어는 소프트맥스를 적용하여 어휘에 대한 확률 분포를 생성하며, 훈련 목표는 이러한 예측과 실제 다음 토큰 간의 로그 손실을 최소화하는 것입니다.
컴퓨터 비전에서 로그 손실은 이미지 분류 및 객체 탐지에 사용됩니다. 예를 들어, Residual Network (ResNet) 아키텍처는 분류 헤드에 로그 손실을 자주 사용합니다. 또한 의료 영상에서 로그 손실로 훈련된 모델은 스캔에서 질병을 진단하는 데 도움이 되며, 여기서 보정된 확률은 의사 결정에 중요합니다.
전통적인 분류 외에도 로그 손실은 순위 및 추천 시스템에서 사용되며, 클릭률 최적화에 도움이 됩니다. Reinforcement Learning from AI Feedback (RLAIF)와 같은 Reinforcement learning 변형에서 로그 손실은 모델 출력을 인간 선호도와 정렬하는 데 사용될 수 있습니다.
속성 및 장점
로그 손실은 제곱 오차와 같은 다른 손실 함수보다 선호되는 여러 바람직한 속성을 가지고 있습니다. 첫째, 엄격히 적절한(strictly proper) 손실 함수로, 최적 예측이 실제 클래스 확률이 되도록 하여 잘 보정된 모델을 장려합니다. 둘째, 매끄러운 경사를 제공하여 경사 하강법을 통한 효율적인 최적화를 용이하게 합니다. 셋째, 확신이 있지만 틀린 예측에 큰 패널티를 부여하여 안전이 중요한 응용 분야에서 유용할 수 있습니다.
그러나 로그 손실은 이상치에 민감하며 잘못 레이블된 예제에 의해 지배될 수 있습니다. 이를 완화하기 위해 쉬운 예제의 가중치를 낮추는 포컬 손실(focal loss)과 같은 변형이 제안되었습니다. 실제로는 과신을 방지하기 위해 Label Smoothing과 같은 기법이 사용됩니다.
다른 손실 함수와의 비교
로그 손실은 서포트 벡터 머신에서 사용되는 힌지 손실(hinge loss)과 자주 비교됩니다. 힌지 손실은 마진 최대화에 초점을 맞추는 반면, 로그 손실은 확률적 해석을 제공하며 신뢰 점수가 필요한 작업에 더 적합합니다. 회귀 작업에서는 평균 제곱 오차가 일반적이지만, 문제가 분류로 구성되지 않는 한 로그 손실은 직접 적용할 수 없습니다.
다중 클래스 설정에서 로그 손실은 범주형 교차 엔트로피와 동일합니다. 또한 두 확률 분포 간의 차이를 측정하는 쿨백-라이블러 발산(Kullback-Leibler divergence)과도 관련이 있습니다. 로그 손실을 최소화하는 것은 실제 분포와 예측 분포 간의 KL 발산을 최소화하는 것과 동일합니다.
구현 및 실용적 고려 사항
실제로 로그 손실은 TensorFlow 및 PyTorch와 같은 대부분의 딥러닝 프레임워크에서 구현됩니다. 예측 확률의 합이 1이 되도록 소프트맥스 활성화 함수와 함께 자주 사용됩니다. 수치적 안정성은 언더플로우나 오버플로우를 방지하기 위해 로그-섬-엑스프(log-sum-exp) 기법을 사용하여 달성됩니다.
훈련 중 로그 손실은 일반적으로 미니배치 경사 하강법을 사용하여 최소화됩니다. Learning Rate Scheduling의 선택은 수렴에 큰 영향을 미칠 수 있습니다. Dropout 및 Batch Normalization과 같은 정규화 기법은 로그 손실을 최적화할 때 과적합을 방지하기 위해 자주 사용됩니다.
이진 분류의 경우 로그 손실은 베르누이 분포의 음의 로그 가능도로 해석될 수 있습니다. 다중 클래스의 경우 범주형 분포의 음의 로그 가능도입니다. 이러한 확률적 기반은 확률을 출력하는 모델에 자연스러운 선택이 되게 합니다.
향후 방향
AI 모델이 더 복잡해짐에 따라 로그 손실은 훈련 목표의 초석으로 남아 있습니다. 그러나 연구는 불확실성을 더 잘 포착하거나 노이즈가 있는 레이블에 더 강건한 대체 손실 함수를 탐구하고 있습니다. 예를 들어, Generative AI에서 로그 손실은 판별자와 생성자 훈련에 사용되지만, 바서슈타인 손실(Wasserstein loss)과 같은 새로운 목표도 연구되고 있습니다.
Artificial intelligence 안전의 맥락에서 모델이 잘 보정되도록 보장하는 것이 중요합니다. 로그 손실은 보정을 직접적으로 다루므로 신뢰할 수 있는 AI 시스템을 개발하는 데 필수적인 도구입니다. 2025년 현재 로그 손실은 학계와 산업계의 대부분의 분류 작업에서 기본 선택으로 계속 사용되고 있습니다.