크로스 엔트로피는 정보 이론과 머신러닝의 기본 개념으로, 분류 문제의 손실 함수로 사용됩니다. 이는 두 확률 분포, 즉 실제 분포(주로 실제 레이블)와 예측 분포(모델의 출력) 간의 비유사성을 정량화합니다. 신경망의 맥락에서 크로스 엔트로피는 이미지 분류, 자연어 처리, 음성 인식과 같은 작업을 위한 모델을 훈련하는 데 널리 사용됩니다.
정의
이산 사건 집합에 대한 두 확률 분포 \(p\)(실제)와 \(q\)(예측)에 대해 크로스 엔트로피는 다음과 같이 정의됩니다:
\[ H(p, q) = -\sum_{x} p(x) \log q(x) \]
분류에서 \(p\)는 일반적으로 실제 클래스가 확률 1이고 나머지는 0인 원-핫 인코딩 벡터이며, \(q\)는 모델의 출력 확률(예: 소프트맥스 레이어에서)입니다. 그러면 크로스 엔트로피는 실제 클래스의 음의 로그 우도로 단순화되며, 종종 다음과 같이 작성됩니다:
\[ L = -\log q(y_{\text{true}}) \]
여기서 \(y_{\text{true}}\)는 올바른 클래스 인덱스입니다.
머신러닝에서의 역할
크로스 엔트로피는 다중 클래스 분류의 표준 손실 함수입니다. 이는 높은 신뢰도로 잘못된 예측을 처벌하여 모델이 올바른 클래스에 높은 확률을 할당하도록 유도합니다. 평균 제곱 오차와 달리 크로스 엔트로피는 소프트맥스 출력과 잘 작동하며, 예측이 틀렸을 때 더 강한 기울기를 제공하여 더 빠른 수렴을 가능하게 합니다. 이는 두 분포 간의 상대 엔트로피를 측정하는 쿨백-라이블러 발산과 밀접하게 관련되어 있으며, 실제 분포가 고정된 경우 크로스 엔트로피를 최소화하는 것은 KL 발산을 최소화하는 것과 동일합니다.
응용
크로스 엔트로피는 다양한 머신러닝 영역에서 사용됩니다. 딥러닝에서는 이미지 인식을 위한 합성곱 신경망(CNN)과 시퀀스 작업을 위한 순환 신경망을 포함한 분류 네트워크의 기본 손실입니다. 자연어 처리에서는 시퀀스에서 다음 토큰을 예측하는 언어 모델링과 대규모 언어 모델에 사용되는 트랜스포머 기반 아키텍처에서 사용됩니다. 또한 크로스 엔트로피는 강화 학습의 정책 그래디언트 방법과 비지도 학습의 변분 오토인코더에도 사용됩니다.
변형 및 확장
특정 문제를 해결하기 위해 크로스 엔트로피의 여러 변형이 존재합니다. 범주형 크로스 엔트로피는 다중 클래스 분류를 처리하고, 이진 크로스 엔트로피는 이진 분류 작업에 사용됩니다. 가중 크로스 엔트로피는 불균형 데이터 세트를 처리하기 위해 클래스에 다른 가중치를 할당합니다. 크로스 엔트로피의 수정인 포컬 손실은 쉬운 예제의 가중치를 낮추어 어려운 예제에 집중함으로써 객체 감지 성능을 향상시킵니다. 지식 증류에서는 온도 스케일링을 사용한 부드러운 버전의 크로스 엔트로피가 큰 교사 모델에서 작은 학생 모델로 지식을 전달합니다.
다른 개념과의 관계
크로스 엔트로피는 정보 이론과 깊이 연결되어 있으며, 여기서 \(q\)에 최적화된 코드를 사용하여 분포 \(p\)의 사건을 인코딩하는 데 필요한 평균 비트 수를 나타냅니다. 머신러닝에서는 원시 로짓을 확률로 변환하는 소프트맥스 활성화 함수와 자주 함께 사용됩니다. 소프트맥스와 크로스 엔트로피의 조합은 기울기가 예측 확률과 실제 레이블 간의 차이로 단순화되므로 수치적으로 안정적이고 효율적입니다. 이 속성은 대부분의 현대 신경망 프레임워크에서 선호되는 선택이 되게 합니다.
역사적 배경
크로스 엔트로피의 개념은 1940년대 클로드 섀넌의 정보 이론 연구에서 비롯되었습니다. 이후 통계 역학에 채택되었고, 그 다음 머신러닝에 도입되었습니다. 크로스 엔트로피가 손실 함수로 사용되기 시작한 것은 1980년대와 1990년대 신경망의 부상과 함께, 특히 역전파 알고리즘을 통해 두드러졌습니다. 오늘날 이는 지도 학습의 초석으로, TensorFlow 및 PyTorch와 같은 모든 주요 딥러닝 라이브러리에 구현되어 있습니다.