손실 함수는 비용 함수 또는 목적 함수라고도 불리며, 모델의 예측 출력과 실제 목표 값 사이의 불일치를 측정하는 수학적 공식이다. 머신 러닝에서 이러한 함수는 주어진 데이터 포인트 또는 배치에서 모델이 얼마나 잘 수행하는지를 정량화하는 스칼라 오류 값을 생성한다. 훈련 중 최적화 과정은 모델 매개변수를 반복적으로 조정하여 이 손실을 최소화하며, 손실 함수의 선택은 학습 역학과 최종 모델 동작에 직접적으로 영향을 미치는 중요한 설계 결정이 된다.
손실 함수의 개념은 현대 딥 러닝보다 앞서며, 고전 통계학과 최적화 이론에 뿌리를 두고 있다. 선형 회귀의 초기 연구는 제곱 오차 손실을 사용했고, 로지스틱 회귀는 크로스 엔트로피와 유사한 목적 함수를 도입했다. 손실 함수가 학습 알고리즘의 핵심 구성 요소로 공식화된 것은 1980년대와 1990년대에 역전파를 통한 신경망 훈련의 발전을 통해 두드러졌으며, 버나드 위드로와 같은 연구자들이 적응 신호 처리와 오류 최소화 기법에 기여했다.
회귀 손실
연속 목표 예측 작업의 경우 평균 제곱 오차(MSE)는 가장 널리 사용되는 손실 함수 중 하나이다. MSE는 예측 값과 실제 값 사이의 제곱 차이의 평균을 계산하며, 큰 오류에 불균형적으로 더 큰 패널티를 부여한다. 수학적 단순성과 미분 가능성 덕분에 많은 회귀 문제에서 기본 선택이 되지만, 이상치에 대한 민감성은 노이즈가 많은 데이터 세트에서 문제가 될 수 있다.
평균 절대 오차(MAE)는 모든 오류를 선형적으로 처리하는 대안을 제공하며 이상치에 대한 견고성을 제공하지만, 0에서 매끄럽지 않은 기울기를 가진다. 후버 손실은 MSE와 MAE의 특성을 결합하여 작은 오류에는 2차적으로, 큰 오류에는 선형적으로 동작하며 델타 매개변수로 제어된다. 이 혼합 접근 방식은 견고한 회귀 시나리오에서 종종 선호된다.
분류 손실
크로스 엔트로피 손실은 로그 손실이라고도 불리며 분류 작업의 표준 목적 함수이다. 이진 분류의 경우 예측 확률 분포와 실제 레이블 사이의 발산을 측정한다. 이 함수는 확신이 있는 잘못된 예측에 크게 패널티를 부여하여 모델이 잘 보정된 확률을 출력하도록 장려한다. 다중 클래스 설정에서 범주형 크로스 엔트로피는 이를 여러 범주로 확장하며, 종종 최종 레이어의 소프트맥스 활성화와 함께 사용된다.
서포트 벡터 머신을 위해 개발된 힌지 손실은 결정 경계 거리 최대화에 초점을 맞춘 마진 기반 대안을 제공한다. 크로스 엔트로피와 달리 힌지 손실은 확률적 출력을 요구하지 않으며 잘 분류된 예제에 덜 민감하여 특정 설정에서 계산 효율적이다. 제곱 힌지 손실과 같은 변형은 더 부드러운 최적화를 위해 패널티 구조를 수정한다.
대조 및 순위 손실
대조 손실 함수는 얼굴 검증이나 체스 컴퓨터 위치 평가와 같은 유사성 학습을 포함하는 작업을 위해 설계되었다. 이러한 손실은 샘플의 쌍 또는 삼중항에 대해 작동하며, 유사한 항목을 함께 끌어당기고 다른 항목을 분리한다. 얼굴 인식 연구에서 대중화된 삼중항 손실은 앵커, 양성 샘플 및 음성 샘플을 사용하여 임베딩 공간에서 상대적 거리를 최적화한다.
순위 손실은 이 개념을 정렬된 목록으로 확장하며, 정보 검색 및 추천 시스템에서 일반적으로 사용된다. 쌍별 순위 손실은 양성 및 음성 항목의 상대적 순서를 비교하는 반면, LambdaRank와 같은 목록별 접근 방식은 전체 순위 목록을 최적화한다. 이러한 함수는 아마존 웹 서비스 제품 검색 및 기타 대규모 검색 시스템에서 특히 관련이 있다.
맞춤형 및 작업별 손실
많은 도메인은 특정 목표에 맞게 조정된 맞춤형 손실 함수를 요구한다. 생성형 AI에서 생성적 적대 신경망의 적대적 손실은 생성기를 판별기와 대립시켜 최소최대 최적화 문제를 만든다. 이미지 생성에 도입된 지각 손실은 원시 픽셀 대신 사전 훈련된 네트워크의 고수준 특징 표현을 비교하여 더 시각적으로 만족스러운 결과를 생성한다.
대규모 언어 모델 훈련의 경우 다음 토큰 예측은 일반적으로 어휘 분포에 대한 크로스 엔트로피 손실을 사용한다. 그러나 인간 피드백 기반 강화 학습은 모델 출력을 인간 판단과 정렬시키는 선호 기반 손실을 도입한다. 오픈AI 및 앤트로픽과 같은 기업은 유용성과 안전성을 위해 모델을 미세 조정하는 이러한 목적 함수의 변형을 사용한다.
손실 함수 속성 및 선택
손실 함수의 이론적 속성은 실제 효과에 영향을 미친다. 볼록성은 최적화에서 전역 최적성을 보장하지만, 현대 딥 네트워크는 비볼록 환경에서 작동한다. 미분 가능성은 기울기 기반 방법에 필요하며, 서브그래디언트 접근 방식은 힌지 손실과 같은 비매끄러운 함수를 처리한다. 일관성 속성은 대리 손실을 최소화하는 것이 분류에서 최적의 베이즈 오류를 달성하는지와 관련이 있다.
손실 함수 선택은 작업 특성, 데이터 분포 및 모델 아키텍처에 따라 달라진다. 불균형 데이터 세트의 경우 가중 변형 또는 쉬운 예제의 가중치를 낮추는 포컬 손실이 성능을 향상시킬 수 있다. 다중 작업 학습에서 결합 손실은 경쟁 목표를 균형 있게 조정하기 위해 신중한 가중치 설정이 필요하다. 실무자는 종종 여러 손실 함수를 실험하며, 선택이 수렴 속도와 최종 정확도에 크게 영향을 미칠 수 있기 때문이다.
최적화 및 손실 지형
손실 함수와 최적화 알고리즘 간의 상호 작용은 손실 지형을 형성한다. 마이클 조던과 동료들은 서로 다른 손실이 기울기 역학과 일반화에 어떻게 영향을 미치는지 연구했다. 손실 함수의 곡률은 학습률 선택과 Adam과 같은 적응형 최적화기의 효과에 영향을 미친다. 종종 더 나은 일반화와 관련된 평평한 최소값은 샤프니스 인식 최소화와 같은 손실 수정을 통해 장려될 수 있다.
정규화 항은 과적합을 방지하기 위해 손실 함수에 자주 추가된다. L1 및 L2 정규화는 큰 가중치에 패널티를 부여하는 반면, 드롭아웃은 확률적 정규화기로 작동한다. 이러한 추가는 효과적인 손실 지형을 수정하여 훈련 오류와 모델 복잡성 사이의 균형을 맞춘다.
최근 발전
현대 연구는 평균과 함께 분산을 예측하는 이분산 회귀 손실과 같은 불확실성을 통합하는 손실 함수를 탐구한다. 트랜스포머 아키텍처에서 손실 함수는 과신을 방지하기 위한 레이블 스무딩을 포함하여 시퀀스 간 작업에 맞게 조정되었다. 구글 딥마인드 및 기타 연구 기관은 자기 지도 학습을 위한 대조 손실을 조사하여 모델이 명시적 레이블 없이 표현을 학습할 수 있게 했다.
손실 함수 설계는 여전히 활발한 연구 영역이며, 이론적 작업은 손실 선택을 일반화 경계와 연결하고 실용적 혁신은 산업 응용에서 등장한다. 신경 아키텍처 검색에서와 같이 미분 불가능한 목적 함수에 대한 미분 가능한 근사의 개발은 설계 공간을 계속 확장하고 있다. 인공 지능 시스템이 더 복잡해짐에 따라 손실 함수가 모델 동작과 능력을 형성하는 역할은 연구와 배포 모두에서 점점 더 중심이 되고 있다.