목적 함수(Objective function)는 손실 함수, 비용 함수 또는 효용 함수라고도 불리며, Machine learning에서 학습 과정의 목표를 정의하는 수학적 표현입니다. Artificial intelligence에서 목적 함수는 모델의 예측이 원하는 결과와 얼마나 잘 일치하는지를 정량화하며, 최적화 알고리즘이 최소화하거나 최대화하려는 스칼라 값을 제공합니다. 목적 함수의 선택은 모델이 학습하는 내용의 근본을 결정하며, 정확도, 견고성 및 일반화 능력에 영향을 미칩니다.
지도 학습에서 목적 함수는 일반적으로 예측 출력과 실제 라벨(ground-truth) 사이의 불일치를 측정합니다. 회귀 작업의 경우, 큰 오류를 더 강하게 처벌하는 평균 제곱 오차(Mean Squared Error), 이상치에 더 견고한 평균 절대 오차(Mean Absolute Error)가 흔히 사용됩니다. 분류의 경우, 특히 Neural network 모델에서 교차 엔트로피 손실(Cross-Entropy Loss)이 널리 사용되며, 역전파를 통한 효율적인 훈련을 위한 매끄러운 기울기를 제공합니다. 이러한 함수는 확률적 경사 하강법(SGD) 또는 Adam과 같은 기반의 경사 최적화를 사용하여 최소화되는데, 이 최적화는 모델 매개변수를 반복적으로 조정하여 손실을 줄입니다.
딥러닝에서의 역할
Deep learning에서 목적 함수는 대규모 모델과 다양한 작업의 복잡성을 해결하기 위해 발전해 왔습니다. Transformer (architecture) 기반 아키텍처(예: Large language model에서 사용되는 것들)의 경우, 훈련은 종종 교차 엔트로피 손실과 함께 다음 토큰 예측(Next-Token Prediction)을 사용하여 모델이 시퀀스에서 정확한 다음 단어에 높은 확률을 할당하고 있습니다. 이 목적 함수는 대규모 데이터 세트와 엄청난 계산 자원을 함께 해 자연어 이해 및 생성에서 혁신을 가능하게 했습니다.
강화 학습에서는 누적 보상을 최대화하는 데 초점을 맞춘 다른 종류의 목적 함수가 도입됩니다. 여기서 목적은 종종 미래 보상의 할인 합이며, 유형 레디시(Gradient) 기반 방법과 같은 알고리즘은 이 기대 수익을 직접 최적화합니다. 반면, 비지도 학습 목적 함수들(예: 오토인코더의 재구성 손실 또는 자기 지도 방법의 대조 손실)은 명시적 라벨 없이 유용한 기저를 학습하는 것을 목표로 합니다. 이러한 다양한 목적은 현대 AI 연구에서의 학습 패러다임의 폭을 반영합니다.
역사적 발전
목적 함수에 대한 초기 작업은 20세기 중반으로 거슬러 올라가며, Bernard Widrow 같은 선구자들은 패턴 분류를 위해 평균 제곱 오차를 최소화하는 적응 선형 요소(Adaline)를 개발했습니다. Frank Rosenblatt이 1958년에 소개한 퍼셉트론은 단순한 오류 기반 업데이트 규칙을 사용했지만, 미분 점수를 갖춘 목적함수는 부족했습니다. 이 분야는 1980년대 다층 네트워크에서 미분 가능한 손실 함수를 요구하는 역전파(backpropagation)의 보급으로 크게 발전했습니다. Xerox PARC와 MIT CSAIL 같은 기관의 연구자들이 이러한 방법을 체계화하는 데 기여했습니다.
1990년대와 2000년대에는 마진을 최대화하는 힌지 손실을 최적화하는 지원 벡터 머신과, 우도를 최대 차원의 연속성 있는 모델이 상승했습니다. Thomas G. Dietterich와 Michael I. Jordan은 각각 통계적 학습 이론과 확률적 그래픽 모델에 기반을 마련하여 목적 함수의 설계 및 분석 방식을 형성했습니다. 2012년 이후의 딥러닝 부활은 Stanford AI Lab와 University of Toronto 연구자들이 이끈 것으로, 이미지 인식이나 음성 처리 같은 작업에서 대규모 네트워크를 학습시키는 잘 선택된 목적함 (Objective)의 중요성을 더욱 강조했습니다.
유형 및 변형
목적 함수는 수학적 특성과 의도된 사용에 따라 분동될 수 있습니다. 로지스틱 회귀에서사용되는 볼록 목적 함수는 전역 최소값을 보장하고 최적화하기 쉽습니다. 심층 네트워크에서 널리 발생하는 비볼록 목적 함수는 많은 로컬 최소점이 있을 수 but, 경험적 증거는 특곱 경로 하강이 좋은 점수를 자주 찾는다는 것을 보여줍니다. L1 및 L2 규제항 같은 규제항 (regularization)은 종종 목적 함수에 추가되어가 큰 가중치를 처벌하여 과적합을 방지하는 데 도와 줍니다.
생성 모델의 경우, 생성적대 신경망 (GAN)에서의 생성기와 감별기를 대립시키는 생성 손실(adversarial loss) 같은 목적은 미니-최대 게임을 만듭니다. 변형 자동 인코더(VAE)는 KL 발산 항과 결합된 재구성 손실을 사용하여 잠재 기하를 학습합니다. Generative AI에서 이러한 목적 함수는 모델이 정확하고 생생한 이미지, 오디오, 텍스트를생성 가능하게 합니다. OpenAI 및 Google DeepMind 같은 기업들은 대규모 모델의 특정 목적을 개발하여 지도 미세 조정과 인간의 피드백을 결합함으로써 사용자 의도에 맞는 출력을 정렬합니다.
실제 고려사항
효과적인 목적 함수를 설계하려면 작업 성능, 훈련 안정성, 계산 효율성 등 여러 요인의 균형을 맞춰야 합니다. 잘못 선택된 목적 함수는 사라를 수 있는용 샤라기 그라디 엔트리, 급격한 기준 손실 또는 편향된 예측으로 이어질 수 있습니다. 예를 들어, 불균형 분류에서 단순한 교차 엔트로피 손실은 우성을 선호하는 경향이 있어 가중 손실이나 초점 손실을 사용하게 합니다. Neural network 훈련에서는 학습률 스케줄과 손실 스케일링이 목적 함수와 함께 부합하게 되어 수렴을 보장합니다.
정확도, F1 점수 또는 BLEU 같은 평가 지표는 목적 함수와 다르지만, 이들의 설계에 정보를 주는 경우가 많습니다. 연구자들은 비 차분 가능에서 미분 가능의 근사치인 대체 목적을 사용할 수 있습니다. 에이전트가 원하는 행동(바람직한 정렬)으로 이끌 수 있습니다. 이와 같이 실제와 같은 문제점은조직 또는 오한몇 가지 Amazon Web Services 또는 Microsoft Azure에서 배포되는 시스템에서 수동적인 목표 정교화가 필요한 실용적 문제점을 드러냅니다.
미래 방향
AI 모델이 규모와 응용성 측면에서 성장함에 따라 목적 함수는 멀티태스크 학습, 메타학습, 그리고 인간 가치와의 정렬을 통합하는 쪽으로 진화하고 있습니다. 정확성과 공정성 같은 상충하는 목표를 균형있게 다루는 다목적 최적화는 활발히 연구 중인 분야입니다. Anthropic 및 다른 연구소들은 유용성과 무해성을 촉진하는 목적을 탐구하며, 종종 인간이 피드백에서 파생된 기본에 표현된 손실을 사용합니다. 도메인에 걸쳐 일반화되는 견고한 목표의 개발은 여전히 중요한 도전 과제입니다. BAIR (Berkeley AI Research)와 Carnegie Mellon University 같은 학술 그룹들이 기여하며 삶고 있습니다.
파운데이션 모델과 자기 감독과 학습 같은 새로운 패러다임은 라벨 없는 데이터에서 광범위한 패턴을 캡처하는 목적에 의존합니다. 유사한 샘플을 끌어당기고 유사하지 않은 샘플을 밀어내는 대조 학습은 시각 및 언어 표현에서 효과적임이 증명되었습니다. 미래의 목적 함수는 인과 추론, 불확실 성 정량화 및 대화형 학습을 포함할 수 있으며, AI 시스템이 달성할 수 있는 한계를 확장합니다. 이러한 오목 함수의 지속적 정교화는 Artificial intelligence 연구와 응용의 추 발전하는 길을 계속 형성할 것입니다.