베이즈 추론은 새로운 증거에 비추어 가설의 확률을 수정하는 통계적 방법이다. 이는 베이즈 정리에 기반하며, 가설의 사후 확률이 그 가설 하에서 관측된 데이터의 가능도에 사전 확률을 곱한 값에 비례한다고 표현한다. 이 프레임워크는 불확실성을 정량화하고 데이터가 축적됨에 따라 신념을 갱신하는 원리적인 방법을 제공한다.
실제로 베이즈 추론은 알려지지 않은 매개변수를 확률 분포를 가진 확률 변수로 취급한다. 사전 분포는 데이터를 보기 전의 초기 가정을 인코딩하며, 사후 분포는 사전 분포와 가능도를 결합하여 갱신된 신념을 반영한다. 이를 통해 도메인 지식을 일관되게 통합할 수 있고, 점 추정치가 아닌 완전한 확률적 출력을 제공한다.
이 방법은 확률적 머신러닝의 핵심으로, 단일 값이 아닌 예측 분포를 출력하는 모델의 기반이 된다. 또한 의료 진단, 금융, 공학 등 불확실성 하에서 의사 결정을 내리는 분야에서도 사용된다.
수학적 기초
베이즈 정리는 일반적으로 P(H|E) = P(E|H) * P(H) / P(E)로 작성되며, 여기서 H는 가설, E는 증거를 나타낸다. 사전 확률 P(H)는 초기 타당성을 반영하고, 가능도 P(E|H)는 가설이 참일 경우 증거가 얼마나 그럴듯한지를 측정하며, 주변 가능도 P(E)는 결과를 정규화한다. 사후 확률 P(H|E)는 증거를 관찰한 후의 갱신된 신념을 나타낸다.
핵심 과제는 주변 가능도를 계산하는 것으로, 이는 종종 매개변수 공간에 대한 적분을 포함한다. 많은 모델에서 이 적분은 다루기 어려워 근사 방법으로 이어진다. 정확한 추론은 사후 분포와 사전 분포가 동일한 함수 형태를 갖는 켤레 사전 분포로 제한되며, 예를 들어 이진 데이터에 대한 베타-이항 모델이나 연속 데이터에 대한 정규-정규 모델이 있다.
근사 방법
정확한 추론이 불가능할 때 실무자들은 근사에 의존한다. 마르코프 체인 몬테카를로(MCMC) 방법은 메트로폴리스-헤이스팅스 알고리즘과 해밀턴 몬테카를로를 포함하며, 사후 분포에서 샘플링한다. 이는 정확하지만 계산 비용이 높다. 변분 추론은 대신 문제를 최적화로 재구성하여, 두 분포 사이의 쿨백-라이블러 발산을 최소화함으로써 더 단순한 분포로 사후 분포를 근사한다. 이 접근법은 더 빠르고 더 큰 데이터셋으로 확장 가능하여 Deep learning 응용에서 흔히 사용된다.
또 다른 계열로는 사후 최빈값 주변에 가우시안을 맞추는 라플라스 근사와 모멘트를 반복적으로 일치시키는 기대 전파가 있다. 각 방법은 정확성과 속도 사이에서 절충하며, 선택은 모델 복잡성과 사용 가능한 계산 자원에 따라 달라진다.
머신러닝에서의 역할
베이즈 추론은 네트워크 가중치에 사전 분포를 두고 예측 분포를 생성하는 베이즈 신경망을 통해 Machine learning에 영향을 미쳤다. 이러한 모델은 자율 주행 및 의료 영상과 같은 안전이 중요한 분야에서 유용한 보정된 불확실성 추정치를 제공한다. 가우시안 프로세스는 회귀 및 분류를 위한 고전적인 베이즈 비모수 접근법으로, 닫힌 형태의 예측 분포를 제공한다.
이 프레임워크는 또한 Generative AI 및 Large language model 연구에 나타나며, 베이즈 방법은 모델 보정과 출력의 불확실성 해석에 사용된다. 베이즈 최적화와 같은 기법은 하이퍼파라미터를 효율적으로 튜닝하는 데 도움을 주고, 베이즈 모델 선택은 증거를 사용하여 후보 아키텍처를 비교한다.
주목할 만한 학술 센터들이 이 분야를 발전시켰다. MIT CSAIL과 Stanford AI Lab은 변분 추론과 확률적 프로그래밍에서 기초 연구를 생산했다. BAIR (Berkeley AI Research)와 University of Toronto는 확장 가능한 베이즈 딥러닝에 기여했다. Google DeepMind와 OpenAI의 산업 연구 그룹은 이러한 아이디어를 강건한 모델 훈련과 불확실성 정량화에 적용한다.
응용 및 기법
베이즈 추론은 보상에 대한 불확실성을 확률적으로 모델링하는 Reinforcement Learning from AI Feedback (RLAIF)(AI 피드백을 통한 강화 학습)와 같은 방법의 기반이 된다. 또한 사후 신뢰도에 따라 적응형 훈련 일정을 가능하게 하여 Curriculum Learning과 관련이 있다. Stochastic Gradient Descent Variants 및 Adam (Optimizer)에서는 베이즈 영감을 받은 업데이트 규칙이 2차 정보나 노이즈를 통합하여 더 나은 일반화를 제공한다.
실제 응용에는 단순 베이즈 분류기가 간단한 베이즈 모델인 스팸 필터링, 사용자 선호도를 추정하는 추천 시스템, 네트워크의 이상 탐지가 포함된다. 의료 분야에서는 베이즈 적응형 임상 시험이 축적된 데이터에 따라 환자 할당을 조정한다. 로봇 공학에서는 확률적 센서 융합을 사용하여 동시 위치 추정 및 지도 작성(SLAM)을 가능하게 한다.
강점에도 불구하고 베이즈 추론은 사전 분포 선택에 민감할 수 있다. 연구자들은 이를 완화하기 위해 강건한 사전 분포와 진단 기법을 개발했다. 확장성은 여전히 과제이지만, 확률적 변분 추론의 발전으로 대규모 데이터셋에서도 실행 가능해졌다. 근사 방법은 계속 진화하여 고전 통계와 현대 Artificial intelligence 사이의 경계를 흐리게 하고 있다.
한계 및 미래 방향
주요 한계는 특히 고차원 모델에서의 계산 비용이다. MCMC는 느릴 수 있고, 변분 방법은 근사가 너무 제한적일 때 불확실성을 과소평가할 수 있다. 사전 분포 지정은 강점이자 위험이다: 잘못 선택된 사전 분포는 결과를 편향시킬 수 있다. 사전 분포에 대한 사후 민감도를 확인하는 것은 표준 관행이다.
미래 연구는 사후 분포를 빠르게 근사하도록 신경망이 학습하는 분할 추론과 Transformer (architecture) 아키텍처에 베이즈 아이디어를 통합하여 Neural network 출력에서 보정된 신뢰 점수를 제공하는 데 초점을 맞춘다. 또한 Data Augmentation과 베이즈 방법을 결합하여 사후 샘플링을 개선하고, Model Pruning과 결합하여 희소하고 해석 가능한 모델을 만드는 데 관심이 증가하고 있다. 계산 비용이 저렴해짐에 따라 완전한 베이즈 추론이 생산 시스템에서 더 일반화될 수 있다.
전반적으로 베이즈 추론은 증거로부터 학습하기 위한 엄격한 수학적 프레임워크를 제공하는 확률적 추론의 초석으로 남아 있다. 신뢰할 수 있는 불확실성 추정치에 대한 필요성이 산업 전반에서 더욱 절실해짐에 따라 Machine learning에서의 채택은 꾸준히 증가해 왔다.