블라디미르 바프니크는 소련 태생의 수학자이자 컴퓨터 과학자로, 통계적 학습 이론을 공동 창시하고 서포트 벡터 머신(SVM)을 공동 발명한 것으로 가장 잘 알려져 있다. SVM은 2012년 이후 딥러닝이 부활하기 전까지 머신러닝에서 가장 널리 사용된 알고리즘 중 하나이다.
통계적 학습 이론
1936년 소련에서 태어난 바프니크는 모스크바의 제어 과학 연구소에서 일했으며, 1960년대부터 알렉세이 체르보넨키스와 함께 그들의 이니셜을 딴 VC 이론으로 알려지게 된 이론을 개발했다. VC 이론은 유한한 데이터로 훈련된 학습 알고리즘이 새롭고 보지 못한 예제에 잘 일반화될 수 있는 조건을 수학적으로 이해하기 위한 틀을 제공하며, 함수 클래스의 복잡성을 측정하는 VC 차원 개념을 통해 공식화된다. 이 연구는 지도 학습 분야에 훈련 데이터에 밀접하게 맞추는 것과 과적합을 피하는 것 사이의 균형을 추론하기 위한 원리 있는 이론적 기반을 제공했으며, 이는 이후 신경망에서 정규화 및 드롭아웃과 같은 기법을 통해 다루어졌다.
서포트 벡터 머신
1990년 미국으로 이주하여 AT&T 벨 연구소에 합류한 후, 바프니크는 코리나 코르테스 등 동료들과 함께 1990년대 초 현대적인 서포트 벡터 머신을 개발했다. 이는 기존의 선형 분류기 아이디어를 "커널 트릭"으로 확장한 것으로, 커널 트릭은 데이터를 암묵적으로 고차원 공간에 매핑하여 SVM이 비선형 결정 경계를 찾을 수 있게 한다. VC 이론의 일반화 보장에 기반하여 SVM은 1990년대와 2000년대를 통해 신경망에 대한 지배적이고 수학적으로 잘 이해된 대안이 되었으며, 텍스트 분류, 생물정보학, 컴퓨터 비전에서 널리 사용되었다. 이 시기는 두 번째 AI 겨울 이후 자금이 줄어들면서 신경망 연구가 인기를 잃었던 때였다.
이후 경력
바프니크는 이후 NEC 연구소, 페이스북 AI 연구(현재 메타 AI의 일부)에서 일했으며, 컬럼비아 대학교와 런던 대학교에서 교수로 재직했다. 그의 1995년 저서 《통계적 학습 이론의 본질》은 여전히 표준 참고 자료로 남아 있다. 충분한 데이터와 계산 능력이 확보되면서 종단 간 경사 하강법 훈련이 실용화되자 대부분의 대규모 지각 작업에서 SVM은 딥 신경망에 의해 결국 대체되었지만, 바프니크의 이론적 틀은 연구자들이 일반화, 표본 복잡성, 그리고 주어진 양의 훈련 데이터가 지원할 수 있는 한계에 대해 사고하는 방식에 계속 영향을 미치고 있다.