아서 새뮤얼(1901-1990)은 IBM의 미국 컴퓨터 과학자로, 최초의 자가 학습 게임 프로그램 중 하나인 체커 게임 시스템을 개발했으며, 1959년 획기적인 논문에서 "머신 러닝"이라는 용어를 만들었다.
체커 프로그램
새뮤얼은 1950년대 IBM에서 체커 프로그램 개발을 시작했으며, IBM 701을 포함한 회사의 초기 컴퓨터에서 이를 실행했다. 고정된 전략을 직접 코딩하는 대신, 새뮤얼은 프로그램이 경험을 통해 개선되도록 설계했다. 프로그램은 자신과 인간 상대와 게임을 했고, 결과에 따라 위치 평가 함수의 가중치를 조정했으며, 이후 Reinforcement learning으로 공식화될 것의 초기 형태를 사용했다. 1962년 텔레비전으로 방송된 시연에서 프로그램이 강한 인간 체커 선수를 이겼고, 이는 기계가 명시적으로 재프로그래밍되지 않고도 자신의 성능을 향상시킬 수 있다는 아이디어에 대중의 폭넓은 관심을 끌었다.
"머신 러닝" 용어의 창안
1959년 논문 "체커 게임을 이용한 머신 러닝 연구"에서 새뮤얼은 이 분야를 "컴퓨터가 명시적으로 프로그래밍되지 않고 학습할 수 있는 능력"을 부여하는 것으로 정의했으며, 이 표현은 이후 수십 년간 머신 러닝의 표준적이면서도 비공식적인 정의가 되었다. 이 논문은 또한 시간차 학습과 유사한 아이디어를 소개했는데, 프로그램이 연속된 시간 단계에서 예측을 비교하여 평가를 조정하는 기법으로, 이후 Richard Sutton에 의해 공식화되고 명명되었으며 현대 강화 학습의 핵심이 되었다.
이후 경력과 영향
새뮤얼은 이후 스탠포드 대학에서 일했으며, John McCarthy와 함께 초기 시분할 시스템에 기여했고 1970년대까지 체커 프로그램을 계속 개선했다. 이후의 게임 시스템 기준으로는 좁은 범위였지만, 그의 체커 프로그램은 수십 년 후 AlphaGo와 특히 AlphaZero와 같은 시스템에서 다시 등장할 자기 대결 패러다임을 예고했다. 알파제로는 자기 대결만으로 바둑, 체스, 쇼기를 학습했다.
유산
새뮤얼의 체커 프로그램은 심각한 인간 선수에게 도전할 수 있을 정도로 게임을 학습한 최초의 컴퓨터 프로그램으로 널리 인용되며, 그가 만든 "머신 러닝"이라는 용어는 방법이 단순한 가중치 평가 함수에서 21세기의 심층 신경망과 대규모 언어 모델로 진화했음에도 불구하고 지속된 이름을 이 분야에 부여했다. 기계가 명시적 지시보다 경험을 통해 개선될 수 있다는 그의 시연은 Artificial intelligence라는 더 넓은 프로젝트의 초기 개념 증명으로 자주 인용된다.