클로드 섀넌(1916-2001)은 정보 이론의 아버지로 알려진 미국의 수학자이자 전기 공학자이다. 그의 1948년 논문 "통신의 수학적 이론"은 정보를 측정하고, 잡음이 있는 채널을 통해 전송하며, 압축하는 수학적 프레임워크를 확립했으며, 이는 사실상 현대 컴퓨팅과 디지털 통신의 모든 기반이 되었고, 이후 Anthropic의 클로드 모델 제품군의 이름을 지었다.
초기 작업과 석사 논문
섀넌은 미시간 대학교에서 수학과 전기 공학 학위를 취득한 후, 1937년 MIT에서 석사 논문을 완성했는데, 이 논문은 불 대수가 전기 스위칭 회로를 설계하고 단순화하는 데 사용될 수 있음을 보여주었으며, 이는 디지털 회로 설계의 기초적 통찰로, 이후 20세기 가장 중요한 석사 논문 중 하나로 불리게 되었다.
정보 이론
벨 연구소에 재직하는 동안, 섀넌은 1948년 "통신의 수학적 이론"을 발표하여 정보의 기본 단위로서 "비트"의 개념을 도입하고, 엔트로피를 정보 내용과 불확실성의 척도로 정의했으며, 데이터 압축과 잡음이 있는 채널에서의 무오류 전송에 대한 근본적 한계를 증명했다. 이 논문은 사실상 정보 이론 분야를 창시했고, 통신, 통계학, 그리고 결국 컴퓨터 과학을 재편했다.
체스, 암호학, 그리고 초기 AI 관심사
섀넌의 1950년 논문 "컴퓨터를 위한 체스 프로그래밍"은 기계가 체스를 둘 수 있는 방법에 대한 최초의 진지한 논의 중 하나였으며, 탐색과 평가 함수에 대한 아이디어를 도입하여 초기 체스 프로그램부터 딥 블루, 그리고 훨씬 나중에는 알파고와 알파제로에 이르기까지 이후의 게임 플레이 시스템에 영향을 주었다. 그는 또한 제2차 세계 대전 중 기밀 암호학 작업을 수행했으며, 그 작업을 바탕으로 암호 시스템의 이론적 보안에 대한 기초적 결과를 발표했다. 섀넌은 1956년 Dartmouth workshop에 참석했는데, 이 행사는 John McCarthy와 Marvin Minsky와 함께 인공지능 분야를 창립한 것으로 일반적으로 인정받는 사건이다.
후기 생애와 유산
장난기 많고 광범위한 지적 스타일로 알려진 섀넌은 정식 연구와 함께 저글링 로봇, 미로를 풀 수 있는 기계식 쥐, 그리고 다른 기이한 발명품들을 만들었다. 그는 1960년대 이후 적극적인 연구에서 대부분 물러났다. 엔트로피와 교차 엔트로피를 포함한 정보 이론의 개념은 현대 머신 러닝의 중심에 남아 있다: 신경망과 대규모 언어 모델을 훈련하는 데 사용되는 손실 함수는 일반적으로 섀넌의 프레임워크에서 직접 가져온 교차 엔트로피 측정이다. Anthropic은 이러한 기초적 역할을 인정하여 클로드 모델 제품군을 그의 이름을 따서 명명했으며, 그의 1948년 논문은 20세기 가장 많이 인용된 과학 작품 중 하나이다.