퍼셉트론은 이진 분류기의 지도 학습을 위한 알고리즘으로, 숫자 벡터로 표현된 입력이 특정 클래스에 속하는지 여부를 결정하는 함수이다. 이는 선형 분류기의 한 유형으로, 가중치 집합과 특징 벡터를 결합하는 선형 예측 함수를 기반으로 예측을 수행한다. 퍼셉트론은 1958년 논문에서 프랭크 로젠블랫(Frank Rosenblatt)이 소개했으며, 해당 논문은 그 구조와 학습 절차를 상세히 기술했고, 인공지능과 머신러닝 역사상 가장 초기이자 가장 영향력 있는 모델 중 하나가 되었다.
1958년 논문은 감각(S), 연합(A), 반응(R) 단위라는 세 종류의 세포로 구성된 네트워크를 설명했다. 로젠블랫은 1958년 11월에 열린 최초의 국제 AI 심포지엄인 '사고 과정의 기계화(Mechanisation of Thought Processes)'에서 이 연구를 발표했다. 이 논문과 이후의 시연은 열광과 논란을 동시에 불러일으켰으며, 이후 신경망과 딥러닝 발전의 토대를 마련했다.
배경 및 발전
인공 뉴런과 인공 신경망은 1943년 워런 매컬러(Warren McCulloch)와 월터 피츠(Walter Pitts)가 그들의 획기적인 논문 "신경 활동에 내재한 아이디어의 논리적 미적분(A Logical Calculus of the Ideas Immanent in Nervous Activity)"에서 처음 구상했다. 1957년, 코넬 항공 연구소(Cornell Aeronautical Laboratory)에서 근무하던 로젠블랫은 IBM 704에서 퍼셉트론을 시뮬레이션했다. 그는 하드웨어 구현에 더 관심이 많았으며, 미국 해군 연구소(Office of Naval Research)의 정보 시스템 지부와 로마 항공 개발 센터(Rome Air Development Center)로부터 자금을 지원받아 맞춤형 아날로그 컴퓨터인 Mark I 퍼셉트론을 제작했다. 로젠블랫의 팀은 1959년 6월부터 1959년 12월 14일까지 뉴욕 버펄로에 있는 코넬 항공 연구소에서 이 기계를 조립하고 테스트했다. 첫 공개 시연은 1960년 6월 23일에 이루어졌다.
이 프로젝트는 Nonr-401(40) "인지 시스템 연구 프로그램(Cognitive Systems Research Program)"(1959-1970) 및 Nonr-2381(00) "프로젝트 PARA"(1957-1963) 계약으로 자금을 지원받았으며, PARA는 "지각 및 인식 자동장치(Perceiving and Recognition Automata)"를 의미한다. 1959년에는 국방 분석 연구소(Institute for Defense Analysis)가 10,000달러 계약을 체결했고, 1961년 9월까지 해군 연구소는 총 153,000달러의 추가 계약을 체결했으며, 1962년에는 108,000달러가 확정되었다. 해군 연구소의 연구 관리자였던 마빈 데니코프(Marvin Denicoff)는 ARPA가 아닌 ONR이 이 프로젝트에 자금을 지원한 이유가 단기간 내 기술적 성과를 낼 가능성이 낮았기 때문이라고 언급했다. ARPA 자금은 일반적으로 수백만 달러에 달했지만, ONR 계약은 수만 달러 규모였다. 한편, ARPA 산하 IPTO의 책임자였던 J.C.R. 리클라이더(J.C.R. Licklider)는 1950년대에 생물학적 영감을 받은 방법에 관심이 있었지만, 1960년대 중반에는 이를 공개적으로 비판하며 사이먼과 뉴웰의 논리적 AI 접근 방식을 선호했다.
Mark I 퍼셉트론 기계
퍼셉트론은 단순한 프로그램이 아닌 기계로 의도되었다. 첫 구현은 IBM 704용 소프트웨어였지만, 이후 이미지 인식을 위해 설계된 맞춤형 하드웨어인 Mark I 퍼셉트론으로 제작되었다. 이 기계는 현재 스미소니언 국립 미국사 박물관(Smithsonian National Museum of American History)에 소장되어 있다. Mark I 퍼셉트론은 세 개의 층으로 구성되었다:
- 20x20 격자로 배열된 400개의 광전지 배열로, "감각 단위"(S-단위) 또는 "입력 망막"이라고 불렸다. 각 S-단위는 최대 40개의 A-단위에 연결될 수 있었다.
- 512개의 퍼셉트론으로 구성된 은닉층으로, "연합 단위"(A-단위)라고 불렸다.
- 8개의 퍼셉트론으로 구성된 출력층으로, "반응 단위"(R-단위)라고 불렸다.
로젠블랫은 이 3층 네트워크를 다른 모델과 구별하기 위해 알파-퍼셉트론이라고 불렀다. S-단위는 무작위 숫자 표를 사용하여 플러그보드를 통해 A-단위에 무작위로 연결되었으며, 이는 "퍼셉트론의 특정 의도적 편향을 제거"하기 위한 것이었다. 연결 가중치는 고정되어 있었고 학습되지 않았다. 로젠블랫은 망막이 시각 피질에 무작위로 연결되어 있다고 믿었고, 기계가 인간의 시각 지각과 유사하기를 원했기 때문에 무작위 연결을 주장했다. A-단위는 전위차계에 인코딩된 조정 가능한 가중치로 R-단위에 연결되었으며, 학습 중 가중치 업데이트는 전기 모터로 수행되었다.
1958년 미 해군이 주최한 기자 회견에서 로젠블랫은 초기 AI 커뮤니티에서 격렬한 논란을 일으키는 발언을 했다. 그의 발언을 바탕으로, 뉴욕 타임스는 퍼셉트론을 "걷고, 말하고, 보고, 쓰고, 스스로 복제하며, 자신의 존재를 의식할 수 있을 것으로 [해군이] 기대하는 전자 컴퓨터의 배아"라고 보도했다. 1960년부터 1964년까지 중앙정보국(CIA)의 사진 부서는 항공 사진에서 비행기와 선박과 같은 군사적으로 흥미로운 실루엣 표적을 인식하는 데 Mark I 퍼셉트론의 사용을 연구했다.
신경역학의 원리 (1962)
로젠블랫은 1961년 보고서의 출판 버전인 저서 신경역학의 원리(Principles of Neurodynamics) (1962)에서 다양한 변형 퍼셉트론에 대한 실험을 설명했다. 변형 중에는 다음이 포함되었다:
- "교차 결합(Cross-coupling)": 동일한 층 내의 단위 간 연결, 폐루프가 있을 수 있음.
- "역방향 결합(Back-coupling)": 이후 층의 단위에서 이전 층의 단위로의 연결.
- 마지막 두 층이 조정 가능한 가중치를 가진 4층 퍼셉트론, 즉 적절한 다층 퍼셉트론.
- 순차 데이터 처리를 허용하기 위해 퍼셉트론 단위에 시간 지연을 통합.
- 이미지 대신 오디오 분석.
이 기계는 해군 연구소가 관리하는 정부 이전 절차에 따라 1967년 코넬에서 스미소니언으로 이송되었다.
퍼셉트론 (1969) 및 한계
퍼셉트론이 처음에는 유망해 보였지만, 단일 층 퍼셉트론은 많은 패턴 클래스를 인식하도록 훈련될 수 없다는 것이 곧 증명되었다. 이로 인해 신경망 연구 분야는 수년간 정체되었으며, 두 개 이상의 층을 가진 피드포워드 신경망(다층 퍼셉트론)이 단일 층 퍼셉트론보다 더 큰 처리 능력을 가진다는 것이 인식되기 전까지 지속되었다. 단일 층 퍼셉트론은 선형 분리 가능한 패턴만 학습할 수 있다. 계단 활성화 함수를 사용하는 분류 작업에서 단일 노드는 단일 분할선을 생성한다. 더 많은 노드는 더 많은 선을 만들 수 있지만, 이러한 선을 결합하여 더 복잡한 분류를 형성해야 한다. 두 번째 퍼셉트론 층 또는 선형 노드 층만으로도 많은 비분리 가능한 문제를 해결할 수 있다.
1969년, 마빈 민스키(Marvin Minsky)와 시모어 파퍼트(Seymour Papert)의 영향력 있는 저서 퍼셉트론(Perceptrons)은 이러한 클래스의 네트워크가 XOR 함수를 학습하는 것이 불가능하다는 것을 보여주었다. 이 결과는 종종 모든 신경망에 적용되는 것으로 잘못 해석되었으며, 1970년대 신경망 연구의 쇠퇴에 기여했고, 이 시기는 때때로 "AI 겨울"이라고 불린다. 그러나 퍼셉트론의 유산은 지속되었으며, 그 개념은 OpenAI, Google DeepMind, Anthropic과 같은 조직에서 개발한 대규모 언어 모델 및 생성형 AI 시스템에 사용되는 트랜스포머를 포함한 현대 신경망 아키텍처의 기반이 된다.
유산 및 영향
퍼셉트론 논문과 Mark I 기계는 조정 가능한 가중치, 반복 학습, 계층적 아키텍처 사용을 포함한 머신러닝의 기초 아이디어를 확립했다. 로젠블랫의 연구는 Adam 옵티마이저, 역전파(여기서 자세히 다루지 않음), 잔차 네트워크와 같은 이후의 발전에 영향을 미쳤다. 퍼셉트론의 한계는 다층 네트워크의 필요성을 강조했으며, 이는 결국 딥러닝 혁명으로 이어졌다. 오늘날 퍼셉트론은 초급 AI 과정에서 표준적인 예로 남아 있으며, 그 원리는 AWS Trainium 및 Google Cloud TPU와 같은 현대 하드웨어 가속기와 MIT CSAIL 및 스탠포드 AI 연구소와 같은 기관의 연구에 내재되어 있다.
1958년 논문은 인공지능 역사에서 이정표로 널리 간주되며, 뉴런의 이론적 모델에서 실용적인 학습 알고리즘으로의 전환을 표시한다. 그 영향력은 딥러닝에서 강화학습 및 그 이상에 이르기까지 현대 AI 연구에 지속적으로 존재한다.