컴퓨터의 힘과 인간의 이성: 판단에서 계산으로는 컴퓨터 과학자 조지프 와이젠바움(Joseph Weizenbaum)이 1976년에 쓴 책이다. 이 책은 인공지능(AI)과 인간의 일에 대한 계산적 사고의 무비판적 적용에 대한 기초적인 비판서이다. 1960년대 MIT에서 ELIZA 챗봇을 만든 와이젠바움은 이 책을 통해 컴퓨터가 강력하지만 인간의 판단, 공감, 도덕적 책임을 대체할 수 없고 대체해서도 안 된다고 주장했다. 이 책은 컴퓨팅 철학의 이정표가 되었으며, AI 윤리와 기술의 한계에 대한 논쟁에 계속 영향을 미치고 있다.
이 작품은 와이젠바움이 AI 연구의 방향에 대해 환멸을 느끼면서 나왔다. 그는 많은 연구자들이 인간의 추론을 단순한 정보 처리 작업으로 취급하며, 인간 지능에 필수적인 감정적, 사회적, 윤리적 차원을 무시하는 것을 관찰했다. 그는 이러한 환원주의적 관점이 의학, 법률, 전쟁 등 인간의 지혜가 필요한 결정에 컴퓨터를 과도하게 의존하는 사회로 이어질 수 있다고 경고했다.
ELIZA 효과와 계산의 한계
와이젠바움의 가장 유명한 사례는 ELIZA로, 사용자의 진술을 질문으로 바꿔 표현하는 로저스식 심리치료사를 시뮬레이션한 간단한 프로그램이었다. 단순함에도 불구하고 많은 사용자들이 ELIZA에 감정적으로 애착을 느끼며 실제 치료사처럼 대했다. 나중에 "ELIZA 효과"라고 불린 이 현상은 사람들이 컴퓨터를 쉽게 의인화한다는 것을 보여주었다. 와이젠바움은 이러한 경향이 기계의 패턴 매칭과 진정한 인간 이해 사이의 근본적 차이를 모호하게 만들기 때문에 위험하다고 주장했다.
그는 컴퓨터가 형식적 규칙에 따라 기호를 조작할 수 있을 뿐, 의미, 맥락, 의도를 파악할 능력이 없다고 주장했다. 반면 인간의 추론은 가치, 관계, 신체적 경험의 살아있는 세계에 내재되어 있다. 따라서 알고리즘이 아무리 정교해도 컴퓨터는 인간의 문제를 진정으로 이해하거나 도덕적 판단을 내릴 수 없다.
도구적 이성 비판
와이젠바움은 모든 사고를 주어진 목표에 대한 수단의 효율적 계산으로 축소하는 철학적 개념인 도구적 이성에 의존했다. 그는 컴퓨터가 이러한 사고 방식을 구현하며, 그 광범위한 채택이 사람들로 하여금 자신과 타인을 최적화 대상으로 보도록 장려한다고 주장했다. 이는 그가 "도구적 이성의 제국주의"라고 부른 것으로 이어지며, 인간 문제가 기술적 문제로 재정의되어 윤리적, 정치적 차원이 제거된다.
그는 특히 핵전쟁 계획을 위한 자동화 시스템과 같은 군사 및 정부 의사 결정에서의 컴퓨터 사용을 비판했다. 그는 이러한 적용이 의사 결정자와 영향을 받는 인구 모두를 비인간화하여, 파국적 선택이 합리적이고 불가피해 보이게 만든다고 주장했다.
과학자의 책임
와이젠바움은 컴퓨터 과학자의 도덕적 책임을 강조했다. 그는 연구자들이 도구의 중립성 뒤에 숨을 수 없으며, 작업의 사회적 결과를 고려해야 한다고 주장했다. 그는 기술적 실행 가능성과 무관하게 컴퓨터가 절대 수행해서는 안 되는 작업이 있으며, 그렇게 하는 것은 인간의 존엄성을 훼손할 것이라고 유명하게 말했다.
그는 특히 기계가 결국 모든 인간 인지 능력을 복제할 수 있다는 주장에 대해 AI 커뮤니티의 오만함을 비판했다. 그는 이를 인간 삶의 환원 불가능한 주관적, 감정적 측면을 무시하는 자기기만의 형태로 보았다. 대신 그는 계산의 한계를 존중하는 더 겸손하고 성찰적인 기술 접근을 촉구했다.
유산과 현대적 관련성
컴퓨터의 힘과 인간의 이성은 AI 윤리, 인간-컴퓨터 상호작용, 기술 철학 논의에서 널리 인용되어 왔다. 알고리즘에 대한 과도한 의존의 위험에 대한 경고는 Large language model, Generative AI, Machine learning 시대에 강하게 공명한다. 예를 들어, 의학이나 법률과 같은 분야에서도 AI 출력을 권위 있는 것으로 취급하는 경향은 ELIZA 효과를 반영한다. 이 책은 또한 AI 정렬, 편향, 인간 감독의 필요성에 대한 논쟁을 예견했다.
와이젠바움의 도구적 이성 비판은 이제 사회에서 Artificial intelligence에 대한 많은 비판의 중심에 있으며, 감시, 자동화, 인간 행위성의 침식에 대한 우려를 포함한다. 기술자의 도덕적 책임에 대한 그의 주장은 AI 윤리 위원회와 책임 있는 AI 개발에 대한 현대적 요구에 반영된다.
나이가 들었음에도 불구하고, 이 책은 더 많은 컴퓨팅 성능이 항상 더 나은 결과로 이어진다는 가정에 의문을 제기하는 사람들에게 기준점으로 남아 있다. 이 책은 기계에 의해 점점 더 형성되는 세계에서 인간이 된다는 것이 무엇을 의미하는지 독자에게 생각해 보라고 도전한다.