지능 폭발은 인공지능(AI) 시스템이 자신의 설계를 개선할 수 있을 때, 재귀적 자기 개선의 긍정적 피드백 루프에 들어가는 가상의 과정이다. AI의 각 세대는 이전 세대보다 더 지능적이 되어, 인간의 인지 능력을 훨씬 능가하는 초지능이 출현할 때까지 점점 더 빠른 진보를 이끌어 낸다. 이 개념은 1965년 수학자 I. J. 굿이 처음으로 공식화했으며, 기술적 특이점의 핵심 구성 요소이다. 기술적 특이점은 기술 성장이 통제 불가능해지고 변혁을 일으키는 더 광범위한 가상의 사건이다. 지능 폭발은 종종 Artificial intelligence 연구의 맥락에서 논의되며, 인류의 미래와 Generative AI 시스템 개발에 대한 함의를 지닌다.
지능 폭발의 개념은 기술 전문가, 철학자, 학자들 사이에서 논쟁의 대상이 되어 왔다. 지지자들은 AI가 특정 능력의 임계점에 도달하면, 스스로 더 발전된 버전을 설계할 수 있어 지능의 기하급수적 증가로 이어질 것이라고 주장한다. 그러나 비판자들은 그러한 성장은 쌍곡선 궤적이 아닌 S-곡선을 따르며 수확 체감에 직면할 가능성이 높다고 주장한다. 지능 폭발의 타당성과 시기는 여전히 열린 질문으로 남아 있으며, 예측은 향후 수십 년에서 수세기, 또는 결코 발생하지 않을 가능성까지 다양하다.
역사적 기초
지능 폭발의 지적 뿌리는 20세기 중반으로 거슬러 올라간다. 1950년, 컴퓨터 과학의 선구자 앨런 튜링은 그의 논문 "계산 기계와 지능"에서 기계가 이론적으로 인간과 동등한 지적 행동을 보일 수 있다고 제안했다. 튜링은 지능 폭발을 명시적으로 논의하지는 않았지만, 그의 작업은 기계 지능을 고려하는 토대를 마련했다. 헝가리계 미국인 수학자 존 폰 노이만은 1958년 스타니스와프 울람이 보고한 바와 같이 1940년대 또는 1950년대에 기술적 "특이점"에 대한 최초의 알려진 논의를 한 것으로 인정받는다. 폰 노이만은 가속화되는 기술 진보가 인간의 일이 이전처럼 계속될 수 없는 지점에 접근할 것이라고 추측했다.
1965년, 영국의 수학자이자 암호 분석가인 I. J. 굿은 추측성 에세이에서 지능 폭발 모델을 명확히 했다. 그는 인간의 모든 지적 활동을 능가할 수 있는 "초지능 기계"가 더 나은 기계를 설계할 수 있을 것이며, 이는 인간 지능을 훨씬 뒤처지게 하는 "지능 폭발"로 이어질 것이라고 가정했다. 이 아이디어는 나중에 공상과학 소설가 버너 빈지에 의해 대중화되었는데, 그는 1983년 사설과 1993년 에세이에서 초인적 지능의 창조가 블랙홀의 특이점과 유사한 전환을 촉발하여 인간 시대를 종말시킬 것이라고 예측했다. 발명가이자 미래학자인 레이 커즈와일은 2005년 저서 특이점이 온다에서 이 개념을 더욱 대중화하며 특이점이 2045년에 발생할 것이라고 예측했다.
재귀적 자기 개선의 메커니즘
지능 폭발의 핵심 메커니즘은 재귀적 자기 개선이며, 종종 "시드 AI" 시나리오라고 불린다. 시드 AI는 자신의 소프트웨어와 하드웨어를 자율적으로 개선하여 더 유능한 버전의 자신을 설계할 수 있는 인공지능이다. 이 과정은 피드백 루프를 생성할 것이다: 각 개선된 AI는 다음 세대를 설계하는 데 더 뛰어나게 되어 점점 더 빠른 진보를 이끌어 낸다. 그 결과는 초지능 - 가장 뛰어난 인간의 마음을 훨씬 능가하는 지성을 가진 에이전트 - 이며, 인간의 이해를 넘어서는 문제를 해결하고 기술을 발명할 수 있다.
이 메커니즘은 지능이 "업그레이드 가능한" 속성이라는 가정에 의존한다. 즉, 추론, 학습, 문제 해결의 개선이 AI 자체의 아키텍처에 체계적으로 적용될 수 있다는 의미이다. 현대 Machine learning 및 Deep learning의 맥락에서 이는 Neural network 아키텍처 최적화, Large language model 훈련 기술 개선, 또는 새로운 알고리즘 개발을 포함할 수 있다. 그러나 그러한 자기 개선의 실현 가능성은 논쟁의 대상이다. 일부 연구자들은 AI 시스템이 모든 기술과 마찬가지로 성숙함에 따라 수확 체감에 직면할 것이며, 지수적 폭발이 아닌 S-곡선의 진보를 따를 것이라고 주장한다. 이 관점은 스튜어트 J. 러셀과 피터 노빅이 지지하며, 그들은 역사적 기술 개선이 초기 가속 기간 후에 종종 평준화된다고 지적한다.
초지능과 그 형태
초지능은 하이퍼지능이라고도 불리며, 재능에 관계없이 어떤 인간보다 훨씬 뛰어난 지능을 가진 가상의 에이전트이다. 이 개념은 일반 추론뿐만 아니라 과학적 창의성이나 사회적 지능과 같은 전문적 능력도 포함한다. I. J. 굿, 버너 빈지, 레이 커즈와일은 모두 초지능을 기술적 창조의 관점에서 정의하며, 현재의 인간이 특이점 이후의 삶을 예측하는 것은 어렵거나 불가능하다고 주장한다.
한 변형은 "속도 초지능"으로, 인간의 마음처럼 작동하지만 훨씬 빠른 속도로 작동하는 AI를 의미한다. 예를 들어, AI가 인간보다 백만 배 빠르게 정보를 처리할 수 있다면, 주관적 1년은 30물리적 초에 지나갈 것이다. 이 속도 이점만으로도 빠른 문제 해결과 혁신을 가능하게 하여 잠재적으로 지능 폭발에 기여할 수 있다. 다른 시나리오는 로빈 핸슨의 2016년 저서 The Age of Em에서 탐구된 바와 같이 생물학적 수정이나 뇌-컴퓨터 인터페이스를 통한 인간 향상을 포함한다. 이 책은 인간의 뇌가 스캔되고 디지털화되어 초지능 AI보다 앞서거나 동시에 발생할 수 있는 "업로드"를 만드는 미래를 묘사한다.
논쟁과 비판
저명한 기술 전문가와 학자들은 지능 폭발의 타당성에 대해 이의를 제기해 왔다. 비판자에는 폴 앨런, 제프 호킨스, 존 홀랜드, 재런 Lanier, 스티븐 핑커, 시어도어 모디스, 고든 무어, 로저 펜로즈가 포함된다. 일반적인 주장 중 하나는 AI 개발이 가속화되는 수익이 아닌 감소하는 수익을 겪을 것이라는 점이다. 예를 들어, Deep learning의 개선은 Transformer (architecture) 모델의 확장에서 볼 수 있듯이 기하급수적으로 더 많은 데이터와 계산 자원을 요구할 수 있다. 이는 자기 개선의 속도를 제한하여 폭주 효과를 방지할 수 있다.
또 다른 비판은 지능 폭발이 현재 AI 시스템에 부족한 자율성과 자기 인식 수준을 가정한다는 것이다. Large language model과 같은 현대 AI는 좁은 매개변수 내에서 작동하며 인간의 감독을 필요로 한다. 좁은 AI에서 재귀적 자기 개선이 가능한 일반 AI로의 전환은 여전히 중요한 장애물이다. 또한 일부는 특이점의 개념은 과학적이라기보다 추측에 가깝고 경험적 증거가 부족하다고 주장한다. 이러한 비판에도 불구하고, 지능 폭발은 영향력 있는 사고 실험으로 남아 있으며, AI 안전성과 Artificial intelligence의 장기적 미래에 대한 논의를 형성하고 있다.
예측과 타임라인
지능 폭발이 언제 발생할지에 대한 예측은 매우 다양하다. 버너 빈지는 1993년 에세이에서 2005년에서 2030년 사이에 발생할 수 있다고 추정했지만, 불확실성을 표현했다. 레이 커즈와일은 2005년에 특이점이 2045년에 발생할 것이라고 예측했으며, 이후 저술에서도 이 날짜를 유지했다. 다른 예측가들은 21세기 후반과 같은 더 늦은 날짜를 제안했으며, 일부는 결코 발생하지 않을 수도 있다고 믿는다. 예측의 광범위한 범위는 일반 AI 개발과 재귀적 자기 개선의 실현 가능성에 대한 불확실성을 반영한다. 2020년대 초반 현재, Machine learning 및 Deep learning의 발전은 자율적 자기 개선이 가능한 AI를 아직 생산하지 못했지만, Generative AI의 빠른 진보는 지능 폭발의 가능성에 대한 관심을 다시 불러일으켰다.