무어의 법칙은 1965년 인텔 공동 창업자 고든 무어가 관찰한 것으로, 집적 회로의 트랜지스터 수가 약 2년마다 두 배로 증가한다는 내용이다. 이 경험칙은 40년 이상 놀라울 정도로 일관되게 유지되었으며, 컴퓨팅 성능의 지수적 성장을 나타내는 일반적인 약칭이 되었다. 인공지능 분야에서 "무어의 법칙"은 종종 관련되지만 구별되는 추세, 즉 AI 모델의 훈련과 실행에 적용되는 컴퓨팅 성능의 급속한 성장을 느슨하게 지칭하는 데 사용되며, 이는 때때로 고전적인 트랜지스터 스케일링보다 더 빠르게 진행되었다.
전통적인 트랜지스터 밀도 기반의 무어의 법칙은 2010년대에 칩 제조사들이 소형화의 물리적 한계에 접근하면서 크게 둔화되기 시작했고, 이에 따라 반도체 산업은 순수한 밀도 증가보다는 특수 아키텍처, 칩 적층, 더 큰 다이에 더 의존하게 되었다.
AI의 컴퓨팅 스케일링
2018년 OpenAI의 널리 인용된 분석 "AI and Compute"에 따르면, 2012년에서 2018년 사이에 가장 큰 AI 훈련 실행에 사용된 컴퓨팅 양은 약 3.4개월마다 두 배로 증가했으며, 이는 무어의 법칙의 고전적인 2년 두 배 증가를 훨씬 능가하는 수치였다. 이러한 성장은 연구자들이 칩 개선만으로가 아니라 더 큰 훈련 실행에 지출하려는 의지가 커진 데서 비롯되었다. 이러한 컴퓨팅 성장은 매개변수, 데이터, 컴퓨팅이 함께 증가함에 따라 모델 성능이 예측 가능하게 향상되는 방식을 설명하는 경험적 Scaling laws의 기초가 된다.
곡선 뒤의 하드웨어
원래 그래픽 렌더링용으로 제작된 범용 GPU는 병렬 아키텍처가 신경망의 핵심인 행렬 곱셈에 적합하기 때문에 AI 훈련의 지배적인 하드웨어가 되었다. 2006년에 출시된 Nvidia의 CUDA 소프트웨어 플랫폼은 2012년 AlexNet 결과 이후 딥러닝이 본격화되면서 지속적인 이점을 제공했다. 2016년에 처음 배포된 Google의 맞춤형 TPU 가속기는 신경망 워크로드에 특별히 최적화된 대안 경로를 제공했으며 Gemini와 같은 모델을 훈련하는 데 사용되었다. Nvidia CEO 젠슨 황은 AI 컴퓨팅에서 하드웨어와 소프트웨어의 결합된 발전이 이제 역사적인 무어의 법칙을 능가한다고 주장했으며, 이는 2020년대 중반까지 Nvidia가 세계에서 가장 가치 있는 기업 중 하나로 부상하는 데 핵심적인 주장이 되었다.
한계와 반발
전력 소비 증가, 칩 제조 비용, 데이터 센터 건설은 트랜지스터 밀도 자체와는 구별되는 구속 조건이 되었다. 2025년 1월 DeepSeek 충격과 같은 사건, 즉 경쟁력 있는 모델이 예상보다 훨씬 저렴하게 훈련된 것으로 알려진 사건은 원시 컴퓨팅 스케일링이 더 나은 AI로 가는 유일한 경로인지에 대한 논쟁을 재점화했다. 혼합 전문가 및 Quantization과 같은 기법은 단순히 더 많은 컴퓨팅을 지출하는 대신 컴퓨팅 단위당 더 많은 성능을 추출하는 방법으로 제시되었다.