그래픽 처리 장치(GPU)는 원래 수많은 단순 계산을 병렬로 수행하여 이미지와 비디오를 렌더링하도록 설계된 특수 프로세서입니다. 수천 개의 소형 코어가 서로 다른 데이터 조각에 대해 동일한 연산을 동시에 실행하는 이 동일한 아키텍처는 신경망의 기반이 되는 행렬 및 벡터 수학에 매우 적합한 것으로 밝혀졌으며, GPU는 딥러닝 모델을 훈련하고 실행하는 데 지배적인 하드웨어가 되었습니다.
GPU가 AI에 적합한 이유
신경망 훈련은 대규모 행렬의 반복적인 곱셈과 덧셈을 수반하며, 이러한 연산은 많은 독립적인 부분으로 나뉘어 동시에 실행될 수 있습니다. 중앙 처리 장치(CPU)는 순차적이고 범용적인 작업에 최적화된 소수의 강력한 코어를 갖는 반면, GPU는 정확히 이러한 종류의 병렬적이고 반복적인 산술 연산에 최적화된 수천 개의 단순한 코어를 갖습니다. 이러한 차이로 인해 원래 화면 전체의 픽셀 색상을 계산하는 병렬 작업을 위해 만들어진 GPU는 훈련에 사용되는 경사 하강법 계산과 추론에 사용되는 행렬 곱셈에서 CPU보다 훨씬 빨라졌습니다.
역사
1993년에 설립된 엔비디아(Nvidia)는 소비자용 그래픽 카드로 현대 GPU 범주를 확립한 후, 2006년에 CUDA를 통해 GPU를 범용 컴퓨팅에 개방했습니다. CUDA는 개발자가 GPU의 병렬 코어용 비그래픽 코드를 작성할 수 있게 해주는 프로그래밍 플랫폼입니다. AI의 전환점은 2012년, 두 개의 엔비디아 GTX 580 GPU에서 훈련된 AlexNet이 ImageNet 대회에서 압도적인 차이로 우승하면서 찾아왔습니다. 이는 GPU 가속 딥러닝이 기존 컴퓨터 비전 방법을 극적으로 능가할 수 있음을 입증했고, 해당 분야 전반을 GPU 훈련으로 전환시키는 계기가 되었습니다. 이후 엔비디아는 AI 전용 데이터센터 GPU 제품군을 구축했으며, 여기에는 V100(2017), A100(2020), H100(2022), 그리고 Blackwell 세대 칩(2024)이 포함됩니다. 각 제품은 딥러닝에 사용되는 저정밀 행렬 수학에서 이전 제품보다 훨씬 빨라졌습니다.
시장과 영향
2020년대 초중반의 AI 붐이 도래하면서 대규모 언어 모델 및 기타 기반 모델 훈련의 컴퓨팅 요구에 힘입어 엔비디아 데이터센터 GPU에 대한 수요가 급증했고, H100과 같은 칩이 지속적으로 공급 부족을 겪으면서 엔비디아는 잠시 세계에서 가장 가치 있는 상장 기업이 되었습니다. 이는 CUDA가 대부분의 AI 프레임워크(PyTorch 및 TensorFlow 포함)가 최적화된 사실상의 소프트웨어 표준이라는 지위에 힘입어, 엔비디아가 AI 훈련 하드웨어의 지배적 공급자로서의 입지를 강화했습니다. AMD, Intel, 그리고 Google의 TPU와 같은 맞춤형 가속기 등 경쟁사들이 엔비디아의 지배력에 도전했고, 주요 AI 연구소들은 점점 더 자체 칩을 설계하고 있지만, 2025년 현재 GPU, 특히 엔비디아의 GPU는 대규모 AI 훈련의 주요 엔진이자 업계의 빈번한 병목 현상 및 비용 요인으로 남아 있으며, 이로 인해 미국 정부는 최첨단 칩의 중국 수출을 제한하는 수출 통제 조치를 시행하게 되었습니다.