인공지능의 맥락에서 컴퓨트(compute)는 머신러닝 모델을 훈련하고, 미세 조정하며, 배포하는 데 사용되는 총 처리 용량, 메모리 대역폭, 하드웨어 인프라를 의미한다. 이 용어는 계산 규모가 모델 성능을 결정하는 경우가 많은 딥러닝의 부상과 함께 두드러지게 되었다. 컴퓨트는 단순한 프로세서 속도뿐만 아니라 데이터 이동의 효율성, 병렬화, 지속적인 운영에 필요한 에너지까지 포함한다.
2010년대 초 이후 컴퓨트에 대한 수요는 신경망의 규모 증가와 훈련 데이터의 양에 힘입어 기하급수적으로 증가했다. 이러한 성장은 하드웨어 설계, 클라우드 서비스 제공, 주요 기술 기업들의 전략적 우선순위에 영향을 미쳤다. 그 결과 컴퓨트는 AI 발전, 비용, 환경 영향에 대한 논의에서 핵심 지표가 되었다.
역사적 배경
AI에서 컴퓨트의 개념은 현대 딥러닝 이전부터 존재했다. 초기 체스 컴퓨터와 전문가 시스템은 현대 기준에 비해 modest한 처리 능력에 의존했다. 1950년대와 1960년대의 Perceptron 시대는 단순한 산술 연산을 사용했지만, 하드웨어의 한계로 인해 진전이 정체되었다. 1980년대 제프리 힌턴과 얀 르쿤 같은 연구자들이 주도한 신경망의 부활은 더 많은 계산 리소스를 필요로 했지만, 여전히 오늘날의 수준에는 훨씬 못 미쳤다.
결정적인 전환점은 2012년, NVIDIA GPU에서 훈련된 심층 컨볼루션 네트워크가 이미지 인식에서 획기적인 성과를 거두면서 발생했다. 이는 병렬 처리가 훈련을 수 배 가속화할 수 있음을 입증했다. 이후 GPU 채택이 표준이 되었고, '컴퓨트'라는 용어는 AI 작업에 할당된 총 하드웨어 용량을 가리키는 약칭으로 사용되기 시작했다.
하드웨어 및 인프라
컴퓨트는 여러 하드웨어 등급을 통해 제공된다. 중앙 처리 장치(CPU)는 일반적인 작업을 처리하지만 딥러닝의 핵심인 행렬 연산에는 비효율적이다. 원래 그래픽용으로 설계된 GPU는 병렬 워크로드에 탁월하여 훈련의 지배적인 선택지가 되었다. AMD와 인텔 같은 회사는 경쟁 가속기를 개발했으며, Arm 기반 설계는 엣지 디바이스에 등장한다.
특수 AI 칩은 특정 워크로드를 최적화하기 위해 등장했다. 구글 딥마인드와 구글 클라우드는 신경망 추론과 훈련을 위해 설계된 맞춤형 ASIC인 텐서 처리 장치(TPU)를 사용한다. AWS Trainium은 아마존 웹 서비스에서 유사한 역할을 한다. Groq와 SambaNova 같은 스타트업은 대체 아키텍처를 제공하며, Graphcore는 2024년 SoftBank에 인수되기 전에 Intelligence Processing Unit(IPU)을 개발했다.
인프라는 또한 메모리, 저장소, 네트워킹을 포함한다. 고대역폭 메모리(HBM)는 프로세서에 데이터를 공급하는 데 중요하며, NVLink 및 InfiniBand와 같은 고속 상호 연결은 다중 칩 확장을 가능하게 한다. 마이크로소프트 Azure, 오라클 클라우드, 알리바바 클라우드를 포함한 클라우드 제공업체는 주문형 컴퓨트 인스턴스를 제공하여 연구자들이 하드웨어를 소유하지 않고도 대규모 클러스터에 접근할 수 있게 한다.
확장 및 훈련
컴퓨트와 모델 성능 간의 관계는 종종 스케일링 법칙으로 설명된다. 2020년 OpenAI의 연구는 손실이 컴퓨트, 데이터 세트 크기, 모델 매개변수의 증가에 따라 예측 가능하게 감소함을 보여주었다. 이 경험적 발견은 수백억 개의 매개변수를 가진 대규모 언어 모델과 같은 더 큰 모델의 구축을 장려했다. 이러한 모델을 훈련하려면 수천 개의 가속기가 수 주 또는 수 개월 동안 실행되어야 한다.
예를 들어, 2023년 3월 OpenAI가 출시한 GPT-4는 수만 개의 GPU를 사용한 것으로 추정되지만 정확한 수치는 공개되지 않았다. Anthropic의 Claude 모델과 Google의 Gemini도 유사하게 막대한 컴퓨트 예산에 의존한다. 2017년에 도입된 트랜스포머 아키텍처는 병렬화에 매우 적합하여 여러 장치에 걸친 분산 훈련에 잘 맞는다.
컴퓨트는 또한 훈련된 모델에서 출력을 생성하는 과정인 추론에도 영향을 미친다. 훈련은 일회성 비용이지만 추론은 지속적이며 종종 낮은 지연 시간을 요구한다. 모델 가지치기, 양자화, 증류와 같은 기술은 배포를 위한 컴퓨트 요구 사항을 줄여 애플과 삼성전자 같은 회사의 스마트폰과 임베디드 장치에서 AI를 가능하게 한다.
경제적 및 전략적 영향
컴퓨트 비용은 AI 연구의 진입 장벽이 되었다. 최첨단 모델을 훈련하는 데는 수천만 달러가 들 수 있어 대기업과 자금이 충분한 연구소로 참여가 제한된다. 이는 소수의 조직만이 필요한 인프라를 감당할 수 있기 때문에 권력 집중에 대한 우려로 이어졌다. 정부도 주목하여 고급 칩에 대한 수출 통제가 글로벌 공급망에 영향을 미치고 있다.
이에 대한 대응으로 컴퓨트 민주화를 위한 노력에는 오픈소스 모델, 연합 학습, 효율성 연구가 포함된다. 마이클 조던과 다른 사람들은 더 접근 가능한 AI를 옹호했으며, 오픈 패널과 같은 이니셔티브는 공유 리소스를 제공하는 것을 목표로 한다. 경제적 영향은 반도체 제조업체로 확장된다. TSMC와 브로드컴은 급증하는 수요로 이익을 얻고 있으며, NVIDIA는 2024년에 잠시 세계에서 가장 가치 있는 회사가 되었다.
미래 방향
컴퓨트 성장은 에너지 소비와 열 방출을 포함한 물리적 한계에 직면해 있다. 데이터 센터는 이미 전 세계 전기 사용량의 상당 부분을 차지하며, 더 효율적인 알고리즘과 하드웨어에 대한 연구를 촉진하고 있다. D-Wave와 다른 회사들이 추구하는 양자 컴퓨팅은 아직 실험 단계이지만 특정 문제에 대해 이점을 제공할 수 있을 것이다.
생물학적 뇌에서 영감을 얻은 뉴로모픽 컴퓨팅과 같은 대안적 패러다임은 에너지 요구를 줄이는 것을 목표로 한다. MIT CSAIL과 스탠포드 AI 랩의 연구자들은 이러한 방향을 탐구하고 있다. 한편, 더 큰 모델로의 추세는 계속되며, 일부는 생성형 AI와 다중 모달 시스템의 발전에 힘입어 향후 몇 년 동안 컴퓨트 요구 사항이 10배에서 100배로 증가할 것이라고 예측한다.
컴퓨트는 AI의 기초 리소스로 남아 기술적으로 가능하고 경제적으로 실현 가능한 것을 형성한다. 그 진화는 성능, 비용, 지속 가능성의 균형을 맞추는 컴퓨팅의 더 넓은 궤적을 반영할 것이다.