AI 인프라 기업들은 현대 인공지능 생태계의 기반 계층을 형성한다. 이들은 머신러닝 모델을 훈련하고 실행하는 데 필요한 물리적 및 가상 자원 - 특수 프로세서, 클라우드 컴퓨팅 플랫폼, 데이터 저장, 네트워킹 - 을 공급한다. 이러한 기업들은 반도체 설계 및 제조업체부터 클라우드 서비스 제공업체와 특수 하드웨어 스타트업에 이르기까지 다양하며, 각각 AI 컴퓨팅 파이프라인의 서로 다른 병목 지점을 해결한다.
이 분야의 등장은 딥러닝과 생성형 AI의 급속한 성장과 밀접하게 연관되어 있다. 모델이 수백만 개에서 수십억, 수조 개의 파라미터로 성장함에 따라 컴퓨팅 성능에 대한 수요가 급증하여 범용 하드웨어의 역량을 초과하게 되었다. 이는 목적에 맞게 설계된 AI 인프라에 대한 시장을 창출했으며, 이전에 전통적인 컴퓨팅에 집중하던 기업들을 AI 공급망의 핵심 플레이어로 변모시켰다.
특수 하드웨어의 부상
AI 인프라의 첫 번째 물결은 원래 그래픽 렌더링용으로 설계되었지만 신경망에 필요한 병렬 계산에 매우 효과적임이 밝혀진 그래픽 처리 장치(GPU)가 주도했다. 엔비디아가 지배적인 공급업체가 되었지만, 다른 기업들도 곧 이 분야에 진출했다. AMD는 Instinct 시리즈와 같은 자체 GPU 및 가속기 라인을 개발하여 고성능 컴퓨팅과 AI 워크로드를 겨냥했다. 인텔은 Gaudi 가속기로 대응했으며 통합 AI 기능을 갖춘 Xeon 프로세서를 계속 개발했다.
최근에는 AI 추론과 훈련을 위해 특별히 칩을 설계하는 것을 목표로 하는 새로운 스타트업 계층이 등장했다. Groq는 대규모 언어 모델의 순차적 특성에 최적화된 언어 처리 장치(LPU) 아키텍처를 개발하여 매우 낮은 지연 시간을 달성했다. SambaNova는 RDU(재구성 가능한 데이터플로우 장치)를 갖춘 재구성 가능한 데이터플로우 아키텍처를 제공하며, 훈련과 추론을 모두 효율적으로 처리하도록 설계되었다. 영국 기반 기업인 Graphcore는 온칩 메모리를 갖춘 대규모 병렬 아키텍처를 사용하여 데이터 이동을 줄이는 지능 처리 장치(IPU)를 만들었다.
클라우드 제공업체의 역할
클라우드 인프라는 AI 컴퓨팅의 주요 접근 지점이 되었으며, 스타트업과 기업이 자체 데이터 센터를 구축하지 않고도 리소스를 임대할 수 있게 해준다. 아마존 웹 서비스(AWS)는 가장 큰 클라우드 제공업체이며, 훈련용 맞춤형 AWS Trainium 칩과 추론용 Inferentia를 포함한 다양한 AI 서비스를 제공한다. AWS는 또한 Nvidia GPU와 모델 구축 및 배포를 위한 자체 SageMaker 플랫폼에 대한 접근을 제공한다.
애저는 마이크로소프트의 클라우드 플랫폼으로, OpenAI와 긴밀한 파트너십을 형성하여 GPT-4와 같은 모델을 훈련하는 데 필요한 대규모 컴퓨팅 리소스를 제공한다. 애저는 또한 Azure Machine Learning을 포함한 자체 AI 최적화 가상 머신과 서비스를 제공한다. 구글 클라우드는 AI에 대한 내부 전문성을 활용하여 신경망 워크로드를 위해 구글이 설계한 맞춤형 ASIC인 텐서 처리 장치(TPU)를 GPU 인스턴스 및 Vertex AI 플랫폼과 함께 제공한다. 오라클 클라우드는 GPU 클러스터와 고대역폭 네트워킹에 경쟁력 있는 가격을 제공하며 AI 워크로드용 저비용 대안으로 자리매김했다.
데이터 센터 및 네트워킹 인프라
AI 하드웨어를 수용하는 물리적 데이터 센터는 그 자체로 중요한 인프라 구성 요소이다. 대규모 모델을 훈련하려면 엄청난 양의 전기와 냉각이 필요하며, 이로 인해 하이퍼스케일 시설의 건설이 이루어졌다. 중국의 알리바바 클라우드와 같은 기업들은 AI 준비 데이터 센터에 막대한 투자를 했으며, 전통적인 인프라 제공업체들은 GPU 클러스터의 밀도를 처리하도록 설계를 조정했다.
네트워킹은 또 다른 핵심 구성 요소이다. 대규모 언어 모델을 훈련하려면 수천 개의 프로세서가 지속적으로 통신해야 하며, 고대역폭, 저지연 상호 연결이 필요하다. InfiniBand 및 이더넷 기반 솔루션과 같은 기술이 필수적이 되었으며, 브로드컴과 퀄컴과 같은 기업들이 네트워킹 칩과 구성 요소를 제공한다. 암 홀딩스는 Ampere와 후지쓰의 것을 포함한 많은 데이터 센터 서버에 사용되는 CPU 아키텍처를 설계하며, 이들은 종종 AI 가속기와 함께 사용된다.
칩 제조 공급망
AI 칩의 생산은 복잡한 글로벌 공급망에 의존한다. TSMC(대만 반도체 제조 회사)는 지배적인 파운드리로, Nvidia, AMD, Apple과 같은 기업을 위해 가장 진보된 칩을 제조한다. TSMC의 3나노미터 및 5나노미터 공정은 AI 가속기에 필요한 성능과 에너지 효율을 달성하는 데 중요하다. 삼성전자는 또한 고급 파운드리를 운영하며 AI 시스템에 필수적인 메모리 칩(HBM, 즉 고대역폭 메모리)을 생산한다. 인텔은 이 분야에서 경쟁하기 위해 자체 파운드리 서비스에 투자하고 있다.
대만에 제조가 집중된 것은 지정학적 우려를 불러일으켰으며, 생산 다각화 노력을 촉진했다. TSMC는 애리조나와 일본에 새로운 팹을 건설 중이며, 인텔과 삼성은 자체 제조 역량을 확장하고 있다. 이로 인해 칩 제조는 AI 개발의 중심성 때문에 정부의 전략적 우선순위가 되었다.
소프트웨어 스택 및 도구
하드웨어만으로는 충분하지 않다. AI 인프라는 또한 이를 사용 가능하게 만드는 소프트웨어 계층을 포함한다. 여기에는 GPU 프로그래밍의 사실상 표준이 된 CUDA(Nvidia의 병렬 컴퓨팅 플랫폼)와 같은 저수준 라이브러리와 PyTorch 및 TensorFlow와 같은 오픈소스 프레임워크가 포함된다. 이러한 도구들은 하드웨어의 복잡성을 추상화하여 연구자들이 모델 아키텍처에 집중할 수 있게 해준다.
기업들은 점점 더 전체 AI 스택을 최적화하는 소프트웨어를 개발하고 있다. 예를 들어, Groq는 모델을 LPU 하드웨어에 매핑하는 컴파일러를 제공하며, SambaNova는 RDU를 위한 완전한 소프트웨어 제품군을 제공한다. 클라우드 제공업체들은 또한 인프라 프로비저닝, 확장, 모니터링을 처리하는 관리 서비스를 제공하여 AI 팀의 운영 부담을 줄인다. 모델 가지치기 및 데이터 증강과 같은 기술은 종종 이러한 소프트웨어 계층에서 구현되어 효율성을 개선한다.
주요 플레이어 및 시장 역학
AI 인프라 시장은 급속한 성장과 치열한 경쟁이 특징이다. Nvidia의 시가총액은 2024년에 잠시 3조 달러를 초과하여 AI GPU에서의 지배력을 반영했다. 그러나 고객들이 비용과 공급망 위험을 줄이기 위한 대안을 모색함에 따라 환경은 변화하고 있다. 아마존 웹 서비스와 구글 클라우드는 모두 자체 칩을 설계하여 Nvidia에 대한 의존도를 줄이고 있다. 마이크로소프트는 또한 OpenAI와의 파트너십을 통해 맞춤형 실리콘에 투자했다.
Groq와 SambaNova와 같은 스타트업은 실시간 애플리케이션을 위한 저지연 추론과 같은 특정 틈새 시장을 겨냥하고 있다. Graphcore는 Nvidia와 경쟁하는 데 어려움을 겪은 후 2023년 SoftBank에 인수되었다. 시장은 또한 대기업이 특수 기술에 접근하기 위해 소규모 기업을 인수하는 통합을 겪고 있다.
과제 및 미래 방향
AI 인프라가 직면한 주요 과제는 필요한 리소스의 규모 자체이다. GPT-4와 같은 최첨단 모델을 훈련하는 데는 컴퓨팅 비용만으로도 수천만 달러가 소요되는 것으로 추정되며, 미래 모델은 더 많은 비용이 필요할 수 있다. 이는 에너지 소비와 환경 영향에 대한 우려를 불러일으켰으며, 더 효율적인 하드웨어와 알고리즘에 대한 연구를 촉진했다. 모델 가지치기, 양자화, 증류와 같은 기술은 추론의 계산 비용을 줄이기 위해 개발되고 있다.
또 다른 과제는 특히 소규모 기업과 연구 기관을 위한 고급 칩의 부족이다. 특정 국가에 대한 고급 GPU 수출 통제는 분열된 시장을 만들었으며, 알리바바 클라우드와 같은 기업들이 자체 대안을 개발하고 있다. 업계는 또한 D-Wave가 양자 어닐링에 집중하는 양자 컴퓨팅과 뉴로모픽 컴퓨팅과 같은 새로운 컴퓨팅 패러다임을 탐구하고 있지만, 이들은 여전히 초기 단계에 있다.
앞으로 AI 인프라는 더욱 특수화되고 통합될 가능성이 높다. AI 워크로드에 특별히 설계된 데이터 센터인 "AI 팩토리" 추세는 가속화될 것으로 예상된다. 기업들은 또한 "컴퓨트 서비스" 및 분산 훈련과 같은 모델을 통해 인프라를 더 접근 가능하게 만드는 방법을 탐구하고 있다. 이러한 노력의 성공 여부는 AI의 혜택이 경제와 사회 전반에 얼마나 널리 분배될지를 결정할 것이다.
더 넓은 AI 생태계에 미치는 영향
견고한 AI 인프라의 가용성은 자연어 처리 및 컴퓨터 비전과 같은 분야의 발전을 가능하게 한 핵심 요소였다. 이는 OpenAI, Anthropic, 구글 딥마인드와 같은 조직이 트랜스포머 기반 언어 모델부터 멀티모달 시스템에 이르기까지 점점 더 강력한 모델을 훈련할 수 있게 해주었다. 또한 스타트업이 자체 데이터 센터를 구축하는 대신 주문형 컴퓨팅을 임대할 수 있어 진입 장벽을 낮추었다.
동시에 소수의 대기업에 AI 인프라가 집중된 것은 시장 지배력과 접근성에 대한 우려를 불러일으켰다. MIT CSAIL 및 스탠포드 AI 랩과 같은 기관의 연구자들은 종종 희소할 수 있는 클라우드 크레딧이나 정부 자금 지원 슈퍼컴퓨터에 의존한다. 이는 정부가 초기 인터넷 인프라에 자금을 지원한 방식과 유사하게 AI 인프라에 대한 공공 투자 요구로 이어졌다.
인프라 계층은 또한 AI 연구의 방향을 형성하고 있다. 훈련의 높은 비용은 효율성에 대한 집중을 장려하여 모델 아키텍처와 훈련 방법의 혁신을 이끌었다. 이는 또한 광범위한 컴퓨팅을 필요로 하는 인간 피드백 기반 강화 학습(RLHF) 및 기타 기술의 개발에 영향을 미쳤다. 인프라가 계속 진화함에 따라, 어떤 종류의 AI 시스템이 가능하고 누가 이를 구축할 수 있는지를 결정하는 데 중심적인 역할을 할 것이다.