Graphcore Limited는 인공지능 및 머신러닝 워크로드를 위한 가속기를 설계하는 영국의 반도체 기업이다. 이 회사는 기존의 그래픽 처리 장치(GPU)가 외부 메모리에 의존하는 것과 달리, 머신러닝 모델 전체를 칩 내부에 저장하는 대규모 병렬 프로세서인 지능 처리 장치(IPU)로 가장 잘 알려져 있다. Graphcore의 기술은 신경망의 훈련과 추론 모두를 대상으로 하며, AI 컴퓨팅에서 GPU 기반 시스템에 대한 대안을 제공하는 것을 목표로 한다.
2016년에 설립된 Graphcore는 여러 차례의 자금 조달을 통해 빠르게 성장하여 2018년 12월에는 기업 가치 17억 달러에 도달했다. 이 회사의 제품에는 Colossus GC2 및 GC200 프로세서가 포함되며, 클라우드 및 엔터프라이즈 환경에서 사용되었다. 2024년 7월, 소프트뱅크 그룹이 약 5억 달러에 Graphcore를 인수하기로 합의했으며, 이 거래는 영국에서 규제 검토를 받고 있었다.
역사
Graphcore는 2016년에 반도체 업계의 베테랑인 Simon Knowles와 Nigel Toon에 의해 설립되었다. Knowles는 이전에 NVIDIA에 인수된 베이스밴드 프로세서 회사인 Icera를 공동 설립했으며, Toon은 여러 칩 스타트업을 이끌었다. 이 회사는 당시 GPU가 지배하던 머신 인텔리전스 전용 프로세서를 설계하는 데 착수했다.
2016년 가을, Graphcore는 Robert Bosch Venture Capital이 주도하는 첫 주요 자금 조달을 확보했다. 다른 투자자로는 삼성, Amadeus Capital Partners, C4 Ventures, Draper Esprit, Foundation Capital, Pitango가 포함되었다. 이 초기 지원을 통해 회사는 IPU 아키텍처와 소프트웨어 스택 개발을 시작할 수 있었다.
2017년 7월에는 Atomico가 주도하는 시리즈 B 라운드가 이어졌으며, 몇 달 후 Sequoia Capital의 추가 자금이 투입되었다. 2018년 12월까지 Graphcore는 17억 달러의 기업 가치로 2억 달러 규모의 시리즈 D 라운드를 마감하여 '유니콘'(기업 가치 10억 달러 이상의 비상장 기업)이 되었다. 이 라운드의 투자자에는 Microsoft, 삼성, Dell Technologies가 포함되었다.
2019년 11월, Graphcore는 C2 IPU 카드가 Microsoft Azure에서 미리 보기로 제공된다고 발표하여 중요한 클라우드 배포를 이루었다. 회사는 제품 라인과 파트너십을 계속 확장했지만, NVIDIA가 지배하는 경쟁 시장에서 어려움도 겪었다.
2023년 초, Meta Platforms는 Graphcore에서 AI 네트워킹 기술 팀을 인수했으며, 이는 전략적 자산 매각으로 간주되었다. 재정적 조건은 공개되지 않았지만, 이를 통해 Graphcore는 핵심 프로세서 사업에 집중할 수 있었다.
2024년 7월, 소프트뱅크 그룹이 약 5억 달러에 Graphcore를 인수하기로 합의했다. 이 거래는 반도체 부문의 국가 안보 우려를 반영하여 영국 비즈니스 부서의 투자 보안 부서에서 검토 중이었다. 이 인수는 Graphcore에 개발 노력을 계속할 추가 자원을 제공할 것으로 예상되었다.
제품 및 기술
Graphcore의 주요 제품 라인은 AI 워크로드를 위해 처음부터 설계된 프로세서인 지능 처리 장치(IPU)를 기반으로 한다. IPU 아키텍처는 GPU와 크게 다르다. 각 코어에 자체 로컬 메모리가 있는 대규모 병렬 코어 배열을 사용하며, 머신러닝 모델 전체가 온칩에 저장된다. 이 설계는 기존 아키텍처의 주요 병목 현상인 메모리와 프로세서 간 데이터 이동의 필요성을 줄인다.
첫 번째 IPU 칩인 Colossus GC2는 2017년 7월에 발표되었다. 이는 16nm 대규모 병렬 혼합 정밀도 부동 소수점 프로세서로 2018년에 출시되었다. GC2는 단일 PCI Express 카드에 두 개의 칩이 패키징되어 Graphcore C2 IPU로 알려졌다. 이 카드는 TensorFlow와 같은 표준 머신러닝 프레임워크와 함께 GPU와 동일한 역할을 수행하도록 설계되었다. 이 장치는 기존 캐시 계층 대신 스크래치패드 메모리에 의존하여 성능을 발휘했다.
2020년 7월, Graphcore는 TSMC의 7nm FinFET 제조 공정으로 제작된 2세대 프로세서 GC200을 출시했다. GC200은 590억 개의 트랜지스터, 823제곱밀리미터 집적 회로로 1,472개의 컴퓨팅 코어와 900Mbyte의 로컬 메모리를 갖추고 있다. 2022년, Graphcore와 TSMC는 GC200 다이를 전력 공급 다이와 페이스 투 페이스로 접합하는 3D 패키지인 Bow IPU를 발표하여 더 낮은 코어 전압에서 더 높은 클록 속도를 가능하게 했다.
GC2 및 GC200 칩 모두 타일당 6개의 스레드를 사용하여 각각 총 7,296개 및 8,832개의 스레드를 제공한다. 이들은 MIMD(다중 명령, 다중 데이터) 병렬 처리를 사용하며, 레지스터를 제외한 장치의 유일한 메모리 형태로 분산된 로컬 메모리를 갖는다. 구형 GC2 칩은 타일당 256KiB를 가지며, 신형 GC200은 타일당 약 630KiB를 가지며, 4개의 타일로 구성된 섬으로 배열된 후 열로 배열된다. 대기 시간은 타일 내에서 가장 짧다.
IPU는 확률적 반올림이 있는 IEEE FP16과 더 낮은 성능의 단정밀도 FP32를 지원한다. 로컬로 실행되는 코드와 데이터는 타일에 맞아야 하지만, 메시지 전달을 통해 모든 온칩 또는 오프칩 메모리를 사용할 수 있다. AI용 소프트웨어는 예를 들어 PyTorch 지원을 통해 이를 투명하게 가능하게 한다.
소프트웨어 스택
2016년, Graphcore는 머신 인텔리전스용으로 설계된 세계 최초의 그래프 툴체인인 Poplar 소프트웨어 스택을 발표했다. Poplar는 그래프 컴파일러, 런타임, AI 모델 구축 및 배포를 위한 라이브러리를 포함하는 완전한 소프트웨어 개발 키트이다. 이는 IPU 하드웨어의 복잡성을 추상화하여 개발자가 TensorFlow 및 PyTorch와 같은 프레임워크에서 고수준 코드를 작성할 수 있게 한다.
Poplar의 그래프 기반 접근 방식은 그 자체로 처리 타일의 그래프인 IPU 아키텍처에 잘 맞는다. 컴파일러는 신경망의 계산 그래프를 IPU의 타일에 매핑하여 메모리 사용과 통신을 최적화한다. 런타임은 스케줄링 및 데이터 이동을 포함하여 하드웨어에서 그래프 실행을 관리한다.
소프트웨어 스택에는 추론용 라이브러리인 PopART와 신경망 구축용 라이브러리인 PopNN도 포함된다. 이러한 도구는 기존 AI 프레임워크와 상호 운용되도록 설계되어 개발자가 IPU 기술을 더 쉽게 채택할 수 있게 한다.
시장 위치 및 경쟁
Graphcore는 NVIDIA가 GPU로 역사적으로 지배해 온 AI 가속기 분야의 치열한 경쟁 시장에서 운영된다. 다른 경쟁업체로는 Instinct 라인을 가진 AMD, Gaudi 프로세서를 가진 Intel, 그리고 Groq 및 SambaNova와 같은 스타트업이 있다. Graphcore의 IPU는 인메모리 컴퓨팅과 대규모 병렬 아키텍처에 초점을 맞춰 차별화하며, 특히 대용량 메모리 풋프린트를 가진 특정 유형의 모델에 이점을 제공할 수 있다.
회사는 클라우드와 엣지 시장을 모두 대상으로 했다. 프로세서는 Microsoft Azure 및 Oracle Cloud와 같은 클라우드 제공업체와의 파트너십을 통해 데이터 센터에 배포되었다. Graphcore는 또한 자연어 처리, 컴퓨터 비전, 과학 컴퓨팅 분야의 AI 워크로드를 가속화하기 위해 연구 기관 및 기업과 협력했다.
기술 혁신에도 불구하고 Graphcore는 사업 확장에 어려움을 겪었다. AI 가속기 시장은 자본 집약적이며, 회사는 NVIDIA의 생태계와 소프트웨어 성숙도와 경쟁하는 데 어려움을 겪었다. 소프트뱅크의 인수는 재정적 안정성과 더 넓은 자원에 대한 접근을 제공하는 방법으로 간주된다.
향후 방향
Graphcore는 Alan Turing과 함께 일한 영국 수학자 I.J. Good의 이름을 딴 '좋은 기계'를 구축하겠다는 야망을 밝혔다. 목표는 인간 두뇌의 시냅스보다 더 많은 매개변수를 가진 AI 모델을 가능하게 하는 것이며, 이는 하드웨어와 소프트웨어 모두에서 상당한 발전이 필요하다. 회사는 IPU 아키텍처를 계속 개발하고 있으며, 더 높은 성능과 효율성을 제공할 수 있는 향후 세대를 계획하고 있다.
소프트뱅크의 인수는 이러한 노력을 가속화할 것으로 예상된다. 소프트뱅크는 Arm Holdings를 포함한 AI 및 반도체 기업에 투자한 역사가 있으며, Graphcore에 제조 및 글로벌 범위를 확장하는 데 필요한 자본을 제공할 수 있다. 이 거래의 규제 승인은 아직 보류 중이지만, 완료된다면 영국 칩 설계 회사에 새로운 장을 열 수 있다.