Groq Inc.는 인공지능(AI) 추론 하드웨어와 소프트웨어를 전문으로 하는 기술 기업이다. 이 회사는 대규모 언어 모델(LLM) 및 기타 AI 워크로드의 실행을 가속화하도록 설계된 특수 프로세서 아키텍처인 언어 처리 장치(LPU)를 개발한 것으로 가장 잘 알려져 있다. Groq의 주요 초점은 생성형 AI 모델을 실행하기 위한 그래픽 처리 장치(GPU)의 대안으로 자리매김하며 초저지연 추론 솔루션을 제공하는 것이다.
2016년 전직 Google 엔지니어 팀에 의해 설립된 Groq는 Google 데이터 센터용 맞춤형 AI 가속기를 구축한 경험에서 비롯되었다. Google의 텐서 처리 장치(TPU) 프로젝트에 참여했던 Jonathan Ross를 포함한 회사의 창립자들은 GPU 기반 AI 추론에서 흔히 발생하는 메모리 대역폭 병목 현상을 극복할 수 있는 프로세서를 만드는 것을 목표로 했다. Groq는 캘리포니아주 마운틴뷰에 본사를 두고 있으며, 이후 클라우드 서비스와 기업 배포로 사업을 확장했다.
아키텍처 및 기술
Groq 기술의 핵심은 데이터플로우 아키텍처를 사용하는 텐서 스트리밍 프로세서(TSP)인 LPU이다. 복잡한 제어 로직과 대용량 캐시에 의존하는 기존 CPU 및 GPU와 달리, LPU는 결정적이고 스트리밍 방식으로 명령어를 실행하도록 설계되었다. 이 접근 방식은 명령어 fetch 및 디코드 오버헤드를 제거하여 신경망 연산의 예측 가능하고 매우 빠른 실행을 가능하게 한다.
Groq의 LPU는 수많은 처리 요소로 구성된 단일 다이 설계로 구축되었다. 이 아키텍처는 트랜스포머 기반 모델을 지배하는 행렬 곱셈과 활성화 함수에 최적화되어 있다. 데이터가 동기화된 방식으로 프로세서를 통해 흐르도록 유지함으로써, LPU는 특히 대화형 AI 애플리케이션에서 흔히 사용되는 배치 크기 1 추론에서 높은 활용도와 낮은 지연 시간을 달성한다.
제품 및 서비스
Groq는 여러 채널을 통해 LPU 하드웨어를 제공한다. 이 회사는 기업과 연구 기관을 위한 온프레미스 시스템과 클라우드 플랫폼을 통한 하드웨어 접근을 모두 제공한다. 2024년, Groq는 개발자들이 Llama 및 Mistral과 같은 오픈소스 LLM을 LPU에서 실행할 수 있게 하는 클라우드 서비스를 출시했다. 이 서비스는 많은 GPU 기반 제품보다 훨씬 빠른 속도로 토큰을 생성하는 능력으로 주목을 받았다.
하드웨어 외에도 Groq는 컴파일러와 런타임을 포함한 소프트웨어 스택을 개발했다. Groq 컴파일러는 PyTorch 및 ONNX와 같은 인기 있는 프레임워크의 모델을 LPU에 최적화된 명령어로 변환한다. 이 회사는 또한 클라우드 제공업체 및 시스템 통합업체와의 협력을 통해 기술을 더 넓은 AI 인프라에 통합하기 위해 다른 기업들과 파트너십을 맺었다.
시장 위치 및 경쟁
Groq는 AI 추론 가속기 분야에서 경쟁력 있는 시장에서 활동하며, NVIDIA와 같은 기존 업체 및 cerebra 및 SambaNova와 같은 신생 기업과 경쟁하고 있다. Nvidia가 GPU로 AI 훈련 시장을 지배하는 반면, Groq는 지연 시간과 처리량이 중요한 추론 부문을 목표로 한다. 이 회사의 LPU는 챗봇, 코드 생성 및 기타 대화형 Generative AI 서비스를 포함한 실시간 애플리케이션에 특히 적합하다.
Groq의 접근 방식은 주요 기술 기업들의 투자를 이끌어냈다. 2021년, 이 회사는 d1 capital과 tiger global management가 주도하고 the whale rock group이 참여한 펀딩 라운드에서 3억 달러를 모금했다. 또한 Samsung Electronics와 Intel로부터 투자를 받았으며, 이는 대체 AI 아키텍처에 대한 기존 반도체 기업들의 관심을 반영한다.
응용 분야 및 사용 사례
Groq의 기술은 빠른 응답 시간이 필요한 다양한 AI 애플리케이션에 사용된다. 이 회사의 LPU는 자율 주행 차량과 로봇 공학과 같은 엣지 컴퓨팅 시나리오에 배포되었으며, 여기서 낮은 지연 시간이 필수적이다. Groq는 또한 자연어 처리 및 컴퓨터 비전을 위한 Machine learning 워크로드, 특히 Deep learning 모델을 가속화하기 위해 연구 기관 및 대학과 협력해 왔다.
기업 부문에서 Groq의 클라우드 서비스는 기업들이 전용 하드웨어에 투자하지 않고도 Large language model 애플리케이션을 배포할 수 있게 한다. 이 플랫폼은 GPT-J 및 Llama 2와 같은 모델의 미세 조정과 추론을 지원하여 기업이 맞춤형 AI 어시스턴트와 분석 도구를 구축할 수 있도록 한다. Groq의 결정적 성능은 금융 거래 및 의료 진단과 같이 엄격한 지연 시간 요구 사항이 있는 산업에도 매력적이다.
향후 방향
Groq는 하드웨어와 소프트웨어 제품을 지속적으로 발전시키고 있다. 이 회사는 더 큰 모델과 더 복잡한 워크로드를 지원하기 위해 메모리와 처리 능력을 향상시킨 차세대 LPU를 발표했다. Groq는 또한 개발자들이 LPU를 채택하기 쉽게 하기 위해 Artificial intelligence 프레임워크 및 도구와의 통합을 모색하고 있다.
AI 추론에 대한 수요가 증가함에 따라 Groq는 제조 확장과 기존 GPU 생태계와의 경쟁이라는 과제에 직면해 있다. 이 회사의 특화된 고성능 추론에 대한 집중은 틈새 플레이어로서의 위치를 굳혔지만, 그 기술은 더 넓은 AI 하드웨어 환경에 영향을 미칠 잠재력을 가지고 있다. Groq의 성공은 기존 솔루션 대비 속도, 비용 및 에너지 효율성에서 명확한 이점을 입증하는 능력에 달려 있다.