Drew Hudson은 인공지능 하드웨어를 전문으로 하는 기업인 Groq의 공동 창립자로 가장 잘 알려진 기술 기업가이자 컴퓨터 아키텍트이다. 그는 대규모 언어 모델의 빠르고 효율적인 실행을 위해 특별히 설계된 프로세서인 언어 처리 장치(LPU) 개발에서 핵심적인 역할을 수행했다. 그의 작업은 인공지능과 고성능 컴퓨팅의 교차점에 있으며, AI 추론 작업에서 기존 그래픽 처리 장치(GPU)를 제한하는 메모리 및 대역폭 병목 현상을 극복하는 데 초점을 맞추고 있다.
Hudson의 반도체 산업 경력은 Groq 설립 이전에 시작되었다. 그는 이전에 Xerox PARC에서 근무하며 컴퓨터 시스템 연구 경험을 쌓았고, 이후 Nokia Bell Labs에서 고급 프로세서 설계와 관련된 프로젝트에 기여했다. 이러한 역할들은 그에게 이론적 연구와 실용적 엔지니어링의 기반을 제공했으며, 이는 이후 Groq의 독특한 아키텍처를 만드는 데 적용되었다.
Groq와 언어 처리 장치
2016년, Hudson은 Google의 텐서 처리 장치(TPU) 프로젝트 출신 동료들을 포함한 엔지니어 및 연구원 팀과 함께 Groq를 공동 창립했다. 이 회사는 AI 워크로드를 위해 결정적이고 낮은 지연 시간의 성능을 제공할 수 있는 새로운 종류의 프로세서를 구축하는 것을 목표로 설립되었다. 그 결과물이 LPU이며, 이는 소프트웨어 정의 방식을 사용하여 복잡한 명령어 스케줄링의 필요성을 제거하고 더 단순하고 예측 가능한 실행 모델을 가능하게 한다.
LPU의 1세대는 14나노미터 공정으로 제조되었으며, 이후 버전은 더 고급 노드로 전환되었다. Groq의 하드웨어는 특히 트랜스포머 기반 모델에서 많은 최신 GPU보다 훨씬 빠른 추론 속도로 벤치마킹되었다. 예를 들어, 2023년에 Groq는 사용자당 초당 100토큰을 초과하는 속도로 대규모 언어 모델의 실시간 추론을 시연했으며, 이는 AI 커뮤니티에서 상당한 주목을 받았다.
기술적 기여와 철학
Hudson은 AI 가속화에 대한 지배적인 GPU 중심 접근 방식에서 벗어나야 한다는 목소리를 꾸준히 내왔다. 그는 GPU가 다재다능하지만 데이터 이동이 종종 계산을 지배하는 추론 워크로드의 메모리 집약적 특성에 최적이 아니라고 주장한다. LPU는 대량의 온칩 정적 랜덤 액세스 메모리(SRAM)와 데이터가 지속적으로 흐르도록 유지하는 스트리밍 아키텍처를 사용하여 이 문제를 해결하며, HBM(고대역폭 메모리)과 같은 더 느린 외부 메모리에 대한 의존도를 줄인다.
이러한 설계 철학은 몇 가지 주목할 만한 기술적 성과로 이어졌다. Groq의 칩은 OpenAI와 Anthropic의 모델을 시연 환경에서 실행하는 데 사용되어 오픈소스 및 독점 아키텍처를 모두 처리할 수 있는 능력을 보여주었다. Hudson은 또한 결정적 성능의 중요성을 강조했는데, 이는 주어진 입력을 처리하는 시간이 일관되고 예측 가능하다는 것을 의미하며, 음성 비서 및 자율 시스템과 같은 실시간 애플리케이션에 중요하다.
산업 영향과 파트너십
Hudson의 기술적 리더십 아래 Groq는 주요 클라우드 제공업체 및 기업과 파트너십을 확보했다. 2024년, 이 회사는 Amazon Web Services와 협력하여 Groq의 LPU 기반 인스턴스를 AWS 마켓플레이스를 통해 제공하기로 발표했으며, 이를 통해 개발자는 하드웨어를 직접 소유하지 않고도 접근할 수 있게 되었다. 또한 Groq는 Google Cloud와 공동 연구 이니셔티브를 진행했지만, 이러한 프로젝트의 세부 사항은 완전히 공개되지 않았다.
이 회사는 또한 상당한 자금을 확보하여 초기 라운드에서 3억 달러 이상을 모금했으며, 투자자에는 Intel Capital과 Samsung Catalyst Fund가 포함된다. 이러한 투자는 Groq의 생산 확장과 PyTorch 및 TensorFlow와 같은 프레임워크의 모델을 LPU 호환 명령어로 변환하는 컴파일러 및 런타임을 포함한 소프트웨어 스택의 확장을 지원했다.
인정과 향후 방향
Hudson의 기여는 AI 하드웨어 분야의 영향력 있는 인물 목록에 이름을 올리는 것을 포함한 다양한 업계 상을 통해 인정받았다. 그는 국제 컴퓨터 아키텍처 심포지엄(ISCA) 및 신경 정보 처리 시스템(NeurIPS) 컨퍼런스와 같은 주요 학술 대회에서 연설했으며, LPU의 설계와 성능에 관한 논문을 발표했다.
앞으로 Hudson은 Groq가 더 큰 온칩 메모리와 개선된 에너지 효율성을 갖춘 차세대 LPU를 개발 중이라고 밝혔다. 이 회사는 또한 컴퓨터 비전 및 강화 학습을 포함한 언어 모델 이외의 응용 분야를 탐색하고 있지만, 이러한 노력은 아직 초기 단계에 있다. 2025년 현재, Groq는 SambaNova 및 Graphcore와 같은 다른 AI 칩 스타트업과 계속 경쟁하고 있지만, 훈련보다 추론에 초점을 맞춘 점이 시장에서 차별화 요소로 작용한다.
개인 배경과 교육
Hudson은 Carnegie Mellon University에서 전기 공학 학사 학위를 취득했으며, 그곳에서 이후 그의 프로세서 설계 접근 방식에 영향을 준 교수들 아래 컴퓨터 아키텍처를 공부했다. 그는 또한 Stanford University의 인공지능 연구소에서 대학원 과정을 수료했지만, 박사 학위를 마치기 전에 기업가적 활동을 추구하기 위해 중퇴했다. 그의 학문적 배경과 산업 경험은 그를 AI 하드웨어 분야에서 존경받는 목소리로 만들었으며, 그는 컴퓨팅의 미래에 관한 기술 블로그와 패널 토론에 자주 기여한다.