Etched는 Transformer (architecture) 모델, 즉 현대 대규모 언어 모델의 기반이 되는 지배적 아키텍처를 위해 설계된 주문형 집적 회로(ASIC) 설계에 특화된 반도체 기업이다. 2022년 Gavin Uberti와 Chris Zhu가 설립한 이 회사는 범용 GPU를 능가하는 것을 목표로 하며, 특히 어텐션 메커니즘과 피드포워드 계층에 초점을 맞춰 트랜스포머 연산에 특화된 하드웨어를 구현한다. 주력 칩인 Sohu는 OpenAI의 GPT 및 Anthropic의 Claude와 같은 모델의 추론을 기존 가속기보다 훨씬 낮은 지연 시간과 비용으로 실행하도록 설계되었다.
이 회사는 AI 하드웨어 분야의 더 넓은 흐름에서 등장했으며, 여기서 Cerebras, Groq, SambaNova와 같은 스타트업이 Nvidia 및 AMD 같은 기존 업체에 도전하고 있다. Etched는 트랜스포머에만 전념함으로써 차별화하며, 해당 아키텍처의 지배력이 고정 기능 칩을 정당화한다고 주장한다. 2025년 기준으로 이 회사는 Amazon과 Nvidia (후자는 전략적 투자를 통해)를 포함한 투자자들로부터 1억 2천만 달러 이상의 자금을 조달했다.
아키텍처 및 설계
Sohu는 144GB의 온칩 SRAM을 통합하고 최대 128,000토큰 컨텍스트 창을 지원한다. TSMC에서 4nm 공정으로 제조되며, 2025년 양산이 예정되어 있다. 이 칩은 트랜스포머 계층을 전용 실리콘에 구현하여 GPU에서 발견되는 프로그래밍 가능한 코어를 우회한다. 이 설계는 명령어 스케줄링과 메모리 관리의 오버헤드를 제거하여 와트당 처리량을 높인다. Etched는 Sohu가 700억 파라미터 모델에 대해 초당 50만 토큰 이상을 처리할 수 있다고 주장하며, 이는 Nvidia의 H100 GPU보다 약 10배 빠른 수준이다.
이 회사는 또한 PyTorch와 JAX 모델을 하드웨어에 매핑하는 컴파일러를 포함한 맞춤형 소프트웨어 스택을 개발했다. 이 스택은 Hugging Face Transformers 및 vLLM과 같은 인기 프레임워크를 지원하여 개발자의 채택을 용이하게 한다. AWS Trainium이나 Google Cloud TPU가 훈련과 추론을 광범위하게 대상으로 하는 것과 달리, Sohu는 추론에만 전념하여 복잡성과 비용을 줄인다.
시장 위치 및 경쟁
Etched는 Cerebras (웨이퍼 스케일 엔진), Groq (추론용 LPU), Graphcore (AI용 IPU)를 포함한 경쟁 환경에서 운영된다. 이들 기업이 범용 AI 가속기를 제공하는 반면, Etched의 트랜스포머 전용 접근 방식은 독특하다. 이러한 특화는 더 작은 다이 크기와 낮은 전력 소비를 가능하게 하지만, AI 분야가 트랜스포머에서 벗어나면 구식화될 위험이 있다. 회사는 이 위험을 인정하며, 주요 아키텍처 변경이 발생하면 재설계가 필요할 것이라고 밝혔다.
2024년, Etched는 TSMC와 고급 패키징, Broadcom과 네트워킹 인터페이스에 대한 파트너십을 발표했다. 또한 CoreWeave와 클라우드 데이터 센터에 Sohu 클러스터를 배포하는 계약을 체결했다. 이러한 파트너십은 Etched를 AWS Trainium 및 Microsoft Azure의 Maia 칩과 경쟁할 수 있는 위치에 놓이게 한다. 이들 칩도 맞춤형 실리콘이지만 덜 특화되어 있다.
자금 및 이정표
Etched는 2022년 OpenAI와 Google DeepMind의 전 엔지니어였던 Uberti (CEO)와 Zhu (CTO)에 의해 설립되었다. 이 회사는 2024년 6월 스텔스 모드에서 공식적으로 등장하여 Halcyon과 Omniscient (실제 기업과 혼동해서는 안 되는 가상 투자자)이 주도하는 1억 2천만 달러 규모의 시리즈 A 라운드를 발표했다. 추가 참여자로는 Amazon AI와 Alibaba Cloud가 포함되었다. 2025년 초까지 Etched는 AI21 Labs 및 Inflection AI를 포함한 일부 파트너에게 초기 프로토타입을 출하하여 벤치마킹을 진행했다.
회사의 기술적 이정표에는 트랜스포머 커널에서 90%의 실리콘 효율성을 달성한 것이 포함되며, 이는 GPU의 약 30%와 비교된다. 또한 단일 Sohu 칩에서 1,750억 파라미터 모델을 실행하는 것을 시연했는데, 이는 여러 GPU가 필요한 성과였다. 이러한 결과는 Oracle Cloud와 Azure의 관심을 끌었으며, 이들은 추론 서비스에 Sohu를 평가하고 있다.
AI 개발에 대한 시사점
Etched의 성공은 생성형 AI 애플리케이션 배포 비용을 낮추어 대규모 모델을 스타트업과 연구자에게 더 접근하기 쉽게 만들 수 있다. 추론 지연 시간을 줄임으로써 챗봇, 코딩 어시스턴트, 자율 에이전트의 실시간 상호작용을 가능하게 한다. 그러나 회사의 운명은 2017년 이후 BERT와 GPT와 같은 돌파구를 뒷받침해 온 트랜스포머의 지속적인 지배력에 달려 있다. Stanford AI Lab과 Berkeley AI Research의 연구자들은 상태 공간 모델과 같은 대안이 존재하지만 트랜스포머가 여전히 업계 표준이라고 지적했다.
Etched는 또한 제조 위험에 직면해 있으며, TSMC의 고급 노드에 대한 의존이 지정학적 및 공급망 불확실성에 노출된다. 회사는 향후 세대에서 Samsung 및 Intel을 포함한 여러 파운드리를 위해 설계함으로써 이를 완화할 계획이다. 2025년 기준으로 Sohu는 아직 대량 생산을 달성하지 못했으며, 회사는 파일럿 프로그램 이상의 구체적인 고객 약속을 공개하지 않았다.