AkAI는 대규모 머신러닝 모델을 훈련하고 실행하기 위한 특수 컴퓨팅 시스템을 설계하고 배포하는 인공지능 인프라 기업이다. 이 회사는 고대역폭 상호 연결, 최적화된 가속기, 오케스트레이션 소프트웨어를 포함한 현대 Generative AI 애플리케이션에 필요한 하드웨어-소프트웨어 스택에 중점을 둔다. AkAI는 Large language model 워크로드를 효율적으로 배포하려는 기업 및 연구 기관을 위한 엔드투엔드 솔루션 제공업체로 자리매김하고 있다.
2020년대 초반 반도체 설계 및 분산 시스템 분야의 배경을 가진 엔지니어와 연구원 팀에 의해 설립된 AkAI는 목적에 맞게 제작된 AI 하드웨어로의 광범위한 산업 전환 속에서 등장했다. 회사 이름은 "AI"라는 접두사와 양식화된 "k"를 결합한 것으로, 운동 에너지와 속도를 연상시키기 위한 것이다. AkAI의 초기 자금 조달 라운드는 Deep learning 및 Transformer (architecture) 아키텍처의 발전에 힘입어 증가하는 컴퓨팅 용량 수요에 주목하는 투자자들을 끌어들였다.
설립 및 초기 개발
AkAI는 2021년에 설립되었으며, 반도체 및 기술 기업의 허브인 캘리포니아주 산타클라라에 본사를 두고 있다. 창립 팀에는 AMD와 Intel 출신의 전직 엔지니어와 주요 클라우드 제공업체에서 분산 훈련 시스템을 작업한 소프트웨어 아키텍트가 포함되어 있었다. 그들의 초기 목표는 기존 AI 인프라의 비효율성, 특히 프로세서와 메모리 간 데이터 이동의 병목 현상을 해결하는 것이었다.
2022년에 발표된 회사의 첫 제품은 기존 GPU 클러스터를 보완하도록 설계된 맞춤형 가속기 보드였다. AkAI는 Neural network 훈련 하드웨어를 완전히 대체하기보다는 가속기 간 통신 계층을 개선하여 확장을 제한하는 경우가 많은 지연 시간을 줄이는 데 집중했다. 이 접근 방식은 완전히 독점적인 칩 설계를 추구한 경쟁업체와 차별화되었다.
2023년까지 AkAI는 딥 테크 전문 벤처 캐피털 컨소시엄이 주도하는 1억 5천만 달러 규모의 시리즈 B 자금 조달을 확보했다. 이 자금은 엔지니어링 팀을 확장하고 텍사스주 오스틴에 두 번째 설계 센터를 여는 데 사용되었다. 회사는 또한 MIT CSAIL 및 Stanford AI Lab을 포함한 학술 기관과 협력하여 최첨단 연구 워크로드에서 자사 하드웨어를 테스트하기 시작했다.
핵심 기술 및 제품
AkAI의 주력 제품 라인인 AkAI 가속기 시리즈는 2023년에 도입되었으며 A1000 및 A2000 모델을 포함한다. 이 가속기는 훈련과 추론 모두를 위해 설계되었으며, 에너지 효율성과 Transformer (architecture) 기반 모델의 높은 처리량에 중점을 둔다. 2024년에 출시된 A2000은 대규모 훈련에서 흔한 병목 현상인 빈번한 데이터 전송의 필요성을 줄이는 새로운 메모리 아키텍처를 특징으로 한다.
회사는 또한 여러 가속기를 응집력 있는 클러스터로 연결하는 소프트웨어 정의 네트워크 계층인 AkAI Fabric을 개발했다. Fabric은 동적 리소스 할당을 지원하여 사용자가 Large language model 미세 조정부터 실시간 추론 실행까지 다양한 작업에 컴퓨팅 용량을 분할할 수 있게 한다. 이 소프트웨어 스택은 TensorFlow 및 PyTorch를 포함한 인기 있는 머신러닝 프레임워크와 호환되지만, 회사는 자체 프레임워크를 출시하지 않았다.
2024년에 AkAI는 이기종 하드웨어 전반에 걸쳐 작업 스케줄링, 모니터링, 내결함성을 자동화하는 관리 플랫폼인 AkAI Orchestrator를 도입했다. Orchestrator는 kubernetes와 통합되며 하이브리드 클라우드 배포를 지원하여 고객이 사내 AkAI 클러스터와 Amazon Web Services 및 Google Cloud와 같은 공공 클라우드 리소스를 결합할 수 있게 한다.
시장 위치 및 경쟁
AkAI는 기존 반도체 기업과 전문 AI 스타트업을 포함한 경쟁 환경에서 운영된다. 주요 경쟁사로는 AI 가속기 시장을 지배하는 NVIDIA와 추론 최적화 칩에 중점을 둔 스타트업 Groq가 있다. NVIDIA의 범용 GPU와 달리 AkAI의 가속기는 Deep learning 워크로드에 특별히 맞춰져 있어 특정 모델 아키텍처에서 와트당 더 나은 성능을 제공한다고 회사는 주장한다.
회사는 또한 엄격한 데이터 개인정보 보호 요구 사항이 있는 조직을 위한 사내 솔루션을 제공함으로써 클라우드 기반 AI 서비스의 대안으로 자리매김했다. 이는 규제 준수가 공공 클라우드 사용을 제한하는 의료 및 금융과 같은 분야의 관심을 끌었다. AkAI의 Oracle Cloud Infrastructure 및 Microsoft Azure와의 파트너십을 통해 고객은 필요할 때 사내 클러스터를 이러한 환경으로 확장할 수 있다.
분석가들은 AkAI의 성공이 견고한 소프트웨어 생태계를 구축하는 능력에 달려 있다고 지적하며, 이는 역사적으로 소규모 하드웨어 공급업체를 방해해 온 과제이다. 회사는 Fabric 소프트웨어의 일부를 오픈소스화하여 개발자를 유치하고 플랫폼 주변에 커뮤니티를 구축하는 것을 목표로 대응했다. 2025년 현재 AkAI는 200개 이상의 기업 고객을 보유하고 있다고 보고하지만, 매출 수치는 공개하지 않는다.
연구 개발
AkAI는 AI 하드웨어 및 알고리즘에 대한 새로운 접근 방식을 탐구하는 전담 연구 부서를 유지한다. 전직 Google DeepMind 엔지니어가 이끄는 이 부서는 모델 아키텍처와 하드웨어를 공동 설계하는 데 중점을 둔다. 여기에는 Generative AI 애플리케이션의 핵심 과제인 장문맥 Transformer (architecture)의 계산 요구 사항을 줄일 수 있는 희소 어텐션 메커니즘 조사가 포함된다.
AkAI는 BAIR (Berkeley AI Research)와 협력하여 훈련 중 수치 정밀도를 동적으로 조정하여 정확도를 희생하지 않고 효율성을 개선하는 기술인 "적응형 정밀도 스케일링"에 관한 2024년 논문을 발표했다. 이 논문은 표준 벤치마크에서 에너지 소비를 30% 줄이는 것을 입증했지만, 이 기술은 아직 상용 제품에 통합되지 않았다.
회사는 또한 하드웨어 인식 Machine learning 알고리즘을 탐구하는 Carnegie Mellon University 및 University of Oxford의 프로젝트를 지원하는 보조금 프로그램을 통해 학술 연구에 자금을 지원한다. AkAI의 연구원들은 NeurIPS 및 ISCA와 같은 학회에 기여하여 메모리 계층 구조와 상호 연결 토폴로지에 관한 연구를 발표했다.
애플리케이션 및 사용 사례
AkAI의 인프라는 자연어 처리부터 컴퓨터 비전까지 다양한 분야에서 사용된다. 의료 분야에서 회사는 방사선 스캔을 분석하는 모델을 배포하는 의료 영상 스타트업과 협력하여 실시간 진단을 위한 가속기의 낮은 지연 시간을 활용한다. AkAI는 또한 Intuitive Surgical와 협력하여 AI 지원 수술 로봇을 탐구하고 있지만, 이러한 노력은 초기 연구 단계에 머물러 있다.
자동차 산업에서 AkAI는 Waymo 및 Tesla과 같은 기업이 개발한 시스템을 보완하는 자율 주행 연구용 하드웨어를 공급한다. 회사의 가속기는 차량 내부가 아닌 시뮬레이션 환경에서 인식 모델을 훈련하는 데 사용되는데, 이는 온보드 추론의 특수 요구 사항 때문이다.
금융 기관은 저지연 추론이 중요한 사기 탐지 및 알고리즘 트레이딩에 AkAI 클러스터를 사용한다. 회사의 Orchestrator를 통해 이러한 고객은 실시간 워크로드를 배치 처리보다 우선시하여 시간에 민감한 애플리케이션이 성능 목표를 충족하도록 보장할 수 있다.
지속 가능성 및 에너지 효율성
AkAI의 주요 판매 포인트 중 하나는 AI 데이터 센터의 환경 영향에 대한 증가하는 우려를 해결하는 에너지 효율성에 대한 초점이다. 회사 벤치마크에 따르면 A2000 가속기는 이전 제품 대비 와트당 성능이 40% 개선되었다. AkAI는 또한 열 관리를 위한 에너지를 줄이는 액체 냉각 랙 솔루션을 제공한다.
회사는 2030년까지 자체 운영에 대한 탄소 중립을 약속했으며, 고객에게 AI 워크로드의 에너지 소비를 모니터링하는 도구를 제공한다. 2023년부터 매년 발행되는 AkAI의 지속 가능성 보고서는 제조부터 폐기 시 재활용까지 하드웨어의 수명 주기 영향을 상세히 설명한다.
향후 방향
앞으로 AkAI는 사물인터넷 및 모바일 컴퓨팅 애플리케이션을 대상으로 엣지 디바이스용 전용 추론 칩을 포함하도록 제품 라인을 확장할 계획이다. 회사는 또한 양자 컴퓨팅 인터페이스를 탐구하고 있지만, 이 연구는 초기 단계에 있으며 가까운 시일 내에 상용 제품은 기대되지 않는다.
AkAI는 더 많은 오픈소스 도구를 출시하고 클라우드 제공업체와의 파트너십을 육성하여 소프트웨어 생태계를 성장시키는 것을 목표로 한다. 2025년에 회사는 이기종 AI 하드웨어를 위한 통합 프로그래밍 모델을 개발하기 위해 SambaNova와의 협력을 발표했으며, 이는 다양한 공급업체의 칩에서 모델 배포를 단순화할 수 있다.
회사의 장기 비전은 Arm Holdings가 산업 전반에 걸쳐 프로세서 설계를 라이선스하는 방식과 유사하게 AI 인프라의 표준 플랫폼이 되는 것이다. AkAI가 이 야망을 달성할 수 있을지는 생산 규모를 확장하고 빠르게 진화하는 분야에서 기술 리더십을 유지하는 능력에 달려 있다.
조직 구조 및 문화
2025년 현재 AkAI는 약 800명의 직원을 고용하고 있으며, 산타클라라, 오스틴에 사무실을 두고 토론토에 연구소를 운영하고 있다. 회사의 문화는 엔지니어와 연구원이 소규모 자율 팀으로 작업하는 학제 간 협력을 강조한다. AkAI는 평평한 계층 구조를 채택했으며, 리더십에는 전직 AMD 임원인 CEO Mark Chen과 이전에 google에서 Transformer (architecture) 아키텍처를 작업한 CTO Jakob Uszkoreit가 포함된다.
회사는 시스템 설계 및 머신러닝 기초에 중점을 둔 기술 인터뷰를 포함하는 엄격한 채용 프로세스로 알려져 있다. AkAI는 대형 기술 기업 및 연구 기관의 최고 인재를 유치하기 위해 경쟁력 있는 보상과 주식 패키지를 제공한다. 2024년에 보고된 연간 이직률 10% 미만으로 직원 유지율은 높았다.
결론
AkAI는 현대 머신러닝의 확장성 과제를 해결하는 특수 하드웨어와 소프트웨어를 제공함으로써 AI 인프라 분야에서 주목할 만한 플레이어로 자리매김했다. 더 큰 기존 업체와의 치열한 경쟁에 직면해 있지만, 에너지 효율성과 모델 아키텍처와의 공동 설계에 대한 초점은 뚜렷한 가치 제안을 제공한다. Generative AI에 대한 수요가 계속 증가함에 따라 효율적인 컴퓨팅을 가능하게 하는 AkAI의 역할은 계속 중요할 가능성이 높지만, 장기적인 성공은 실행과 생태계 채택에 달려 있다.