Untether AI는 엣지 컴퓨팅 애플리케이션을 위한 에너지 효율적인 인공지능 추론 칩을 설계하는 캐나다의 반도체 기업이다. 2019년에 설립되어 토론토에 본사를 둔 이 회사는 훈련된 신경망을 최소 전력 소비와 지연 시간으로 실행하도록 최적화된 프로세서를 개발하며, 자율 주행 차량, 산업 자동화, 실시간 데이터 센터 추론과 같은 사용 사례를 목표로 한다. 이 회사는 토론토 대학교의 연구에서 출발하여 인공지능 하드웨어 생태계 내에서 빠르게 자리 잡았으며, Groq 및 Graphcore와 같은 다른 전문 칩 제조업체와 경쟁하면서 AI 모델의 훈련보다는 배포에 초점을 맞추고 있다.
이 회사의 핵심 기술은 처리 요소와 메모리 사이의 데이터 이동에 드는 에너지 비용을 줄이는 새로운 메모리 아키텍처에 중심을 두며, 이는 기존의 폰 노이만 컴퓨팅에서 병목 현상으로 꼽힌다. 2019년에 Untether AI는 Radical Ventures와 Draper Associates가 주도한 시드 라운드에서 1,900만 달러를 모금했으며, 이후 2022년 10월에 캐나다 공공 부문 연금 투자 위원회와 삼성 촉매 펀드가 공동 주도한 시리즈 B 자금 조달에서 1억 7,500만 달러를 확보하여 총 자금을 2억 달러 이상으로 늘렸다. 이 회사는 2023년에 첫 상용 제품인 speedAI240을 출시했지만, 생산량은 점진적으로 확대되었다.
설립 및 초기 개발
Untether AI는 인텔에서 데이터 센터 칩 엔지니어링을 이끌었던 Arun Subramaniyan과 AMD에서 시스템 아키텍트로 근무한 Martino Andreani가 공동 설립했다. 두 사람은 토론토 대학교의 연구 협업을 통해 만났으며, 그곳에서 Andreas Moshovos 교수 아래에서 에너지 효율적인 딥러닝 가속기를 연구했다. 2017년에 발표된 그들의 초기 개념은 추론을 위해 외부 DRAM 접근을 제거하도록 메모리를 처리 장치로 옮기는 것을 제안했다.
2020년에 이 회사는 TSMC와 7나노미터 공정으로 칩을 제조하기 위한 파트너십을 발표했으며, 2021년 초에 테이프아웃 실리콘을 완료했다. 2022년 중반까지 Untether AI는 토론토와 오타와 사무소에 약 120명의 직원을 고용했으며, 산호세에도 엔지니어링 센터를 계획했다. 이 회사의 초기 성장은 2021년 전략 혁신 기금에서 400만 달러를 포함한 캐나다 정부의 지원으로 혜택을 받았다.
아키텍처 및 기술
Untether AI 칩의 핵심 혁신은 "메모리 내 컴퓨팅" 접근 방식으로, 다이에서 SRAM 메모리 배열 바로 옆에 계산 장치를 배치한다. 이 배열은 각 작업마다 시스템 버스를 통해 데이터를 이동할 필요를 없애 기존 가속기보다 전력 소비를 크게 줄인다. 이 아키텍처는 가중치와 활성화가 로컬 메모리에 상주하고 각 뉴런의 계산이 메모리 위치에서 발생하는 데이터플로우 스타일 실행 모델을 사용한다.
speedAI240 프로세서는 각각 2MB의 SRAM을 가진 256개의 계산 코어를 포함하며, 8비트 정수 정밀도에서 2페타 연산/초(POPS)를 달성하면서 약 25와트를 소비한다. 이 효율성은 자율 주행 시스템의 객체 감지나 제조업의 실시간 결함 검사와 같은 낮은 지연 시간을 요구하는 엣지 추론 작업을 목표로 한다. 대형 모델 훈련을 위해 설계된 AMD 또는 Intel의 GPU와 달리, Untether AI의 실리콘은 모델 가지치기 및 양자화와 같은 기술을 활용하여 고정 기능 추론에 최적화되어 처리량을 극대화한다.
소프트웨어 스택 및 호환성
이 회사는 TensorFlow 및 PyTorch 프레임워크의 모델을 하드웨어용 실행 가능한 바이너리로 컴파일하는 untether SDK라는 소프트웨어 개발 키트를 제공한다. 이 툴체인은 딥러닝에서 흔한 합성곱, 풀링, 잔차 네트워크를 포함한 레이어를 지원하며 성능 추정을 위한 시뮬레이터를 포함한다. 2023년에 Untether AI는 ONNX 내보내기 지원을 발표하여 기존 머신러닝 파이프라인과의 통합을 간소화했다.
주목할 만한 기능은 희소성 인식 계산 지원으로, 컴파일러가 텐서의 0 값을 감지하고 처리를 건너뛰어 속도와 에너지 효율성을 모두 향상시킨다. 엣지 훈련 시나리오의 경우, 이 회사는 장치에서 모델을 미세 조정할 수 있는 제한된 정밀도 훈련 모드도 제공하지만, 이는 여전히 연구 기능으로 남아 있다.
시장 위치 및 경쟁
Untether AI는 엣지 AI 추론 가속기라는 틈새 시장에서 경쟁하며, 이 시장에는 유사한 온칩 메모리 접근 방식을 사용하지만 더 큰 데이터 센터 워크로드를 목표로 하는 Groq와 재구성 가능한 아키텍처에 초점을 맞춘 SambaNova와 같은 기업도 서비스를 제공한다. 하이퍼스케일 데이터 센터로 확장되는 AWS Trainium 및 Google Cloud TPU와 대조적으로, Untether AI는 분산 배포를 위한 낮은 전력 예산을 강조한다. 이 회사는 임베디드 시스템에서 Arm 기반 CPU의 보완재로 자리 잡고 있다.
2023년에 Untether AI는 삼성전자와 칩렛용 패키징 솔루션을 공동 개발하기 위해 파트너십을 맺었으며, 이는 대량 생산 비용을 줄일 가능성이 있다. 분석가들은 이 회사가 TSMC의 7나노미터 공정에 의존하여 경쟁력 있는 성능 대비 전력 비율을 제공하지만, 퀄컴의 클라우드 AI 추론 칩과 브로드컴의 차세대 프로세서와 경쟁에 직면해 있다고 지적한다.
애플리케이션 및 사용 사례
Untether AI 하드웨어의 주요 목표 애플리케이션은 자율 주행 차량으로, 낮은 지연 시간이 빠른 센서 데이터 해석을 가능하게 하며, Figure AI가 개발한 휴머노이드 시스템과 같은 로봇 공학도 포함한다. 제조업에서는 실시간 이상 감지가 필요한 시각 검사 시스템에 칩이 사용된다. 이 회사는 또한 빠른 이미지 처리가 필요한 수술 로봇과 같은 의료 영상 및 위성 데이터를 이용한 원격 감지도 목표로 한다.
데이터 센터에서 Untether AI는 AWS 인스턴스 및 온프레미스 서버용 가속 카드를 제공하며, 대형 언어 모델의 추론에 요청당 전력을 줄이는 데 초점을 맞춘다. 2024년에 도입된 배포 키트에는 OpenAI의 GPT-2를 참조로 사용하여 감정 분석 및 객체 추적과 같은 일반적인 작업을 위한 사전 튜닝된 모델이 포함된다.
성능 및 벤치마크
2023년 후반에 MLPerf 조직이 발표한 독립 벤치마크에 따르면, Untether AI의 speedAI240은 8비트 정밀도에서 ResNet-50 분류 작업에서 초당 75프레임을 달성하고 프레임당 0.5줄을 소비하여 엔비디아의 Jetson Orin보다 에너지 효율성에서 3배 우수한 성능을 보였다. 그러나 BERT와 같은 더 큰 모델에서는 제한된 온칩 용량으로 인해 순차 메모리 아키텍처가 더 느린 처리량을 보인다. 이 회사는 최대 64GB까지 구성 가능한 오프칩 LPDDR5 메모리를 지원하여 엣지와 서버 워크로드를 연결하는 방식으로 이 문제를 해결한다.
인텔의 Movidius 칩과 비교하여 speedAI240은 더 높은 최고 TOPS를 제공하지만 비용이 더 높아 자율 주행 트럭과 같은 프리미엄 애플리케이션에 적합하다. 2024년 MIT 컴퓨터 과학 및 인공지능 연구소의 연구는 Untether AI의 설계를 산업 제품에서 근접 메모리 컴퓨팅의 선도적인 예로 인용했다.
로드맵 및 향후 방향
현재 Untether AI는 "Gemini"라는 코드명의 2세대 아키텍처를 개발 중이며, 이는 새로운 트랜스포머 기반 모델을 위한 16비트 부동 소수점 형식을 지원하는 것을 목표로 한다. 이 회사는 2025년 후반에 칩 샘플링을 계획하고 있으며, 현재 수치를 3배로 늘린 10 TOPS/W 효율을 목표로 한다. 엣지 장치에서 트랜스포머 및 멀티 헤드 어텐션을 효율적으로 처리하기 위한 툴체인 개선에 초점을 맞추고 있다.
이 회사는 또한 외부 제어 프로세서에 대한 의존도를 줄이기 위해 RISC-V 코어와 가속기 통합을 탐구하여 완전히 프로그래밍 가능한 SoC를 가능하게 한다. 2024년에는 분산 추론을 위한 에너지 인식 스케줄링에 대해 버클리 AI 연구 연구소와 연구 협업을 발표했다. 장기적으로 Untether AI는 생성형 AI 엣지 시장의 핵심 플레이어가 되는 것을 목표로 하며, 2027년까지 100만 대 출하를 예상한다.
리더십 및 기업 지배 구조
CEO Arun Subramaniyan은 최고 기술 책임자 Martino Andreani와 엔지니어링 부사장 Tom Doyle를 포함한 경영진을 이끈다. 이사회에는 Radical Ventures와 삼성 리서치의 벤처 파트너가 포함되어 전략적 지침을 제공한다. 이 회사는 2025년 초 기준으로 토론토, 오타와, 산호세에 총 180명의 직원을 유지하고 있다. 주목할 만한 고문으로는 텐서 방법의 저명한 인물인 Anima Anandkumar가 있으며, Geoffrey Hinton은 설립 당시 비공식적으로 고문으로 활동했다.
Untether AI의 특허는 40건 이상의 출원된 등록으로 미스핏 메모리 및 동적 전압 스케일링 기술을 다루며, 토론토 대학교의 포트폴리오를 라이선스했다. 이 회사의 재정 상태는 2024년 경기 침체를 통해 안정적으로 유지되었으며, 2025년 1월에 PSP Investments가 주도한 1억 달러의 시리즈 C 자금 조달을 발표했다.
산업 영향 및 평가
업계 관찰자들은 Untether AI를 메모리 내 컴퓨팅 연구를 상업적 규모로 가져온 선구자로 보고 있으며, 스탠포드 AI 연구소는 그 설계 결정에 대한 사례 연구를 주최했다. Arm 및 TomTom과 같은 생태계 파트너와의 협력은 내비게이션 시스템에서 그 범위를 확장했다. 그러나 일부 머신러닝 커뮤니티에서는 클라우드 제공업체가 오라클 클라우드 및 애저 서비스를 통해 더 저렴한 추론을 제공함에 따라 엣지 전용 칩의 장기적 생존 가능성에 의문을 제기한다. Untether AI는 데이터가 장치를 떠날 수 없는 지연 시간 중요 및 개인 정보 보호 민감 애플리케이션을 인용하여 반박한다.
이 회사는 또한 오픈 소스 소프트웨어에 기여하여 2024년에 ONNX Runtime 커뮤니티에서 채택된 컴파일러 백엔드를 출시했지만, 추가 통합은 계속 진행 중이다. 그 자금 조달 궤적은 부문의 광범위한 시장 통합 속에서 전문 AI 실리콘에 대한 지속적인 투자자 관심을 반영한다.