Arm AI는 영국 케임브리지에 본사를 둔 영국계 반도체 및 소프트웨어 설계 기업인 Arm Holdings plc의 인공지능 전문 부서이다. Arm AI는 엣지 컴퓨팅에 특화된 프로세서 설계와 신경망 처리 장치(NPU)를 개발하여, 스마트폰에서 임베디드 센서에 이르는 다양한 기기에서 온디바이스 머신러닝 및 딥러닝 워크로드를 가능하게 한다. 주요 제품 라인인 Ethos NPU 제품군은 전력 제약이 있는 환경에서 신경망 추론을 효율적으로 가속화하도록 설계되었다.
이 부서는 전 세계 파트너에게 라이선스되는 Arm의 광범위한 아키텍처를 기반으로 한다. Cortex-A 및 Cortex-M 시리즈와 같은 Arm의 CPU 코어는 모바일 및 임베디드 시스템에서 널리 사용되며, Arm AI는 AI 전용 가속기를 이러한 코어와 통합한다. 이러한 접근 방식은 기기가 생성형 AI 모델 및 기타 AI 작업을 로컬에서 실행할 수 있게 하여 클라우드 컴퓨팅에 대한 의존도를 줄이고 개인정보 보호와 지연 시간을 개선한다. Arm AI는 퀄컴, 애플, 삼성전자와 같은 기업의 다른 엣지 AI 솔루션과 경쟁하지만, 라이선스 모델은 광범위한 칩 설계 생태계를 가능하게 한다는 점에서 차별화된다.
역사와 진화
Arm Holdings는 1990년 11월 12일 Widelogic Limited로 설립되었으며, 1990년 12월 3일 Acorn Computers, Apple, VLSI Technology 간의 합작 투자로 Advanced RISC Machines Limited로 빠르게 개명되었다. ARM이라는 약어는 원래 "Acorn RISC Machine"을 의미했으며, 이후 Apple의 요청으로 "Advanced RISC Machines"로 변경되었다. 이 회사의 첫 번째 프로세서인 ARM1은 최초의 RISC 기반 데스크톱 컴퓨터 중 하나인 Acorn Archimedes에 사용되었다. Arm의 초기 초점은 저전력, 고효율 프로세서였으며, 이는 모바일 기기의 기반이 되었다.
Arm AI는 2010년대에 인공지능 애플리케이션이 확산되면서 별도의 이니셔티브로 등장했다. 2017년 Arm은 최초의 AI 전용 프로세서 아키텍처인 Arm Machine Learning 프로세서를 도입했고, 2018년에는 Ethos NPU 제품 라인을 출시했다. 이러한 개발은 수십억 개의 엣지 기기에 AI 기능을 제공하여 모든 곳에서 컴퓨팅을 구현하겠다는 Arm의 사명에 부합하는 것을 목표로 했다. 이후 이 부서는 오픈AI와 앤트로픽의 모델과 같은 모델이 더욱 소형화됨에 따라 증가하는 수요인 온디바이스 대규모 언어 모델 추론을 지원하도록 확장되었다.
Ethos NPU 아키텍처
Ethos NPU 제품군은 Arm AI의 핵심 하드웨어 제품이다. 1세대인 Ethos-N37은 2018년에 발표되어 중급 스마트폰과 IoT 기기를 대상으로 했다. 이후 세대인 Ethos-N57과 Ethos-N77은 고급 애플리케이션을 위한 성능을 확장했다. 2020년 Arm은 마이크로컨트롤러와 초저전력 엣지 기기를 위해 설계된 Ethos-U 시리즈를 도입하여 센서와 웨어러블에서 AI를 가능하게 했다. 2024년에 출시된 최신 Ethos-U85는 현대 AI에 사용되는 트랜스포머 아키텍처를 포함한 트랜스포머 기반 모델을 지원한다.
Ethos NPU는 훈련이 아닌 추론에 최적화되어 있으며, TOPS/W(와트당 초당 테라 연산)와 같은 효율성 지표에 중점을 둔다. 이들은 합성곱, 풀링, 활성화 함수를 포함한 일반적인 신경망 연산을 지원하며, TensorFlow Lite 및 PyTorch와 같은 소프트웨어 프레임워크를 통해 프로그래밍할 수 있다. Arm AI는 또한 AI 프레임워크를 하드웨어에 연결하여 원활한 배포를 보장하는 Arm NN 소프트웨어 라이브러리를 제공한다.
Arm CPU와의 통합
Arm AI 프로세서는 모바일 및 임베디드 시스템에서 널리 사용되는 Arm CPU와 함께 작동하도록 설계되었다. 스마트폰에 사용되는 Cortex-A 시리즈와 마이크로컨트롤러에 사용되는 Cortex-M 시리즈는 범용 컴퓨팅을 제공하고, Ethos NPU는 AI 전용 작업을 오프로드한다. 이러한 이기종 컴퓨팅 접근 방식은 배터리 구동 기기에 중요한 성능과 전력의 균형을 유지한다. 예를 들어, 스마트폰은 앱 처리를 위해 Cortex-A78을 사용하고, 장면 인식과 같은 카메라 AI 기능을 위해 Ethos-N77을 사용할 수 있다.
2020년에 도입된 Arm의 Total Compute 솔루션은 CPU, GPU, NPU를 하나의 응집력 있는 플랫폼으로 통합한다. Arm의 그래픽 라인인 Mali 및 Immortalis GPU도 AI 워크로드를 지원하며, Immortalis는 하드웨어 레이 트레이싱을 추가한다. 이러한 통합을 통해 개발자는 다양한 컴퓨팅 장치에서 AI 모델을 최적화하여 효율성을 극대화할 수 있다. Arm Compute Library 및 Cortex-M용 CMSIS-NN을 포함한 Arm AI의 소프트웨어 도구는 배포를 더욱 간소화한다.
시장 위치 및 경쟁
Arm AI는 경쟁이 치열한 환경에서 운영된다. 모바일 AI 분야에서 경쟁사로는 퀄컴의 Hexagon DSP와 애플의 Neural Engine이 있다. IoT용 엣지 AI 분야에서는 인텔의 Movidius와 구글 딥마인드의 하드웨어 파트너가 경쟁자이다. 그러나 Arm의 라이선스 모델은 독특한 이점을 제공한다. 칩을 판매하는 대신 삼성전자, TSMC, 브로드컴을 포함한 수백 개의 파트너에게 설계를 라이선스한다. 이러한 생태계 접근 방식 덕분에 2025년 현재 사실상 모든 현대 스마트폰에서 Arm 기반 프로세서가 사용되고 있다.
서버 및 데이터 센터 공간에서 Arm AI는 AMD 및 인텔과 경쟁하지만, 주요 초점은 엣지에 맞춰져 있다. 서버 분야에서 Arm의 주요 CPU 경쟁사는 IBM, Intel, AMD이지만, 모바일 CPU 분야에서는 Arm에 경쟁사가 없다. 다만 칩 공급업체 간에는 경쟁이 있다. GPU 분야에서 Arm은 Imagination Technologies, Qualcomm, 그리고 점점 더 Nvidia, AMD, Samsung, Intel과 경쟁한다. 그럼에도 불구하고 Arm의 NPU는 Qualcomm의 Snapdragon 플랫폼에서 볼 수 있듯이 다른 공급업체의 GPU와 통합되는 경우가 많다.
소프트웨어 및 개발자 생태계
Arm AI는 AI 개발을 지원하는 포괄적인 소프트웨어 스택을 제공한다. 2017년에 처음 출시된 Arm NN SDK는 개발자가 TensorFlow, Caffe, ONNX와 같은 프레임워크를 지원하여 Arm 하드웨어에서 신경망을 실행할 수 있게 한다. 2019년 Arm은 임베디드 기기에서 AI 성능을 벤치마킹하는 도구인 Arm ML Embedded Evaluator(Arm ML Eval)를 도입했다. Cortex Microcontroller Software Interface Standard의 일부인 CMSIS-NN 라이브러리는 Cortex-M 프로세서용 신경망 커널을 최적화한다.
Arm은 또한 엣지-투-클라우드 AI를 가능하게 하기 위해 클라우드 제공업체와 협력한다. 아마존 웹 서비스, 애저, 구글 클라우드와의 파트너십을 통해 Arm AI 설계는 훈련용 클라우드 인스턴스에 사용되고, 엣지 기기는 추론을 처리한다. 이러한 하이브리드 접근 방식은 모델이 클라우드에서 훈련되고 온디바이스로 배포되는 생성형 AI 애플리케이션에서 일반적이다. Arm의 모델 가지치기 및 양자화 지원은 모델 크기를 줄여 메모리가 제한된 기기에서 배포를 실현 가능하게 한다.
최근 개발 및 향후 방향
2023년 Arm은 나스닥에 상장하여 545억 달러의 가치로 48.7억 달러를 모금했으며, SoftBank Group이 약 90%의 지분을 유지했다. 이 IPO는 Arm AI가 제품 로드맵을 확장할 자본을 제공했다. 2024년 Arm은 트랜스포머 모델을 지원하는 Ethos-U85를 발표하고, 대규모 추론을 겨냥한 데이터 센터용 Arm AI 가속기를 도입했다. 이러한 움직임은 온디바이스 대규모 언어 모델 추론을 포함한 더 강력한 엣지 AI로의 진출을 시사한다.
Arm AI는 또한 AI 연구소와의 파트너십을 모색하고 있다. 2025년에는 MIT CSAIL 및 스탠포드 AI 랩과 협력하여 AI의 탄소 발자국을 줄이는 것을 목표로 하는 에너지 효율적인 AI 알고리즘을 연구했다. 이 부서는 컴퓨터 비전을 위한 잔차 네트워크 및 U-Net 최적화와 자연어 처리를 위한 시퀀스-투-시퀀스 모델에 투자하고 있다. AI 모델이 더욱 효율적이 됨에 따라 Arm AI는 스마트 홈 센서에서 자율 주행 차량에 이르는 수십억 개의 기기에 이러한 모델을 배포하는 것을 목표로 한다.
과제 및 논란
Arm AI는 2020-2022년 Nvidia의 인수 시도가 영국, EU, 미국의 규제 압력으로 취소된 것을 포함한 과제에 직면해 있다. 이러한 불확실성은 Arm의 전략적 방향에 영향을 미쳤지만, 회사는 독립을 유지했다. 또한 Arm의 중국 자회사인 Arm China는 2020년에 보고된 지도부 갈등으로 분쟁의 원인이 되었다. 이러한 문제는 Arm AI의 제품 개발에 직접적인 영향을 미치지는 않았지만 거버넌스의 복잡성을 부각시킨다.
또 다른 과제는 무료 대안을 제공하는 RISC-V와 같은 오픈소스 AI 하드웨어 이니셔티브의 경쟁 압력이다. 그러나 Arm의 성숙한 생태계와 소프트웨어 지원은 강력한 해자를 제공한다. 2026년 현재 Arm AI는 계속 혁신하고 있으며, 웨이퍼 스케일 칩 제조업체인 Cerebras Systems의 인수 가능성에 대한 보도가 있었지만 제안은 거절되었다. 이는 Arm이 고성능 AI 컴퓨팅으로 확장하여 엣지와 데이터 센터 시장을 연결하려는 야망을 나타낸다.
결론
Arm AI는 엣지에서 AI를 구현하는 데 있어 Arm Holdings 내의 전략적 초점을 나타낸다. Ethos NPU 제품군과 Arm CPU와의 통합을 통해 광범위한 기기에 효율적이고 확장 가능한 솔루션을 제공한다. 이 부서의 성공은 반도체 산업 전반에 걸쳐 혁신을 촉진하는 Arm의 라이선스 모델에 달려 있다. AI가 보편화됨에 따라 Arm AI는 웨어러블에서 산업용 센서에 이르는 모든 연결 기기에 지능을 제공하고, 개인정보 보호에 민감한 세계에서 온디바이스 처리에 대한 증가하는 수요를 해결하는 데 중심적인 역할을 할 준비가 되어 있다.