엣지 추론은 훈련된 머신러닝 모델을 중앙 클라우드 서버로 데이터를 보내 처리하는 대신 스마트폰, 센서, 임베디드 시스템과 같은 로컬 장치에서 실행하는 프로세스입니다. '엣지'라는 용어는 물리적 세계와 핵심 네트워크 인프라 사이의 경계인 네트워크 엣지를 의미합니다. 로컬에서 추론을 수행함으로써 엣지 추론은 데이터 전송의 왕복 시간을 최소화하며, 이는 자율 주행 차량, 산업 자동화, 증강 현실과 같이 실시간 응답이 필요한 애플리케이션에 중요합니다. 또한 민감한 데이터를 장치에 유지하여 개인정보 보호 문제를 해결하고, 클라우드 서비스로의 지속적인 데이터 스트리밍에 필요한 대역폭을 줄입니다.
이 관행은 2010년대 후반 딥러닝 모델이 더욱 복잡해지고 저지연 AI 애플리케이션에 대한 수요가 증가하면서 두각을 나타냈습니다. 클라우드 기반 추론은 대규모 모델에서 여전히 지배적이지만, 엣지 추론은 소비자 전자제품 및 산업 환경에서 인공지능 배포의 핵심 전략이 되었습니다. 이 분야는 모델 정확도와 엣지 하드웨어의 계산 제약 사이의 절충을 포함하며, 엣지 하드웨어는 일반적으로 클라우드 서버에 비해 메모리, 처리 성능, 에너지 예산이 제한적입니다.
하드웨어 및 소프트웨어 기반
엣지 추론은 제한된 전력 범위 내에서 신경망 계산을 가속화하도록 설계된 특수 하드웨어에 의존합니다. Apple은 2017년 A11 Bionic 칩에 온디바이스 머신러닝 작업을 위한 전용 블록인 Neural Engine을 도입했습니다. 삼성전자는 2019년 Exynos 9820 프로세서에서 Neural Processing Unit(NPU)으로 뒤를 이었습니다. 퀄컴은 2019년 Snapdragon 855 모바일 플랫폼에 Hexagon Tensor Accelerator를 통합하여 Android 기기에서 더 빠른 AI 워크로드를 가능하게 했습니다. 인텔과 AMD는 엣지 서버 및 산업용 PC용 저전력 프로세서와 가속기를 개발했으며, Arm Holdings는 많은 엣지 칩의 아키텍처를 제공하고 TSMC가 제조한 실리콘에 설계를 라이선스합니다.
소프트웨어 측면에서 TensorFlow Lite, PyTorch Mobile, ONNX Runtime과 같은 프레임워크는 훈련된 모델을 엣지 배포에 최적화된 형식으로 변환하는 도구를 제공합니다. 이러한 프레임워크는 중복 가중치를 제거하는 모델 가지치기와 가중치 정밀도를 32비트 부동 소수점에서 8비트 정수로 줄여 모델 크기를 축소하고 추론 속도를 향상시키는 양자화와 같은 기술을 지원합니다. 예를 들어, 50% 희소성으로 가지치기된 모델은 특정 하드웨어에서 약 두 배 빠르게 실행될 수 있지만 정확도는 약간 저하될 수 있습니다.
엣지 최적화 기법
여러 알고리즘 기법을 통해 복잡한 모델이 리소스가 제한된 장치에서 실행될 수 있습니다. 지식 증류는 더 작은 '학생' 모델이 더 큰 '교사' 모델의 출력을 모방하도록 훈련하여 더 적은 매개변수로 유사한 정확도를 달성합니다. 가중치 초기화와 배치 정규화는 양자화에 더 적합한 모델을 생성하는 표준 훈련 관행입니다. 훈련 중 드롭아웃은 다양한 엣지 환경에 배포할 때 중요한 과적합을 방지하는 데 도움이 됩니다. 그래디언트 클리핑과 학습률 스케줄은 안정적인 수렴을 보장하는 훈련 측면 기술로, 최종 모델의 견고성에 간접적으로 영향을 미칩니다.
잔차 네트워크 아키텍처(예: ResNet)는 건너뛰기 연결 덕분에 과도한 계산 비용 없이 더 깊은 네트워크를 허용하므로 엣지 비전 애플리케이션에서 일반적으로 사용됩니다. U-Net은 클리닉의 엣지 장치에서 의료 영상 분할에 널리 사용됩니다. 시퀀스 작업의 경우 트랜스포머 모델은 엣지 사용을 위해 점점 더 압축되고 있지만 메모리 요구 사항은 여전히 과제로 남아 있습니다. Top-k 샘플링 및 온도 스케일링과 같은 기술은 생성 작업 중 추론에 적용되지만, 이는 엣지 장치보다는 클라우드 기반 대규모 언어 모델 배포에서 더 일반적입니다.
애플리케이션 및 산업 채택
엣지 추론은 소비자 전자제품에서 광범위하게 채택되었습니다. 스마트폰은 사진, 음성 인식, 예측 텍스트에 온디바이스 AI를 사용합니다. 테슬라 오토파일럿과 웨이모는 차량에서 카메라 및 센서 데이터를 실시간으로 처리하기 위해 엣지 추론을 사용하며, 안전에 중요한 결정의 경우 지연 시간 요구 사항은 100밀리초 미만입니다. 의료 분야에서 인튜이티브 서지컬은 다빈치 수술 시스템에서 실시간 영상 분석을 지원하기 위해 엣지 추론을 사용합니다. Commure와 Omniscient은 각각 병원 모니터링 및 신경 영상용 엣지 AI를 개발합니다.
산업 애플리케이션에는 기계의 센서가 로컬에서 이상 감지 모델을 실행하는 예측 유지보수와 조립 라인에서 비전 시스템이 제품을 검사하는 제조 품질 관리가 포함됩니다. Fermata는 드론과 고정 카메라의 이미지를 분석하여 농업에서 작물 모니터링에 엣지 추론을 사용합니다. TomTom은 내비게이션 장치에 엣지 AI를 통합하여 실시간 교통 예측을 제공합니다. 노키아 벨 연구소는 5G 네트워크 최적화를 위한 엣지 추론을 연구했으며, 제록스 PARC는 현대 엣지 아키텍처에 영향을 주는 분산 컴퓨팅에 대한 초기 연구를 기여했습니다.
과제 및 절충
주요 과제는 정확도-지연 시간 절충입니다. 더 큰 모델은 일반적으로 더 높은 정확도를 달성하지만 더 많은 메모리와 계산이 필요하며, 이는 엣지 장치의 성능을 초과할 수 있습니다. 예를 들어, 수십억 개의 매개변수를 가진 대규모 언어 모델은 상당한 압축 없이는 일반적인 스마트폰에서 실행될 수 없으며, 그 경우에도 성능이 충분하지 않을 수 있습니다. 모델 가지치기와 양자화는 최소한의 정확도 손실로 모델 크기를 최대 90%까지 줄일 수 있지만, 과도한 압축은 엣지 케이스에서 성능을 저하시킬 수 있습니다.
에너지 소비는 또 다른 제약입니다. 엣지 장치는 종종 배터리로 작동하며, 지속적인 추론은 전력을 빠르게 소모할 수 있습니다. Apple Neural Engine과 같은 하드웨어 가속기는 에너지 효율적으로 설계되었지만 소프트웨어 최적화도 equally 중요합니다. 정규화 매개변수를 이전 레이어에 통합하는 배치 정규화 폴딩은 런타임 오버헤드를 줄입니다. 레이어 정규화는 트랜스포머에서 사용되며 유사하게 최적화될 수 있습니다.
보안은 점점 더 중요한 문제입니다. 온디바이스 추론은 데이터 노출을 줄이지만 모델 자체가 추출되거나 변조될 수 있습니다. 적대적 훈련 및 보안 enclave와 같은 기술이 탐구되고 있지만 계산 오버헤드를 추가합니다. 알렉산더 매드리와 다른 연구자들은 보안에 민감한 애플리케이션의 엣지 배포와 관련된 적대적 견고성을 연구했습니다.
미래 방향
2025년 현재 엣지 추론은 CPU, GPU, NPU 및 특수 가속기를 결합한 장치와 함께 더 이기종 컴퓨팅으로 이동하고 있습니다. Google DeepMind와 OpenAI는 엣지 장치에서 더 강력한 AI를 가능하게 할 수 있는 모델 압축 기술을 연구하고 있습니다. Anthropic은 엣지 배포 모델이 안정적으로 작동하도록 보장하는 것을 포함한 안전에 중점을 둡니다. Amazon Web Services는 엣지 장치로 클라우드 기능을 확장하는 AWS IoT Greengrass를 제공하며, Azure와 Google Cloud도 유사한 서비스를 제공합니다. Groq와 SambaNova는 고성능 추론 하드웨어를 개발하고 있지만 주로 데이터 센터용이며, 그들의 아키텍처는 향후 엣지 칩에 영향을 미칠 수 있습니다.
인메모리 컴퓨팅과 같은 새로운 메모리 기술은 메모리와 계산 장치 간 데이터 이동의 에너지 비용을 줄일 것을 약속합니다. Graphcore의 IPU와 Cerebras(제공된 목록에 없음)는 새로운 아키텍처를 탐구하고 있지만 엣지에 대한 적용 가능성은 불확실합니다. AI21 Labs와 Inflection AI가 개발한 것과 같은 더 작고 효율적인 모델로의 추세는 엣지 추론이 시간이 지남에 따라 더 복잡한 작업으로 확장될 것임을 시사합니다.