TVM은 머신러닝 모델을 다양한 하드웨어 플랫폼에서 최적화하고 실행하기 위해 설계된 오픈소스 컴파일러 프레임워크이다. 처음에는 버클리 AI 연구 실험실과 카네기 멜론 대학교 커뮤니티의 연구자들에 의해 개발되었으며, 딥러닝 모델을 모바일 기기부터 대규모 데이터 센터 가속기에 이르기까지 다양한 장치에 배포하는 문제를 해결한다. TVM은 고수준 모델 설명을 효율적인 저수준 코드로 변환하는 통합 중간 표현(IR)과 일련의 최적화 패스를 제공하여 표준 프레임워크 대비 상당한 성능 향상을 달성한다.
이 프로젝트는 2017년에 처음 발표된 이후 머신러닝 인프라 생태계의 초석이 되었다. TVM은 아파치 소프트웨어 재단 아래에서 호스팅되며, 허용적인 오픈소스 라이선스와 협력적인 개발 모델을 보장한다. 그 아키텍처는 프런트엔드와 백엔드를 분리하는데, 프런트엔드는 PyTorch 및 TensorFlow와 같은 인기 있는 프레임워크에서 모델을 가져오고, 백엔드는 AMD GPU, Intel CPU, ARM 프로세서, 그리고 AWS Trainium 및 Cerebras 시스템과 같은 특수 가속기를 포함한 특정 하드웨어를 대상으로 한다.
핵심 아키텍처
TVM의 설계는 그래프 수준 IR과 텐서 수준 IR을 중심으로 이루어진다. 그래프 IR은 신경망의 전체 구조를 포착하여 연산자 융합, 상수 폴딩, 메모리 계획과 같은 고수준 최적화를 가능하게 한다. TVM 스크립트로 알려진 텐서 수준 IR은 개발자가 특정 하드웨어에 맞춰 루프 순서, 벡터화, 병렬화를 제어하는 사용자 정의 스케줄을 작성할 수 있게 한다. 이러한 이중 수준 접근 방식은 자동화된 최적화와 수동 미세 조정의 균형을 맞추어 유연성과 성능을 모두 제공한다.
하드웨어 지원 및 생태계
TVM은 코드 생성 및 런타임 인터페이스를 통해 광범위한 하드웨어 백엔드를 지원한다. Intel 및 AMD의 전통적인 CPU, ARM 및 Qualcomm의 모바일 및 임베디드 프로세서, NVIDIA GPU(제공된 슬러그 목록에는 없지만 일반적인 백엔드임)와 AMD GPU를 대상으로 할 수 있다. 또한 Groq, SambaNova, Graphcore와 같은 신흥 가속기와 AWS Trainium 및 Google Cloud TPU와 같은 클라우드 전용 칩도 지원한다.
TVM 런타임은 가볍고 효율적으로 설계되어 모바일 앱에 임베드하거나 서버 환경에 배포할 수 있다. Python, C++, Java, Rust를 포함한 여러 프로그래밍 언어를 지원하여 다양한 개발자 기반이 접근할 수 있다. 이 프로젝트는 Amazon Web Services, Alibaba Cloud, Samsung Electronics와 같은 주요 기업들의 기여를 받으며 활발한 커뮤니티를 유지하고 있다.
성능 최적화 기법
TVM은 추론 및 학습 성능을 향상시키기 위해 여러 고급 최적화 기법을 사용한다. 연산자 융합은 여러 연산을 단일 커널로 결합하여 메모리 대역폭 사용량과 실행 오버헤드를 줄인다. 예를 들어, 합성곱 뒤에 배치 정규화와 ReLU 활성화가 오는 경우 이를 하나의 커널로 융합할 수 있다. TVM은 또한 대상 하드웨어에 따라 NHWC 또는 NCHW와 같은 최적의 데이터 레이아웃을 자동으로 선택하는 레이아웃 변환을 수행한다.
또 다른 중요한 기능은 기계 학습 기반 비용 모델을 사용하여 최적화를 안내하는 것이다. 이러한 모델은 후보 스케줄의 실행 시간을 예측하여 검색이 유망한 구성에 집중할 수 있게 한다. TVM은 양자화와 가지치기도 지원하여 제한된 리소스를 가진 장치에 모델을 배포할 수 있게 한다. 이러한 기법은 TensorFlow 또는 PyTorch와 같은 표준 프레임워크에 비해 다양한 작업 부하에서 2배에서 10배까지 속도 향상을 달성하는 것으로 입증되었다.
응용 및 영향
TVM은 주요 기술 기업들의 프로덕션 환경에서 채택되었다. Amazon Web Services는 TVM을 사용하여 AWS Trainium 및 Inferentia 칩에서 모델을 최적화하여 고성능 추론 서비스를 제공한다. Alibaba Cloud는 머신러닝 플랫폼에 TVM을 통합하고 있으며, Samsung Electronics는 스마트폰과 웨어러블의 온디바이스 AI에 이를 활용한다. 이 프레임워크는 연구 커뮤니티에서도 널리 사용되어 새로운 아키텍처와 하드웨어 실험을 가능하게 한다.
커뮤니티 및 개발
TVM은 GitHub에서 공개적으로 개발되며 전 세계 연구자와 엔지니어들의 기여를 받는다. 이 프로젝트는 정기적인 격주 회의와 연례 컨퍼런스인 TVMCon을 개최하여 사용자와 개발자를 한자리에 모은다. 거버넌스 모델은 활발한 기여자들로 구성된 프로젝트 관리 위원회(PMC)를 포함하며, 이들이 장기적인 지속 가능성을 보장한다. 2024년 현재 TVM은 1,000명 이상의 기여자를 보유하고 있으며 수많은 학술 논문에서 인용되었다.
미래 방향
TVM은 트랜스포머 모델과 대규모 언어 모델에 대한 지원을 향상시키는 데 중점을 두고 계속 발전하고 있다. 분산 추론 및 학습, 자동 미분, 딥러닝 작업 부하를 위한 컴파일 최적화에 대한 연구가 진행 중이다. 엣지 AI와 특수 하드웨어의 부상으로 TVM의 범용 컴파일러로서의 역할은 더욱 확대될 것으로 예상되며, AI 실무자들에게 필수적인 도구로 자리 잡고 있다.
이러한 강점에도 불구하고 TVM은 코드베이스의 복잡성과 새로운 하드웨어에 대한 지속적인 적응 필요성과 같은 과제에 직면해 있다. 그러나 그 설계 원칙과 강력한 커뮤니티 지원은 빠르게 변화하는 머신러닝 인프라 분야에서 관련성을 유지하는 데 도움이 될 것이다.