PyTorch는 오픈소스 딥러닝 프레임워크로, 신경망 구축, 훈련, 및 배포를 위한 도구를 제공하며, Python 우선 설계와 동적이고 실행 시 정의되는 계산 그래프로 잘 알려져 있다. 원래 Facebook AI Research에서 개발되었고, 이후 Meta AI로 이어졌으며, 2016년 9월에 처음 출시되었고, 2020년대 초중반까지 AI 연구에서 지배적인 프레임워크가 되었다.
역사
PyTorch는 Lua 프로그래밍 언어로 구축된 초기 과학 컴퓨팅 프레임워크인 Torch에서 성장했으며, 연구자들이 이미 사용하던 Python 중심 데이터 과학 생태계에 더 자연스럽게 맞도록 Python 인터페이스로 재작성되었다. 초기 설계 결정, 특히 코드가 실행됨에 따라 네트워크 구조를 즉석에서 구축하는 동적 계산 그래프는, 사전에 정의하고 컴파일해야 하는 초기 TensorFlow의 정적 그래프 접근 방식보다 디버깅과 새로운 아키텍처 실험을 훨씬 더 쉽게 만들었다. 이러한 개발자 친화성은 학술 연구에서 빠른 채택을 이끌었다: 2020년대 초까지 주요 머신러닝 학회 논문의 대다수가 PyTorch를 사용했다. 2022년 9월, Meta는 PyTorch의 거버넌스를 Linux Foundation 산하 새로 설립된 PyTorch Foundation으로 이전했으며, 이는 단일 회사의 내부 도구가 아닌 업계 전반에서 사용되는 중요한 오픈소스 인프라로서의 위상을 반영한 것이다.
설계 및 생태계
PyTorch는 데이터를 NumPy의 다차원 배열과 유사한 텐서로 표현하며, 경사 하강법 기반 최적화를 위한 기울기를 자동으로 계산하는 자동 미분을 제공한다. CPU와, CUDA를 통한 Nvidia GPU에서 효율적으로 실행되며, 다중 GPU에 걸친 분산 훈련, 성능을 위한 모델 컴파일, 모바일 및 엣지 배포를 위한 도구로 확장되었다. Hugging Face의 Transformers 라이브러리를 포함한 PyTorch 기반으로 구축된 대규모 라이브러리 생태계는, 2020년대에 출시된 대부분의 주요 오픈 가중치 대규모 언어 모델을 포함한 트랜스포머 기반 모델을 훈련하고 미세 조정하기 위한 기본 기반이 되었다.
TensorFlow와의 비교 및 중요성
PyTorch의 주요 역사적 경쟁자는 2015년에 1년 먼저 출시된 Google의 TensorFlow이다; 두 프레임워크의 경쟁은 2010년대 후반 딥러닝 도구의 많은 부분을 형성했으며, TensorFlow는 초기에 프로덕션 배포에, PyTorch는 연구 유연성에 선호되었다. TensorFlow는 나중에 이 격차를 좁히기 위해 즉시 실행을 채택했지만, PyTorch는 이미 연구 인지도에서 결정적인 점유율을 확보했고, 대규모 언어 모델 시대가 연구-프로덕션 타임라인을 단축시키면서 프로덕션 배포의 상당 부분도 차지했다. 2020년대 중반까지 PyTorch는 가장 널리 사용되는 기반 모델의 기반이 되는 프레임워크였으며, CUDA 및 Nvidia GPU와 함께 현대 AI 산업이 가장 많이 의존하는 인프라 중 하나로 자주 언급되었다.