Torch는 Lua 기반의 오픈 소스 머신 러닝 라이브러리, 과학 컴퓨팅 프레임워크, 그리고 스크립팅 언어이다. C로 구현된 딥 러닝 알고리즘에 LuaJIT 인터페이스를 제공한다. 이 라이브러리는 Idiap 연구소에서 만들어졌으며, 이후 2017년에 PyTorch로 Python에 포팅되었고, 그 시점부터 활발한 개발은 Python 버전으로 옮겨갔다. Torch는 텐서, 신경망 모듈, 최적화 유틸리티를 포함하여 신경망을 구축하고 훈련하기 위한 유연한 도구 세트를 제공한다. 그 설계는 이후의 딥 러닝 프레임워크에 영향을 주었고, 인공 지능 연구 생태계의 일부로서 딥 러닝과 머신 러닝의 더 넓은 분야에 기여했다.
핵심 패키지: torch
Torch의 핵심 패키지인 torch는 Tensor라는 유연한 N차원 배열을 제공하며, 인덱싱, 슬라이싱, 전치, 타입 변환, 크기 조정, 저장 공간 공유, 복제를 지원한다. 텐서는 프레임워크의 대부분의 다른 패키지에서 사용하는 기본 데이터 구조이다. 이들은 max, min, sum과 같은 수학 연산, uniform, normal, multinomial과 같은 통계 분포, 그리고 내적, 행렬-벡터 곱셈, 행렬-행렬 곱셈, 행렬 곱과 같은 기본 선형 대수 연산(BLAS)을 지원한다. 이 패키지는 또한 편의 함수를 통해 객체 지향 프로그래밍과 직렬화를 단순화한다. torch.class 함수는 객체 팩토리(클래스) 생성을 가능하게 하며, 이 메커니즘을 통해 생성된 객체는 Lua 코루틴이나 userdata와 같은 지원되지 않는 참조를 포함하지 않을 때 직렬화될 수 있다(userdata가 read 및 write 메서드가 있는 테이블에 래핑된 경우는 제외).
신경망 패키지 (nn)
nn 패키지는 신경망 구축을 위해 설계되었다. 이 패키지는 Module 인터페이스를 공유하는 모듈형 객체로 구성되며, 피드포워드와 역전파를 위한 forward() 및 backward() 메서드를 제공한다. 모듈은 Sequential, Parallel, Concat과 같은 복합 구조를 사용하여 결합할 수 있으며, Linear, Tanh, Max와 같은 더 단순한 모듈이 기본 구성 요소를 형성한다. 이 모듈형 인터페이스는 1차 자동 미분을 제공한다. 손실 함수는 Criterion의 하위 클래스로 구현되며, 유사한 인터페이스를 가지고 손실과 기울기를 계산한다. 일반적인 기준에는 MSECriterion(평균 제곱 오차)과 ClassNLLCriterion(교차 엔트로피)이 포함된다. 이 패키지는 확률적 경사 하강법을 사용한 훈련을 위한 StochasticGradient 클래스도 포함하지만, optim 패키지는 모멘텀과 가중치 감쇠 정규화와 같은 더 많은 옵션을 제공한다.
추가 패키지
공식 핵심 패키지(torch 및 nn) 외에도 여러 추가 패키지가 Torch의 기능을 확장한다. 이러한 패키지는 병렬 계산, 비동기 입력/출력, 이미지 처리 및 기타 특수 작업을 위한 유틸리티를 제공한다. 이들은 일반적으로 표준 Torch 배포판에 포함된 Lua 패키지 관리자 LuaRocks를 통해 설치된다. 커뮤니티는 다양한 확장 기능을 개발하여 Torch가 다양한 응용 분야에 적응할 수 있게 했다.
응용 분야
Torch는 Facebook AI Research Group, IBM, Yandex, Idiap 연구소를 포함한 여러 저명한 연구 및 산업 그룹에서 사용되었다. Android 및 iOS와 같은 모바일 플랫폼에서 사용하도록 확장되었으며, 신경망에서 발견되는 것과 같은 데이터 흐름을 위한 하드웨어 구현을 구축하는 데 사용되었다. Facebook은 또한 일련의 확장 모듈을 오픈 소스 소프트웨어로 공개하여 생산 및 연구 환경에서 라이브러리의 유연성을 입증했다.
유산과 PyTorch로의 전환
개발은 2017년에 원래 라이브러리를 Python으로 포팅한 PyTorch로 전환되었다. PyTorch는 텐서와 동적 계산 그래프의 핵심 개념을 유지하지만, 더 넓은 채택을 위해 Python의 생태계를 활용한다. 이 이동으로 PyTorch는 딥 러닝 연구 및 산업에서 가장 널리 사용되는 프레임워크 중 하나가 되었으며, 이후의 대규모 언어 모델 및 트랜스포머 아키텍처와 같은 도구에 상당한 영향을 미쳤다. 오늘날 Torch는 덜 활발하게 개발되지만, PyTorch의 선구자이자 현대 딥 러닝 프레임워크 진화에 기여한 역사적으로 중요한 존재로 남아 있다.