Theano는 수학적 표현, 특히 행렬 값 표현을 조작하고 평가하기 위한 Python 라이브러리이자 최적화 컴파일러입니다. Theano의 계산은 NumPy와 유사한 구문으로 표현되며 CPU 또는 GPU 아키텍처에서 효율적으로 실행되도록 컴파일됩니다. 이는 Deep learning 연구에서 가장 초기에 널리 채택된 도구 중 하나였으며, TensorFlow 및 PyTorch와 같은 현대 프레임워크가 등장하기 전에 신경망을 구축하고 훈련하기 위한 기반을 제공했습니다.
이 프로젝트는 몬트리올 대학교의 몬트리올 학습 알고리즘 연구소(MILA)가 주도하는 오픈 소스 이니셔티브로 시작되었습니다. 소프트웨어의 이름은 황금률의 발전과 오랫동안 연관된 고대 철학자 Theano를 참조합니다. 그 설계는 기호 그래프 구축을 강조하여 연구자들이 수학적 연산을 추상적으로 정의한 다음 최적화된 네이티브 코드로 컴파일할 수 있게 했으며, 이는 Machine learning 실험에 매우 중요한 기능이었습니다.
개발 역사
Theano의 개발은 10년 이상에 걸쳐 이루어졌으며, 최초 릴리스는 2007년이었습니다. 전성기에는 학계의 Artificial intelligence 연구, 특히 토론토 대학교 및 MILA 커뮤니티에서 표준 도구가 되었습니다. 역방향 모드 미분을 통해 기울기를 자동으로 계산하는 라이브러리의 능력은 Deep learning 기술, 특히 트랜스포머 및 기타 아키텍처에 대한 초기 연구를 발전시키는 데 중요한 역할을 했습니다.
2017년 9월 28일, Pascal Lamblin은 MILA 소장 Yoshua Bengio의 메시지를 게시하여 강력한 산업계 플레이어들의 경쟁 제품으로 인해 1.0 릴리스 이후 주요 개발이 중단될 것이라고 발표했습니다. Theano 1.0.0은 이후 2017년 11월 15일에 릴리스되어 MILA의 적극적인 참여가 종료되었음을 알렸습니다. 이 결정은 더 광범위한 생태계 지원을 갖춘 산업계 지원 프레임워크로의 분야 전환을 반영했습니다.
2018년 5월 17일, Chris Fonnesbeck은 PyMC 개발 팀을 대신하여 MILA 개발 팀이 물러난 후 PyMC 개발자가 Theano 유지 관리를 공식적으로 인수할 것이라고 작성했습니다. 이 전환은 기존 사용자를 위한 라이브러리의 지속적인 가용성을 보장했습니다. 2021년 1월 29일, PyMC 팀은 Theano의 포크에 Aesara라는 이름을 사용하기 시작하여 핵심 기능을 유지하면서 새로운 정체성을 도입했습니다. 이후 2022년 11월 29일, PyMC 개발 팀은 Aesara 프로젝트를 PyTensor라는 이름으로 포크할 것이라고 발표하여 코드베이스를 더욱 발전시켰습니다.
핵심 기능
Theano의 주요 혁신은 기호 계산 모델이었습니다. 사용자는 수학적 표현을 계산 그래프로 정의했으며, 라이브러리는 이를 최적화하고 컴파일했습니다. 이 접근 방식은 여러 이점을 제공했습니다: 기울기 기반 최적화를 위한 자동 미분, CUDA 지원을 통한 GPU 가속, 대수적 단순화를 통한 수치 안정성 개선. 이러한 기능은 역전파가 효율적인 기울기 계산을 요구하는 신경망 훈련에 특히 적합했습니다.
라이브러리의 NumPy 유사 구문은 과학적 Python에 익숙한 연구자들의 진입 장벽을 낮추어 새로운 모델의 빠른 프로토타이핑을 가능하게 했습니다. 최적화 컴파일러는 연산을 융합하고 메모리 사용을 줄이며 플랫폼별 코드를 생성하여 종종 단순 구현보다 뛰어난 성능을 발휘했습니다. 이러한 성능 중심은 실험을 소규모 프로토타입에서 더 큰 Machine learning 작업으로 확장하는 데 중요했습니다.
예제 응용
일반적인 Theano 사용은 스칼라 또는 행렬 변수와 연산을 정의하는 것을 포함했습니다. 예를 들어, 두 개의 배정밀도 스칼라를 사용하는 간단한 덧셈 그래프는 반복 평가를 위한 Python 함수로 컴파일될 수 있었습니다. Deep learning에서 선형 대수의 핵심인 행렬 곱셈은 구현하기 쉬웠으며 GPU 하드웨어를 활용하여 상당한 속도 향상을 얻을 수 있었습니다.
기울기 계산은 또 다른 대표적인 사용 사례였습니다. theano.tensor.grad를 호출함으로써 연구자들은 비용 함수의 모델 매개변수에 대한 도함수를 자동으로 유도할 수 있었으며, 이는 확률적 경사 하강법을 통한 훈련에 필수적인 과정이었습니다. 이 기능은 수동 도함수 유도의 필요성을 제거하여 연구 반복을 가속화했습니다.
더 고급 예제로는 하나의 은닉층을 가진 간단한 신경망 구축이 포함되었으며, Theano의 기호 그래프가 순방향 전파와 역전파를 원활하게 처리했습니다. 명시적인 형태 변경 없이 서로 다른 모양의 배열 간 연산을 허용하는 브로드캐스팅도 지원되어 배치 처리 및 특성별 연산을 위한 코드를 단순화했습니다.
유산과 영향
Theano의 영향력은 자체 수명을 넘어섭니다. 이는 TensorFlow를 포함한 이후 프레임워크의 설계에 직접적인 영감을 주었으며, TensorFlow는 유사한 그래프 기반 계산 모델을 채택했습니다. Theano에서 훈련받은 많은 연구자들은 이러한 후속 프레임워크로 전환하여 개념적 기반을 이어갔습니다. 이 라이브러리는 또한 현대 Generative AI 시스템의 핵심 패러다임인 미분 가능 프로그래밍의 더 넓은 생태계에 기여했습니다.
중단에도 불구하고 Theano의 코드베이스는 PyTensor를 통해 계속 살아 있으며, PyTensor는 PyMC 확률 프로그래밍 커뮤니티에 계속 서비스를 제공하고 있습니다. 대규모 언어 모델 및 기타 고급 아키텍처에 대한 작업을 포함한 초기 Deep learning 돌파구를 가능하게 한 역사적 역할은 이 라이브러리를 분야의 기초 도구로 확고히 자리매김하게 합니다. 은퇴를 촉발한 학계에서 산업계 개발로의 전환은 2010년대 후반 Artificial intelligence 연구의 더 광범위한 상업화를 반영했습니다.
같이 보기
- 딥러닝 소프트웨어 비교
- 머신러닝 소프트웨어 비교
- 미분 가능 프로그래밍