Determined AI는 딥러닝 모델의 훈련과 관리를 간소화하도록 설계된 오픈소스 플랫폼이다. 분산 훈련, 하이퍼파라미터 튜닝, 실험 추적을 위한 도구 모음을 제공하며, 머신러닝 워크플로우를 확장하는 데 필요한 복잡성과 시간을 줄이는 것을 목표로 한다. 이 플랫폼은 널리 사용되는 딥러닝 프레임워크를 지원하도록 구축되었으며, 온프레미스 클러스터와 클라우드 환경을 포함한 기존 인프라와 통합된다.
역사와 개발
Determined AI는 2017년 Neil Conway, Evan Sparks 등이 딥러닝을 더 접근 가능하고 효율적으로 만들기 위해 설립했다. 회사는 처음에 캘리포니아주 샌프란시스코에 기반을 두었다. 2021년, Determined AI는 Hewlett Packard Enterprise(HPE)에 인수되었으며, HPE는 이 플랫폼을 고성능 컴퓨팅 및 AI 제품에 통합했다. 이 인수를 통해 HPE는 대규모 AI 모델을 훈련하고 배포하기 위한 통합 솔루션을 고객에게 제공할 수 있게 되었다.
핵심 기능
이 플랫폼은 다른 훈련 도구와 차별화되는 몇 가지 주요 기능을 제공한다. 분산 훈련은 주요 기능으로, 사용자가 최소한의 코드 변경으로 여러 GPU와 노드에 걸쳐 모델 훈련을 확장할 수 있게 한다. 플랫폼은 데이터 병렬 처리, 모델 병렬 처리, 내결함성을 자동으로 처리하여 데이터 과학자의 운영 부담을 줄인다. 하이퍼파라미터 튜닝도 또 다른 중요한 기능으로, 베이지안 최적화 및 비동기 검색과 같은 내장 알고리즘을 통해 매개변수 공간을 효율적으로 탐색한다. 플랫폼은 또한 실험 관리를 포함하며, 중앙 집중식 대시보드를 통해 메트릭을 추적하고 실행을 비교하며 팀 간에 결과를 공유할 수 있다.
아키텍처 및 통합
Determined AI는 클라이언트-서버 아키텍처로 구축되었으며, 마스터 노드가 작업 스케줄링과 리소스 할당을 관리한다. 플랫폼은 PyTorch, TensorFlow, Keras를 포함한 주요 딥러닝 프레임워크를 지원하며, NVIDIA GPU 및 AMD 가속기를 포함한 다양한 하드웨어 구성에서 실행될 수 있다. 또한 kubernetes와 같은 컨테이너 오케스트레이션 시스템과 통합되며, Amazon Web Services, Google Cloud, microsoft-azure와 같은 클라우드 제공업체에 배포될 수 있다. 플랫폼은 또한 프로그래밍 방식 액세스를 위한 명령줄 인터페이스와 Python SDK를 제공한다.
사용 사례 및 채택
Determined AI는 헬스케어, 금융, 자율주행을 포함한 다양한 산업의 조직에서 사용된다. 예를 들어, stanford-university의 연구자들은 의료 영상 분석을 위한 모델 훈련에 이 플랫폼을 사용했으며, 자동차 회사들은 Computer vision 작업에 이를 활용했다. 플랫폼의 대규모 훈련 작업 처리 능력은 컴퓨팅 리소스가 공유되는 학술 및 기업 환경에서 특히 인기를 끌었다. 2023년, 이 플랫폼은 OpenAI의 내부 실험에 채택되었지만, 해당 협력의 구체적인 세부 사항은 공개되지 않았다.
다른 도구와의 비교
Determined AI는 Kubeflow, MLflow, Ray와 같은 다른 훈련 플랫폼과 경쟁한다. 이러한 도구와 비교하여 Determined AI는 분산 훈련, 하이퍼파라미터 튜닝, 실험 추적을 단일 시스템에 결합한 더 통합된 경험을 제공한다. 자동 내결함성과 리소스 관리는 수동 접근 방식보다 우수한 점으로 자주 언급된다. 그러나 일부 사용자는 플랫폼의 추상화에 익숙하지 않은 사람들에게 학습 곡선이 가파를 수 있다고 지적한다.
향후 방향
HPE 인수 이후 Determined AI는 계속 진화하고 있으며, 정기적인 릴리스를 통해 새로운 기능과 프레임워크 지원이 추가되고 있다. 플랫폼은 산업 트렌드에 맞춰 대규모 언어 모델 및 생성형 AI 워크로드 지원에 점점 더 초점을 맞추고 있다. 2024년 현재, 이 프로젝트는 여전히 오픈소스로 유지되며, 활발한 커뮤니티가 개발에 기여하고 있다. 향후 계획에는 이기종 하드웨어에서의 다중 노드 훈련 지원 강화와 HPE의 cray 슈퍼컴퓨팅 시스템과의 통합 개선이 포함된다.
결론
Determined AI는 머신러닝 실험 확장을 간소화하는 포괄적인 도구 세트를 제공하는 견고한 딥러닝 훈련 솔루션으로 자리 잡았다. HPE의 인수는 개발에 추가 리소스를 제공했으며, 오픈소스 커뮤니티는 계속해서 혁신을 주도하고 있다. AI 워크플로우를 가속화하려는 팀에게 Determined AI는 기능과 사용 용이성의 균형을 갖춘 매력적인 옵션을 제시한다.