Determined AIは、ディープラーニングモデルのトレーニングと管理を効率化するために設計されたオープンソースプラットフォームである。分散トレーニング、ハイパーパラメータ調整、実験追跡のためのツール群を提供し、機械学習ワークフローのスケーリングに必要な複雑さと時間を削減することを目指している。このプラットフォームは、主要なディープラーニングフレームワークをサポートするように構築されており、オンプレミスクラスターやクラウド環境を含む既存のインフラストラクチャと統合する。
歴史と開発
Determined AIは、2017年にNeil Conway、Evan Sparksらによって設立され、ディープラーニングをよりアクセスしやすく効率的にすることを目標とした。同社は当初、カリフォルニア州サンフランシスコに拠点を置いていた。2021年、Determined AIはヒューレット・パッカード・エンタープライズ（HPE）に買収され、同プラットフォームはHPEのハイパフォーマンスコンピューティングおよびAI製品群に統合された。この買収により、HPEは大規模なAIモデルのトレーニングとデプロイのための統合ソリューションを顧客に提供できるようになった。
主要機能
このプラットフォームは、他のトレーニングツールと区別されるいくつかの主要機能を提供する。分散トレーニングは主要な機能であり、ユーザーは最小限のコード変更で複数のGPUとノードにまたがってモデルのトレーニングをスケーリングできる。プラットフォームは、データ並列処理、モデル並列処理、フォールトトレランスを自動的に処理し、データサイエンティストの運用負担を軽減する。ハイパーパラメータ調整も重要な機能であり、ベイズ最適化や非同期検索などの組み込みアルゴリズムを使用して、パラメータ空間を効率的に探索する。プラットフォームには実験管理も含まれており、メトリクスの追跡、実行の比較、チーム間での結果共有のための集中ダッシュボードを提供する。
アーキテクチャと統合
Determined AIはクライアントサーバーアーキテクチャに基づいて構築されており、マスターノードがジョブスケジューリングとリソース割り当てを管理する。プラットフォームは、PyTorch、TensorFlow、Kerasなどの主要なディープラーニングフレームワークをサポートし、NVIDIA GPUやAMDアクセラレータを含むさまざまなハードウェア構成で実行できる。kubernetesなどのコンテナオーケストレーションシステムと統合し、Amazon Web Services、Google Cloud、microsoft-azureなどのクラウドプロバイダーにデプロイできる。プラットフォームは、プログラムによるアクセスのためのコマンドラインインターフェースとPython SDKも提供する。
ユースケースと採用
Determined AIは、ヘルスケア、金融、自動運転など、さまざまな業界の組織で使用されている。例えば、stanford-universityの研究者は医療画像解析のためのモデルをトレーニングするためにこのプラットフォームを使用しており、自動車会社はComputer visionタスクのためにこれを活用している。大規模なトレーニングジョブを処理するプラットフォームの能力は、計算リソースが共有される学術およびエンタープライズ環境で特に人気がある。2023年には、このプラットフォームは内部実験のためにOpenAIに採用されたが、そのコラボレーションの具体的な詳細は未公開のままである。
他のツールとの比較
Determined AIは、Kubeflow、MLflow、Rayなどの他のトレーニングプラットフォームと競合する。これらのツールと比較して、Determined AIは、分散トレーニング、ハイパーパラメータ調整、実験追跡を単一のシステムに組み合わせた、より統合されたエクスペリエンスを提供する。自動フォールトトレランスとリソース管理は、手動アプローチに対する利点としてしばしば挙げられる。ただし、一部のユーザーは、プラットフォームの抽象化に不慣れな人にとって学習曲線が急勾配である可能性があると指摘している。
今後の方向性
HPEによる買収後、Determined AIは進化を続けており、定期的なリリースで新機能とフレームワークサポートが追加されている。プラットフォームは、業界のトレンドに合わせて、大規模言語モデルと生成AIワークロードのサポートにますます焦点を当てている。2024年現在、プロジェクトはオープンソースのままであり、活発なコミュニティが開発に貢献している。今後の計画には、異種ハードウェアでのマルチノードトレーニングのサポート強化と、HPEのcrayスーパーコンピューティングシステムとの統合改善が含まれる。
結論
Determined AIは、機械学習実験のスケーリングを簡素化する包括的なツールセットを提供し、ディープラーニングトレーニングのための堅牢なソリューションとして確立されている。HPEによる買収は開発のための追加リソースを提供し、オープンソースコミュニティは革新を推進し続けている。AIワークフローを加速しようとするチームにとって、Determined AIは機能性と使いやすさのバランスを取った魅力的な選択肢を提示している。