Together AIは、人工知能モデルの開発と実行のためのプラットフォームを提供するクラウドサービスプロバイダーであり、特に大規模言語モデルと生成AIに焦点を当てています。同社は、GPUクラスターへのアクセスと、モデルのトレーニング、微調整、デプロイのプロセスを効率化するために設計されたソフトウェアツール群を提供しています。その提供物には、オープンソースモデルのRedPajamaシリーズが含まれており、これらは独自システムに対する透明性が高くアクセスしやすい代替手段として機能することを目的としています。
このプラットフォームは、オープンリサーチと再現性の原則に基づいて構築されており、Machine learning分野で活動する組織や研究者にとっての参入障壁を下げることを目指しています。生の計算能力と管理されたソフトウェアスタックを組み合わせることで、Together AIは、AI開発をしばしば妨げるインフラ管理の複雑さに対処しようとしています。同社のアプローチは、Amazon Web Services、Microsoft Azure、Google Cloudなどの主要プロバイダーを含むAIクラウドサービスの競争環境において、注目すべきプレーヤーとしての地位を確立しています。
歴史と設立
Together AIは、人工知能と分散システムのバックグラウンドを持つ研究者とエンジニアのグループによって2022年に設立されました。設立チームには、以前に著名なテクノロジー企業や研究機関で働いていた個人が含まれており、大規模モデルのトレーニングとデプロイに関する経験をもたらしました。同社は、一部の主要なAIラボのますます閉鎖的な性質とは対照的に、AI開発のためのより協力的でオープンな環境を作りたいという願望から生まれました。
初期の資金調達ラウンドは2022年に完了し、ベンチャーキャピタル企業や著名なテック業界の人物からの投資を受けました。この初期の支援により、同社はクラウドインフラの構築と初期のソフトウェアツールの開発を開始することができました。2023年初頭までに、Together AIは公開プラットフォームを立ち上げ、GPUクラスターへのアクセスとさまざまなオープンソースモデルを提供しました。
RedPajamaモデル
Together AIからの最も重要な貢献の1つは、完全にオープンソースの大規模言語モデルを作成するイニシアチブであるRedPajamaプロジェクトです。このプロジェクトの目標は、使用が無料であるだけでなく、トレーニングデータと方法論において透明性のあるモデルを提供することです。これは、トレーニングデータと内部の仕組みがしばしば独自仕様である多くの商用モデルとは対照的です。
RedPajamaデータセットは2023年4月にリリースされ、1.2兆トークン以上のテキストデータで構成されていました。このデータセットは、OpenAIのGPT-3のトレーニングに使用されたデータの構成を再現するように設計されており、書籍、Wikipedia、ウェブページなどのソースから引き出されました。このデータセットのリリースは、大規模モデル用の高品質なトレーニングデータへのアクセスを民主化する上での大きな一歩でした。
データセットのリリースに続いて、Together AIはRedPajama-INCITEモデルファミリーを導入しました。これらのモデルは、30億から70億パラメータのサイズで利用可能であり、RedPajamaデータセットでトレーニングされました。これらはオープンライセンスの下で利用可能になり、研究と商用の両方の使用が可能になりました。これらのモデルは、さまざまなベンチマークで競争力のあるパフォーマンスを示し、オープンソースモデルが特定のタスクで独自モデルに対抗できることを示しました。
クラウドプラットフォームとインフラ
Together AIのコア製品はクラウドプラットフォームであり、ユーザーに高性能コンピューティングリソースへのオンデマンドアクセスを提供します。このプラットフォームは、AMDやNVIDIAを含むさまざまなGPUタイプをサポートしており、ユーザーはニーズと予算に最も適したハードウェアを選択できます。この柔軟性は重要なセールスポイントであり、コスト効率の高い実験とスケーリングを可能にします。
このプラットフォームには、大規模モデルのトレーニングプロセスを簡素化する管理されたトレーニングサービスが含まれています。ユーザーはモデルアーキテクチャとトレーニングパラメータを指定でき、プラットフォームは複数のGPUにわたる分散トレーニングを含む基盤となるインフラを処理します。この抽象化により、研究者や開発者への技術的負担が軽減され、クラスター管理ではなくモデル設計に集中できるようになります。
推論については、Together AIは、ユーザーがトレーニング済みモデルを最小限のセットアップで本番環境で実行できるようにするデプロイサービスを提供しています。このサービスには、自動スケーリングや負荷分散などの機能が含まれており、アプリケーションがさまざまなレベルのトラフィックを処理できるようにします。プラットフォームは微調整もサポートしており、ユーザーは事前トレーニング済みモデルを特定のドメインやタスクに適応させることができます。
ソフトウェアとツール
生のインフラに加えて、Together AIはAI開発ワークフローを強化するために設計されたソフトウェアツール群を提供しています。これらのツールには、単一のGPUのメモリ容量を超える非常に大規模なモデルの効率的なトレーニングを可能にするモデル並列処理用のライブラリが含まれています。同社は、分散トレーニング用のPyTorchベースのライブラリなど、この分野のオープンソースプロジェクトに貢献しています。
プラットフォームはまた、Transformer (architecture)アーキテクチャやDeep learningライブラリなどの人気のあるフレームワークと統合されており、既存のワークフローとの互換性を確保しています。ユーザーは、Hugging FaceのTransformersライブラリなどの標準ツールを活用して、Together AIでホストされているモデルをロードして使用できます。この相互運用性は採用にとって重要であり、チームが既存のコードを最小限の変更で移行できるようにします。
Together AIはまた、低レイテンシと高スループットに最適化された独自の推論エンジンを開発しました。このエンジンは、大規模モデルを効率的に提供するように設計されており、ユーザーあたりのトークンコストを削減します。同社は、一般的なサービングソリューションと比較して大幅なパフォーマンス向上を主張しており、リアルタイム要件のあるアプリケーションにとって魅力的なオプションとなっています。
オープンソースへの貢献
Together AIはオープンソースAIの強力な支持者であり、その貢献はRedPajamaモデルを超えて広がっています。同社は、より広いAIコミュニティに利益をもたらすことを目的として、オープンソースライセンスの下でいくつかのソフトウェアライブラリとツールをリリースしました。これらには、データ処理、モデル評価、トレーニング最適化のためのユーティリティが含まれます。
同社はまた、大規模モデルのトレーニングに関連するトピックに関する論文や技術レポートを公開し、共同研究活動に参加しています。この研究は、Stanford AI LabやBAIR (Berkeley AI Research)などの学術機関とのパートナーシップで行われることがよくあります。同社はその発見を共有することで、分野の集合的な知識ベースに貢献しています。
注目すべき貢献の1つは、Stanford AI Labの研究者との協力で開発されたFlashAttentionライブラリです。FlashAttentionは、メモリ使用量を削減し、transformerモデルのトレーニングを高速化する効率的なアテンションメカニズムです。このライブラリはAIコミュニティで広く採用され、多くのトレーニングパイプラインの標準コンポーネントになっています。
競争環境
Together AIは非常に競争の激しい市場で運営されており、確立されたクラウドプロバイダーと専門のAIスタートアップの両方からの課題に直面しています。Amazon Web Services、Microsoft Azure、Google Cloudなどの主要なクラウドプラットフォームは、管理された機械学習プラットフォームや事前トレーニング済みモデルを含む独自のAIサービスを提供しています。これらのプロバイダーは、広大なインフラと既存の顧客基盤という利点を持っています。
専門の競合他社には、Groq、SambaNova、Graphcoreが含まれ、AIワークロード用のカスタムハードウェアとソフトウェアの開発に焦点を当てています。これらの企業は、従来のGPUベースのシステムに代わるものを提供し、高性能な推論とトレーニングをターゲットにすることがよくあります。Together AIは、オープンソースモデルへの重点とユーザーフレンドリーなプラットフォームを通じて差別化を図っています。
同社はまた、AI21 LabsやInflection AIなどの他のオープンソースモデルプロバイダーからの競争にも直面しています。しかし、Together AIのクラウドインフラとモデル開発の独自の組み合わせが、同社を際立たせています。同社は、カスタムAIソリューションを構築およびデプロイしたい組織向けのワンストップショップを目指しています。
アプリケーションとユースケース
Together AIのプラットフォームは、幅広い業界とアプリケーションで使用されています。医療分野では、組織は医療テキスト分析や診断サポート用のモデルを開発するためにプラットフォームを使用しています。独自データでモデルを微調整する能力は、データプライバシーが最重要であるこのドメインで特に価値があります。
金融業界では、Together AIは企業が不正検出、リスク評価、アルゴリズム取引用のモデルを構築するのを支援しています。プラットフォームのスケーラビリティにより、これらの組織は大量のデータを処理し、モデルをリアルタイムでデプロイできます。モデルのオープンソース性は、規制遵守にとって重要な透明性と監査可能性も向上させます。
スタートアップや研究機関にとって、Together AIは大規模なAI開発へのアクセスしやすいエントリーポイントを提供します。従量課金制の価格モデルにより、チームは多額の初期投資なしで実験できます。アクセスへのこの民主化は同社の使命の核心部分であり、より広い範囲の声がAIイノベーションに貢献できるようにします。
今後の方向性
今後を見据えて、Together AIはプラットフォームとモデルの提供を拡大し続けています。同社は、トレーニングと推論の計算コストを削減することに焦点を当て、大規模言語モデルの効率と機能を向上させるための研究に投資しています。これには、パフォーマンスを大幅に損なうことなくモデルを小さく高速化できるモデルプルーニングや量子化などの技術の探求が含まれます。
同社はまた、テキストと画像の両方を処理できるマルチモーダルモデルのサポートを強化する作業も行っています。これは、コンピュータビジョンやロボティクスなどの分野でのアプリケーションを持つAIコミュニティで関心が高まっている分野です。機能を拡張することで、Together AIは生成AI革命の最前線に留まることを目指しています。
2024年の時点で、Together AIはAIクラウド市場の主要プレーヤーとしての地位を確立しており、顧客基盤が成長し、オープンソースへの貢献で強い評判を得ています。同社の継続的な成功は、急速に進化する人工知能の状況に革新し適応する能力に依存するでしょう。