Together AI est un fournisseur de services cloud qui propose une plateforme pour développer et exécuter des modèles d'intelligence artificielle, avec un accent particulier sur les grands modèles de langage et l'IA générative. L'entreprise donne accès à des clusters de GPU et à une suite d'outils logiciels conçus pour rationaliser le processus d'entraînement, de réglage fin et de déploiement des modèles. Ses offres comprennent la série de modèles open-source RedPajama, destinée à servir d'alternative transparente et accessible aux systèmes propriétaires.
La plateforme est construite autour des principes de recherche ouverte et de reproductibilité, visant à abaisser les barrières à l'entrée pour les organisations et les chercheurs travaillant dans le domaine du apprentissage automatique. En combinant la puissance de calcul brute avec une pile logicielle gérée, Together AI cherche à résoudre les complexités de la gestion de l'infrastructure qui entravent souvent le développement de l'IA. L'approche de l'entreprise l'a positionnée comme un acteur notable dans le paysage concurrentiel des services cloud d'IA, qui comprend des fournisseurs majeurs comme Amazon Web Services, Azure et Google Cloud.
Historique et fondation
Together AI a été fondée en 2022 par un groupe de chercheurs et d'ingénieurs ayant des parcours en intelligence artificielle et en systèmes distribués. L'équipe fondatrice comprenait des personnes ayant précédemment travaillé dans des entreprises technologiques et des institutions de recherche de premier plan, apportant une expérience dans l'entraînement et le déploiement de modèles à grande échelle. L'entreprise est née d'un désir de créer un environnement plus collaboratif et ouvert pour le développement de l'IA, contrastant avec la nature de plus en plus fermée de certains grands laboratoires d'IA.
Le cycle de financement initial a été achevé en 2022, avec des investissements de fonds de capital-risque et de figures notables de l'industrie technologique. Ce soutien précoce a permis à l'entreprise de commencer à construire son infrastructure cloud et à développer ses premiers outils logiciels. Au début de 2023, Together AI avait lancé sa plateforme publique, offrant un accès à des clusters de GPU et à une gamme de modèles open-source.
Modèles RedPajama
L'une des contributions les plus significatives de Together AI est le projet RedPajama, une initiative visant à créer des grands modèles de langage entièrement open-source. L'objectif du projet est de fournir des modèles qui sont non seulement gratuits à utiliser, mais aussi transparents dans leurs données d'entraînement et leur méthodologie. Cela contraste avec de nombreux modèles commerciaux, où les données d'entraînement et les mécanismes internes sont souvent propriétaires.
L'ensemble de données RedPajama a été publié en avril 2023, comprenant plus de 1,2 billion de jetons de données textuelles. Cet ensemble a été conçu pour reproduire la composition des données utilisées pour entraîner le GPT-3 d'OpenAI, en s'appuyant sur des sources telles que des livres, Wikipédia et des pages web. La publication de cet ensemble de données a été une étape majeure dans la démocratisation de l'accès à des données d'entraînement de haute qualité pour les grands modèles.
Suite à la publication de l'ensemble de données, Together AI a introduit la famille de modèles RedPajama-INCITE. Ces modèles, disponibles en tailles de 3 à 7 milliards de paramètres, ont été entraînés sur l'ensemble de données RedPajama. Ils ont été mis à disposition sous une licence ouverte, permettant une utilisation tant pour la recherche que pour un usage commercial. Les modèles ont démontré des performances compétitives sur divers benchmarks, montrant que les modèles open-source pouvaient rivaliser avec les modèles propriétaires dans certaines tâches.
Plateforme cloud et infrastructure
Le produit principal de Together AI est sa plateforme cloud, qui fournit aux utilisateurs un accès à la demande à des ressources de calcul haute performance. La plateforme prend en charge une variété de types de GPU, y compris ceux d'AMD et de NVIDIA, permettant aux utilisateurs de sélectionner le matériel qui correspond le mieux à leurs besoins et à leur budget. Cette flexibilité est un argument de vente clé, car elle permet une expérimentation et une mise à l'échelle rentables.
La plateforme comprend un service d'entraînement géré qui simplifie le processus d'entraînement des grands modèles. Les utilisateurs peuvent spécifier leur architecture de modèle et leurs paramètres d'entraînement, et la plateforme gère l'infrastructure sous-jacente, y compris l'entraînement distribué sur plusieurs GPU. Cette abstraction réduit la charge technique pour les chercheurs et les développeurs, leur permettant de se concentrer sur la conception du modèle plutôt que sur la gestion du cluster.
Pour l'inférence, Together AI propose un service de déploiement qui permet aux utilisateurs d'exécuter leurs modèles entraînés en production avec une configuration minimale. Le service comprend des fonctionnalités telles que la mise à l'échelle automatique et l'équilibrage de charge, garantissant que les applications peuvent gérer des niveaux de trafic variables. La plateforme prend également en charge le réglage fin, permettant aux utilisateurs d'adapter des modèles pré-entraînés à des domaines ou des tâches spécifiques.
Logiciels et outils
Au-delà de l'infrastructure brute, Together AI fournit une suite d'outils logiciels conçus pour améliorer le flux de travail de développement de l'IA. Ces outils comprennent des bibliothèques pour le parallélisme de modèle, qui permettent un entraînement efficace de très grands modèles dépassant la capacité mémoire d'un seul GPU. L'entreprise a contribué à des projets open-source dans ce domaine, tels que les bibliothèques basées sur PyTorch pour l'entraînement distribué.
La plateforme s'intègre également avec des frameworks populaires comme les architectures transformers et les bibliothèques de apprentissage profond, garantissant la compatibilité avec les flux de travail existants. Les utilisateurs peuvent utiliser des outils standard comme la bibliothèque Transformers de Hugging Face pour charger et utiliser des modèles hébergés sur Together AI. Cette interopérabilité est cruciale pour l'adoption, car elle permet aux équipes de migrer leur code existant avec des modifications minimales.
Together AI a également développé son propre moteur d'inférence, optimisé pour une faible latence et un débit élevé. Ce moteur est conçu pour servir efficacement les grands modèles, réduisant le coût par jeton pour les utilisateurs. L'entreprise revendique des améliorations de performance significatives par rapport aux solutions de service génériques, ce qui en fait une option attrayante pour les applications avec des exigences en temps réel.
Contributions open-source
Together AI est un fervent défenseur de l'IA open-source, et ses contributions vont au-delà des modèles RedPajama. L'entreprise a publié plusieurs bibliothèques logicielles et outils sous licences open-source, visant à bénéficier à la communauté IA au sens large. Cela comprend des utilitaires pour le traitement des données, l'évaluation des modèles et l'optimisation de l'entraînement.
L'entreprise participe également à des efforts de recherche collaborative, publiant des articles et des rapports techniques sur des sujets liés à l'entraînement de modèles à grande échelle. Cette recherche est souvent menée en partenariat avec des institutions académiques, telles que le Stanford AI Lab et le Berkeley AI Research. En partageant ses découvertes, Together AI contribue à la base de connaissances collective du domaine.
Une contribution notable est la bibliothèque FlashAttention, développée en collaboration avec des chercheurs du Stanford AI Lab. FlashAttention est un mécanisme d'attention efficace qui réduit l'utilisation de la mémoire et accélère l'entraînement des modèles transformers. Cette bibliothèque a été largement adoptée dans la communauté IA, devenant un composant standard dans de nombreux pipelines d'entraînement.
Paysage concurrentiel
Together AI opère sur un marché hautement concurrentiel, faisant face à des défis à la fois de la part des fournisseurs cloud établis et des startups spécialisées en IA. Les grandes plateformes cloud comme Amazon Web Services, Azure et Google Cloud offrent leurs propres services d'IA, y compris des plateformes d'apprentissage automatique gérées et des modèles pré-entraînés. Ces fournisseurs ont l'avantage d'une infrastructure vaste et de bases de clients existantes.
Les concurrents spécialisés comprennent Groq, SambaNova et Graphcore, qui se concentrent sur le développement de matériel et de logiciels personnalisés pour les charges de travail d'IA. Ces entreprises ciblent souvent l'inférence et l'entraînement haute performance, offrant des alternatives aux systèmes basés sur GPU traditionnels. Together AI se différencie par son accent sur les modèles open-source et sa plateforme conviviale.
L'entreprise fait également face à la concurrence d'autres fournisseurs de modèles open-source, tels que AI21 Labs et Inflection AI. Cependant, la combinaison unique de Together AI d'infrastructure cloud et de développement de modèles la distingue. L'entreprise vise à être un guichet unique pour les organisations cherchant à construire et déployer des solutions d'IA personnalisées.
Applications et cas d'utilisation
La plateforme de Together AI est utilisée dans un large éventail d'industries et d'applications. Dans le secteur de la santé, des organisations utilisent la plateforme pour développer des modèles d'analyse de textes médicaux et de soutien au diagnostic. La capacité de réglage fin des modèles sur des données propriétaires est particulièrement précieuse dans ce domaine, où la confidentialité des données est primordiale.
Dans l'industrie financière, Together AI aide les entreprises à construire des modèles pour la détection de fraude, l'évaluation des risques et le trading algorithmique. L'évolutivité de la plateforme permet à ces organisations de traiter de grands volumes de données et de déployer des modèles en temps réel. La nature open-source des modèles permet également une plus grande transparence et auditabilité, ce qui est important pour la conformité réglementaire.
Pour les startups et les institutions de recherche, Together AI fournit un point d'entrée accessible au développement d'IA à grande échelle. Le modèle de tarification à l'utilisation permet aux équipes d'expérimenter sans investissement initial significatif. Cette démocratisation de l'accès est un élément central de la mission de l'entreprise, permettant à un éventail plus large de voix de contribuer à l'innovation en IA.
Orientations futures
À l'avenir, Together AI continue d'étendre sa plateforme et ses offres de modèles. L'entreprise investit dans la recherche pour améliorer l'efficacité et les capacités des grands modèles de langage, avec un accent sur la réduction du coût computationnel de l'entraînement et de l'inférence. Cela comprend l'exploration de techniques comme l'élagage et la quantification des modèles, qui peuvent rendre les modèles plus petits et plus rapides sans perte significative de performance.
L'entreprise travaille également à améliorer son soutien pour les modèles multimodaux, qui peuvent traiter à la fois du texte et des images. C'est un domaine d'intérêt croissant dans la communauté IA, avec des applications dans des domaines comme la vision par ordinateur et la robotique. En élargissant ses capacités, Together AI vise à rester à la pointe de la révolution de l'IA générative.
En 2024, Together AI s'est établie comme un acteur clé du marché du cloud IA, avec une base de clients croissante et une solide réputation pour ses contributions open-source. Le succès continu de l'entreprise dépendra de sa capacité à innover et à s'adapter au paysage en évolution rapide de l'intelligence artificielle.