Together AI ist eine cloudbasierte Plattform, die Infrastruktur und Dienste für das Training, die Feinabstimmung und die Durchführung von Inferenz auf Open-Source-Large Language Models bereitstellt. Das 2022 gegründete Unternehmen zielt darauf ab, fortschrittliche generative KI für Entwickler und Unternehmen zugänglich zu machen, indem es verwaltete Rechenressourcen, optimiertes Modell-Serving und eine Suite von Entwicklungswerkzeugen anbietet.
Die Plattform basiert auf einem Hochleistungs-Rechen-Stack, der NVIDIA-GPUs, einschließlich H100- und A100-Beschleunigern, nutzt, um schnelle und kosteneffiziente Inferenz zu ermöglichen. Together AI bietet außerdem eine Reihe von vortrainierten Open-Source-Modellen wie Llama und Mistral an, die Benutzer mit einem einfachen API-Aufruf bereitstellen können. Das Unternehmen positioniert sich als Alternative zu proprietären Anbietern wie OpenAI und Anthropic und betont Transparenz, Anpassbarkeit und gemeinschaftsgetriebene Innovation.
Geschichte und Gründung
Together AI wurde 2022 von einem Team aus Forschern und Ingenieuren mit Hintergrund in maschinellem Lernen und verteilten Systemen gegründet. Das Unternehmen entstand aus dem Stanford AI Lab und wurde zunächst als Forschungsprojekt zur dezentralen Schulung großer Modelle inkubiert. Zum Gründungsteam gehörten unter anderem Vipul Ved Prakash, Ce Zhang und Percy Liang.
Im Jahr 2023 erlangte Together AI erhebliche Aufmerksamkeit, indem es Open-Source-Modelle und -Werkzeuge veröffentlichte, darunter den RedPajama-Datensatz und den Together Computer, eine Plattform für verteiltes Training. Das Unternehmen sammelte im November 2023 102,5 Millionen US-Dollar in einer Series-A-Finanzierungsrunde unter der Leitung von Kleiner Perkins ein, wodurch seine Gesamtbewertung auf über 500 Millionen US-Dollar stieg. Bis 2024 hatte Together AI seinen Kundenstamm um Startups und Fortune-500-Unternehmen erweitert und bot sowohl On-Demand- als auch dedizierte Rechenoptionen an.
Kerndienste
Together AI bietet drei primäre Dienste an: Inferenz, Feinabstimmung und Training. Der Inferenzdienst ermöglicht Entwicklern die Bereitstellung von Open-Source-Modellen mit geringer Latenz und hohem Durchsatz, unter Verwendung einer optimierten Serving-Engine, die kontinuierliches Batching und Quantisierung unterstützt. Der Feinabstimmungsdienst ermöglicht es Benutzern, Basismodelle mithilfe eigener Daten an spezifische Domänen oder Aufgaben anzupassen, mit Unterstützung für parametereffiziente Methoden wie LoRA.
Der Trainingsdienst bietet verwaltete Cluster für das Vortraining benutzerdefinierter Modelle, mit Werkzeugen für Datenaufbereitung, Jobplanung und Überwachung. Together AI bietet außerdem eine Modellbibliothek mit gängigen Architekturen, einschließlich Transformatoren und neuronalen Netzen, und integriert sich in gängige Frameworks wie PyTorch und Hugging Face. Die Plattform ist über eine REST-API, ein Python-SDK und eine Weboberfläche zugänglich, was sie sowohl für Prototyping als auch für Produktions-Workloads geeignet macht.
Technologie und Infrastruktur
Die Infrastruktur von Together AI ist auf Leistung und Skalierbarkeit ausgelegt. Das Unternehmen betreibt Rechenzentren in mehreren Regionen, einschließlich der Vereinigten Staaten und Europa, und nutzt Hochgeschwindigkeitsnetzwerke, um GPU-Cluster zu verbinden. Die Serving-Engine, genannt Together Inference Engine, integriert Techniken wie Tensor-Parallelismus, spekulative Dekodierung und Kernel-Fusion, um den Durchsatz zu maximieren.
Für die Feinabstimmung unterstützt Together AI sowohl vollständige Feinabstimmung als auch effiziente Methoden wie LoRA und QLoRA, die Speicher- und Rechenanforderungen reduzieren. Die Plattform bietet außerdem eine Funktion namens "Together Computer", die es Benutzern ermöglicht, ungenutzte GPU-Kapazität aus einem verteilten Netzwerk zu mieten, ähnlich wie bei CoreWeave, jedoch mit Fokus auf Open-Source-Modelle. Bis 2024 hat Together AI Tausende von GPUs bereitgestellt und bedient täglich Milliarden von Tokens.
Ökosystem und Partnerschaften
Together AI hat ein lebendiges Ökosystem rund um Open-Source-KI aufgebaut. Das Unternehmen arbeitet mit Modellentwicklern zusammen, darunter AI21 Labs und Inflection AI, um deren Modelle auf der Plattform zu hosten. Es geht auch Partnerschaften mit Cloud-Anbietern wie Amazon Web Services und Google Cloud ein, um integrierte Lösungen anzubieten, behält jedoch seine eigene unabhängige Infrastruktur bei.
Das Unternehmen trägt aktiv zu Open-Source-Projekten bei, wie dem RedPajama-Datensatz, einer Reproduktion der LLaMA-Trainingsdaten, und OpenChatKit, einer Sammlung von Konversationsmodellen. Together AI sponsert außerdem Forschung und veranstaltet Community-Events, einschließlich Hackathons und Meetups, um Innovationen in der künstlichen Intelligenz zu fördern. Im Jahr 2024 startete das Unternehmen einen Fonds in Höhe von 10 Millionen US-Dollar zur Unterstützung von Startups, die auf seiner Plattform aufbauen.
Rezeption und Auswirkungen
Together AI wird als Schlüsselakteur bei der Demokratisierung von KI anerkannt und bietet Entwicklern einen zugänglichen Einstiegspunkt für die Arbeit mit Open-Source-Modellen. Branchenanalysten loben seine Leistung und Kosteneffizienz und stellen fest, dass es bei Latenz-Benchmarks oft besser abschneidet als proprietäre Alternativen. Einige Kritiker haben jedoch Bedenken hinsichtlich der Umweltauswirkungen von groß angelegtem GPU-Computing und des potenziellen Missbrauchs von Open-Source-Modellen geäußert.
Trotz dieser Herausforderungen wächst Together AI weiter, mit einem Kundenstamm, der namhafte Unternehmen aus den Bereichen Finanzen, Gesundheitswesen und Technologie umfasst. Das Engagement des Unternehmens für Open-Source-Prinzipien hat ihm eine treue Anhängerschaft unter Forschern und Entwicklern eingebracht und positioniert es als bedeutende Kraft in der generativen KI-Landschaft. Ab 2025 bleibt Together AI ein führender Anbieter von Cloud-Inferenz- und Feinabstimmungsdiensten, mit Plänen, sein Angebot um spezialisiertere Werkzeuge und Enterprise-Funktionen zu erweitern.
Siehe auch
- Large Language Model
- Generative KI
- Maschinelles Lernen
- Cloud-Computing
Referenzen
- Offizielle Website von Together AI und Pressemitteilungen.
- TechCrunch, "Together AI raises $102.5M to build open-source AI models," November 2023.
- VentureBeat, "Together AI launches inference engine for open-source models," März 2024.