Anyscale ist eine Organisation, die sich auf verteiltes Rechnen für Arbeitslasten der künstlichen Intelligenz und des maschinellen Lernens konzentriert. Das Unternehmen ist der Hauptentwickler und Verwalter von Ray, einem Open-Source-Framework für verteiltes Rechnen, das Entwicklern ermöglicht, Python-Anwendungen von einem einzelnen Rechner auf einen großen Cluster von Computern zu skalieren. Anyscale bietet außerdem eine kommerzielle, verwaltete Plattform an, die auf Ray basiert und Werkzeuge für die Bereitstellung, den Betrieb und die Verwaltung verteilter KI-Anwendungen in der Cloud bereitstellt.
Das Unternehmen wurde gegründet, um die wachsende Komplexität der Skalierung moderner KI-Systeme zu bewältigen, insbesondere solcher, die maschinelles Lernen und Deep-Learning-Modelle umfassen, die erhebliche Rechenressourcen benötigen. Durch die Bereitstellung eines einheitlichen Frameworks für verteilte Ausführung möchte Anyscale den Prozess vereinfachen, KI-Arbeitslasten von Forschungsprototypen in Produktionsumgebungen zu überführen.
Ursprünge und Gründung
Anyscale wurde 2019 gegründet und entstand aus dem Berkeley AI Research (BAIR)-Labor an der University of California, Berkeley. Das Gründungsteam umfasste Robert Nishihara, Philipp Moritz und Ion Stoica, die Ray zuvor als Forschungsprojekt im RISELab der Universität entwickelt hatten. Das Projekt wurde entwickelt, um die Einschränkungen bestehender verteilter Rechensysteme im Hinblick auf die sich entwickelnden Anforderungen von KI- und Machine-Learning-Anwendungen zu beheben. Das Unternehmen wurde aus der Universität ausgegründet, um Ray zu einem produktionsreifen System zu entwickeln und dessen Verbreitung bei einer breiteren Nutzerbasis zu unterstützen.
Ray-Framework
Ray ist ein Open-Source-Python-Framework, das eine einfache, universelle API für die Erstellung verteilter Anwendungen bietet. Im Kern bietet Ray Grundbausteine für paralleles und verteiltes Rechnen, einschließlich Remote-Funktionen, Aktoren und verteilter Datenstrukturen. Es ist darauf ausgelegt, eine Vielzahl von Arbeitslasten zu bewältigen, von bestärkendem Lernen und Hyperparameter-Optimierung bis hin zur Bereitstellung von großen Sprachmodellen und anderen generativen KI-Anwendungen. Das Framework unterstützt sowohl die Forschung im Bereich künstlicher Intelligenz als auch Produktionsumgebungen.
Eine Schlüsselkomponente von Ray ist Ray Core, das die Planung von Aufgaben auf niedriger Ebene und die Verwaltung verteilten Speichers übernimmt. Auf Ray Core aufbauend gibt es höherwertige Bibliotheken wie Ray Tune für die Hyperparameter-Optimierung, Ray Serve für die Modellbereitstellung und Ray Data für die verteilte Datenverarbeitung. Diese Bibliotheken ermöglichen es Entwicklern, komplexe KI-Pipelines mit einer flexiblen, Python-freundlichen Schnittstelle zu erstellen. Das Framework betont horizontale Skalierbarkeit und ermöglicht es, Arbeitslasten von einem einzelnen Laptop bis zu Tausenden von Knoten in einer Cloud-Umgebung auszuführen.
Anyscale-Plattform
Die Anyscale-Plattform ist ein verwalteter Dienst, der das Ray-Framework operationalisiert. Sie bietet eine Steuerungsebene für die Bereitstellung und Verwaltung von Ray-Clustern auf öffentlichen Cloud-Anbietern wie Amazon Web Services, Microsoft Azure und Google Cloud. Die Plattform umfasst Funktionen für automatische Skalierung, Beobachtbarkeit und Multi-Tenancy, die Organisationen dabei helfen, Ray-Anwendungen zuverlässig in der Produktion auszuführen. Sie wird häufig für das Training und die Bereitstellung von Modellen verwendet, insbesondere in Umgebungen, in denen Teams dynamische Rechenressourcen zuweisen müssen, ohne die zugrunde liegende Infrastruktur manuell zu verwalten.
Die Plattform richtet sich sowohl an einzelne Entwickler als auch an Unternehmen. Für kleinere Teams bietet sie einen einfachen Weg, vorhandenen Python-Code zu skalieren. Für größere Organisationen bietet sie Werkzeuge für Zusammenarbeit, Ressourcenteilung und Governance und integriert sich in bestehende KI- und ML-Arbeitsabläufe. Das Unternehmen positioniert die Plattform als Lösung für „groß angelegte KI“-Arbeitslasten, einschließlich solcher, die Deep Learning und neuronale Netze umfassen.
Branchen- und Community-Auswirkungen
Anyscale hat eine zentrale Rolle dabei gespielt, Ray als De-facto-Standard für verteiltes Python-Rechnen in der KI-Community zu etablieren. Das Framework wurde von einer breiten Palette von Unternehmen und Forschungseinrichtungen übernommen, darunter mehrere KI-Forschungsorganisationen und unternehmenseigene KI-Labore. Sein Open-Source-Charakter hat ein großes Ökosystem aus Mitwirkenden und Drittanbieter-Integrationen gefördert, mit Bibliotheken und Werkzeugen, die Rays Fähigkeiten auf verschiedene Bereiche erweitern, von der Datenwissenschaft bis zur Verarbeitung natürlicher Sprache.
In der Wettbewerbslandschaft wird Anyscale oft mit cloud-spezifischen KI-Diensten und anderen verteilten Frameworks verglichen. Der Fokus auf ein einziges, kohärentes Python-basiertes Framework unterscheidet es jedoch von Alternativen. Das Unternehmen hat sich auch durch Konferenzen, technische Blogbeiträge und Beiträge zur akademischen Forschung mit der breiteren KI-Community engagiert und so seinen Einfluss weiter gefestigt.
Governance und Finanzierung
Anyscale ist ein privates Unternehmen mit Hauptsitz in San Francisco, Kalifornien. Es hat erhebliches Risikokapital von Investoren wie Andreessen Horowitz, Redpoint Ventures und Lux Capital eingeworben. Im Jahr 2024 wurde das Unternehmen mit über einer Milliarde Dollar bewertet, was das Vertrauen der Investoren in den wachsenden Markt für KI-Infrastruktur widerspiegelt. Das Führungsteam, einschließlich der Mitgründer mit tiefen Wurzeln in der akademischen Informatik, lenkt weiterhin die technische und strategische Ausrichtung des Unternehmens.
Siehe auch
- maschinelles Lernen
- Deep Learning
- verteiltes Rechnen
- Berkeley AI Research