Cerebras-GPT ist eine Familie von Open-Source-Large Language Models, die von Cerebras Systems entwickelt wurde, einem Unternehmen, das für seine Wafer-Scale-neuronale Netzwerk-Beschleuniger bekannt ist. Die Modelle wurden entwickelt, um rechenoptimale Leistung zu erzielen, das heißt, sie wurden trainiert, um Modellgröße und Trainingsdatenmenge gemäß dem Chinchilla-Skalierungsgesetz auszubalancieren, das besagt, dass für ein gegebenes Rechenbudget größere Modelle mit proportional mehr Daten eine bessere Leistung erzielen. Cerebras-GPT wurde im März 2023 veröffentlicht, mit dem Ziel, die Effizienz des CS-2-Systems von Cerebras für das Training modernster Modelle in großem Maßstab zu demonstrieren.
Die Familie umfasst Modelle mit Parameterzahlen von 111 Millionen bis 13 Milliarden, konkret: 111M, 256M, 590M, 1.3B, 2.7B, 6.7B und 13B. Alle Modelle wurden auf demselben öffentlichen Datensatz, dem Pile, trainiert, einer vielfältigen Sammlung von Texten aus Büchern, wissenschaftlichen Arbeiten und Webinhalten. Das Training verwendete ein festes Rechenbudget pro Modell, das dem Chinchilla-optimalen Verhältnis von etwa 20 Tokens pro Parameter folgte, um sicherzustellen, dass jedes Modell auf der angemessenen Datenmenge trainiert wurde, um seine Leistung für seine Größe zu maximieren. Die Modelle wurden mit dem Adam-Optimierer mit einem Cosinus-Lernratenplan und Gradienten-Clipping trainiert, um das Training zu stabilisieren.
Architektur und Training
Cerebras-GPT-Modelle verwenden die Standard-Transformer-Architektur, speziell die Decoder-only-Variante, die für generative Sprachmodelle üblich ist. Jedes Modell verwendet Multi-Head-Attention, Layer-Normalisierung und gelernte Positions-Einbettungen. Die Modelle wurden auf dem CS-2-System trainiert, das einen einzelnen Silizium-Wafer mit über 850.000 Kernen integriert und ein Training mit hohem Durchsatz ohne verteiltes Training über mehrere GPUs ermöglicht. Diese Architektur erlaubte es Cerebras, die Modelle in einem Bruchteil der Zeit und Energie im Vergleich zu traditionellen GPU-Clustern zu trainieren, da das Wafer-Scale-Design den Kommunikationsaufwand reduziert.
Das Training wurde in bfloat16-Präzision durchgeführt, und die Modelle wurden von Grund auf ohne vorbestehende Checkpoints trainiert. Der Trainingsprozess verwendete eine Batchgröße von 256 Sequenzen, jede mit einer Länge von 2048 Tokens, und die Gesamtzahl der Trainings-Tokens für jedes Modell wurde durch die Chinchilla-Formel bestimmt. Zum Beispiel wurde das 13B-Modell auf etwa 260 Milliarden Tokens trainiert, während das 111M-Modell auf etwa 2,2 Milliarden Tokens trainiert wurde. Die Trainingsdaten wurden gemischt und verarbeitet, um Vielfalt zu gewährleisten, und die Modelle wurden auf Standard-Benchmarks wie Sprachmodellierung-Perplexität und nachgelagerte Aufgaben evaluiert.
Leistung und Benchmarks
Cerebras-GPT-Modelle wurden auf mehreren Benchmarks evaluiert, darunter LAMBADA, HellaSwag und Winogrande, die Sprachverständnis und logisches Denken testen. Die Ergebnisse zeigten, dass die Modelle wettbewerbsfähig mit anderen Open-Source-Modellen ähnlicher Größe abschnitten, wie denen von OpenAI und Anthropic, obwohl sie mit einem einfacheren Rezept trainiert wurden. Zum Beispiel erreichte das 13B-Modell eine LAMBADA-Genauigkeit von 72,3%, was mit anderen damals verfügbaren 13B-Modellen vergleichbar ist. Die Modelle zeigten auch eine starke Leistung auf dem zurückgehaltenen Validierungsset des Pile, wobei die Perplexität mit zunehmender Modellgröße abnahm, wie erwartet.
Ein bemerkenswerter Aspekt von Cerebras-GPT ist sein Fokus auf Recheneffizienz. Das Unternehmen berichtete, dass das Training des 13B-Modells auf dem CS-2 etwa 10 Tage dauerte, während ein vergleichbarer Trainingslauf auf einem Cluster von 512 NVIDIA A100-GPUs etwa 30 Tage dauern würde. Diese Effizienz wird dem Wafer-Scale-Design zugeschrieben, das die Notwendigkeit von Modell-Parallelismus eliminiert und die Kommunikation zwischen Chips reduziert. Die Modelle wurden unter der Apache-2.0-Lizenz veröffentlicht, die uneingeschränkte Nutzung und Modifikation erlaubt, was ein bewusster Schritt war, um Forschung und Entwicklung in der Open-Source-Gemeinschaft zu fördern.
Vergleich mit anderen Modellen
Zum Zeitpunkt der Veröffentlichung hob sich Cerebras-GPT unter Open-Source-Modellen durch seine Einhaltung des Chinchilla-Skalierungsgesetzes hervor. Viele frühere Modelle, wie GPT-3, wurden mit mehr Daten als rechenoptimal trainiert, was zu Ineffizienzen führte. Cerebras-GPT war eine der ersten Familien, die explizit den rechenoptimalen Ansatz verfolgte, was bedeutete, dass jedes Modell auf genau der richtigen Datenmenge für seine Parameterzahl trainiert wurde. Dieser Ansatz wurde dadurch validiert, dass die Modelle eine Leistung erzielten, die mit oder besser als Modelle mit suboptimalen Daten-zu-Parameter-Verhältnissen vergleichbar war.
Im Vergleich zu späteren Modellen wie LLaMA (das später im Jahr 2023 veröffentlicht wurde) war Cerebras-GPT in der maximalen Größe kleiner, bot aber eine systematischere Untersuchung der Skalierung. Die Modelle waren auch für ihre Reproduzierbarkeit bemerkenswert, da der Trainingscode und die Konfigurationen Open-Source waren, was es Forschern ermöglichte, die Ergebnisse zu replizieren. Allerdings waren die Modelle nicht für Anweisungen feinabgestimmt oder für Chat optimiert, sodass sie hauptsächlich für die Forschung zu Skalierungsgesetzen und effizientem Training gedacht waren, nicht für die Bereitstellung in Anwendungen.
Auswirkungen und Vermächtnis
Cerebras-GPT trug zum breiteren Trend der Demokratisierung großer Sprachmodelle bei, indem es eine Familie von Modellen bereitstellte, die auf bescheidener Hardware ausgeführt werden konnten. Das kleinste Modell (111M) konnte auf einer einzelnen GPU feinabgestimmt werden, während das größte (13B) ein Multi-GPU-Setup erforderte, aber für viele Forschungslabore dennoch zugänglich war. Die Veröffentlichung hob auch das Potenzial alternativer Hardware-Architekturen, wie Wafer-Scale-Integration, hervor, um die Kosten und den Energie-Fußabdruck des Trainings großer Modelle zu reduzieren.
Die Modelle wurden in nachfolgender Forschung zu Curriculum-Lernen und Daten-Augmentierung-Techniken verwendet, da ihr Open-Source-Charakter einfache Experimente ermöglichte. Cerebras Systems entwickelte weiterhin größere Modelle, wie die Cerebras-GPT-7B- und später die Cerebras-GPT-13B-Varianten, aber die ursprüngliche Familie bleibt ein Referenzpunkt für rechenoptimales Training. Das Unternehmen nutzte die Erfahrung auch, um die Entwicklung seiner nächsten Hardware-Generation, des CS-3, zu informieren, die 2024 angekündigt wurde.
Verfügbarkeit und Nutzung
Cerebras-GPT-Modelle sind auf Hugging Face und über den Cerebras Model Zoo verfügbar, der vortrainierte Checkpoints und Inferenz-Skripte bereitstellt. Die Modelle können mit Standard-Machine-Learning-Frameworks wie PyTorch verwendet werden, und der Trainingscode ist auf GitHub verfügbar. Die Apache-2.0-Lizenz erlaubt kommerzielle Nutzung, was die Modelle für Startups und Unternehmen attraktiv macht, die Sprachmodelle ohne Lizenzgebühren bereitstellen möchten. Benutzer sollten jedoch beachten, dass die Modelle nicht auf menschliche Präferenzen abgestimmt wurden, sodass sie voreingenommene oder schädliche Ausgaben erzeugen können, und geeignete Sicherheitsvorkehrungen für die Bereitstellung empfohlen werden.
Zusammenfassend ist Cerebras-GPT ein bedeutender Beitrag zum Bereich der künstlichen Intelligenz, der demonstriert, dass rechenoptimales Training mit spezialisierter Hardware erreichbar ist, und eine wertvolle Ressource für Forscher bietet, die Skalierungsgesetze und Modelleffizienz untersuchen.