DBRX ist ein Large Language Model, das von Mosaic unter seiner Muttergesellschaft Databricks entwickelt und am 27. März 2024 unter der Databricks Open Model License veröffentlicht wurde. Es handelt sich um ein Mixture-of-Experts-Transformer (architecture)-Modell mit insgesamt 132 Milliarden Parametern, von denen für jedes Token 36 Milliarden aktiv sind, wobei 4 von 16 Experten herangezogen werden. Das veröffentlichte Modell ist in zwei Versionen erhältlich: ein Basismodell und eine auf Anweisungen abgestimmte Variante.
Zum Zeitpunkt seiner Veröffentlichung übertraf DBRX prominente Modelle wie Metas Llama 2, Mistral AIs Mixtral und xAIs Grok-1 in mehreren Benchmarks, die Sprachverständnis, Programmierfähigkeit und Mathematik abdecken. Seine Architektur und sein Trainingsansatz positionierten es als wettbewerbsfähige Open-Weight-Alternative in der sich schnell entwickelnden Generative AI-Landschaft.
Architektur und Design
DBRX verwendet eine Mixture-of-Experts-Architektur (MoE), ein Design, das die Parameter des Modells in mehrere spezialisierte „Experten"-Netzwerke aufteilt. Für jedes Eingabe-Token wählt ein Gating-Mechanismus eine Teilmenge von Experten aus, die das Token verarbeiten, wodurch das Modell die Gesamtzahl der Parameter skalieren kann, während die Rechenkosten pro Token überschaubar bleiben. Bei DBRX stehen 16 Experten zur Verfügung, aber nur 4 werden pro Token aktiviert, was 36 Milliarden aktive Parameter von insgesamt 132 Milliarden ergibt. Diese spärliche Aktivierung ermöglicht eine effiziente Inferenz und ein effizientes Training im Vergleich zu dichten Modellen ähnlicher Größe.
Das Modell basiert auf der Transformer (architecture)-Architektur, die Multi-Head Attention-Mechanismen zur Verarbeitung sequenzieller Daten verwendet. DBRX integriert Techniken, die in modernen LLMs üblich sind, wie Layer Normalization und Positional Encoding, um das Training zu stabilisieren und die Token-Reihenfolge zu erfassen. Der Mixture-of-Experts-Ansatz ist eine Form von Model Pruning in umgekehrter Richtung - anstatt Parameter zu entfernen, verwendet er selektiv einen Bruchteil davon, wodurch der Rechenaufwand reduziert wird.
Training und Entwicklung
DBRX wurde über einen Zeitraum von 2,5 Monaten mit 3.072 Nvidia-H100-GPUs trainiert, die über InfiniBand mit einer Bandbreite von 3,2 Terabyte pro Sekunde verbunden waren. Die berichteten Trainingskosten betrugen 10 Millionen US-Dollar, eine im Vergleich zu einigen zeitgenössischen Modellen relativ bescheidene Summe, die die Effizienz des MoE-Designs und die Optimierung der Trainingspipeline widerspiegelt. Die Trainingsdaten bestanden aus einem vielfältigen Korpus aus Text und Code, wobei spezifische Details nicht vollständig offengelegt wurden.
Die Entwicklung wurde von Mosaic geleitet, einem Unternehmen, das 2023 von Databricks übernommen wurde und sich auf effizientes Training von Machine learning-Modellen spezialisiert hatte. Mosicas Fachwissen in verteiltem Training und Optimierung trug zur relativ kurzen Trainingsdauer und zu den geringen Kosten bei. Das Modell wurde mit Techniken wie Gradient Clipping und Anpassungen des Learning Rate Scheduling trainiert, um Stabilität zu gewährleisten.
Leistung und Benchmarks
Bei seiner Veröffentlichung zeigte DBRX starke Leistungen in einer Reihe von Benchmarks. Bei Aufgaben zum Sprachverständnis übertraf es Llama 2 und Mixtral und zeigte verbessertes logisches Denken und Verständnis. Bei Programmier-Benchmarks zeichnete sich DBRX durch Codegenerierung und Fehlerbehebung aus und übertraf Grok-1. Mathematisches Denken war ein weiterer Bereich, in dem DBRX wettbewerbsfähige Ergebnisse zeigte und oft Modelle mit größerer aktiver Parameterzahl erreichte oder übertraf.
Diese Ergebnisse unterstrichen die Wirksamkeit des Mixture-of-Experts-Ansatzes, der es DBRX ermöglicht, hohe Genauigkeit ohne die vollen Rechenkosten eines dichten Modells mit 132 Milliarden Parametern zu erreichen. Die auf Anweisungen abgestimmte Variante wurde für konversationelle und aufgabenorientierte Anwendungen optimiert und verbesserte die Leistung bei auf menschliche Präferenzen ausgerichteten Aufgaben weiter.
Veröffentlichung und Lizenzierung
DBRX wurde unter der Databricks Open Model License veröffentlicht, die eine breite Nutzung, einschließlich kommerzieller Anwendungen, mit bestimmten Einschränkungen erlaubt. Die offene Veröffentlichung ermöglichte es Forschern und Entwicklern, auf die Modellgewichte zuzugreifen, was weitere Experimente und Feinabstimmungen erleichterte. Dieser Schritt stand im Einklang mit einem Trend in der Artificial intelligence-Gemeinschaft hin zu Open-Weight-Modellen, wie er auch bei anderen Veröffentlichungen von Organisationen wie OpenAI und Anthropic zu beobachten ist, obwohl diese oft proprietär bleiben.
Die Verfügbarkeit sowohl der Basis- als auch der auf Anweisungen abgestimmten Version bot Flexibilität für verschiedene Anwendungsfälle, von der Forschung bis zur Produktionsbereitstellung. Databricks positionierte DBRX als Werkzeug für Unternehmen und integrierte es in seine Datenplattform und Cloud-Dienste, einschließlich Amazon Web Services und Microsoft Azure.
Auswirkungen und Vermächtnis
DBRX trug zur Wettbewerbslandschaft von Open-Source-LLMs bei und zeigte, dass effiziente MoE-Architekturen mit größeren proprietären Modellen konkurrieren können. Seine relativ niedrigen Trainingskosten und die hohe Leistung machten es zu einem Referenzpunkt für die anschließende Modellentwicklung. Der Erfolg von DBRX förderte weitere Investitionen in MoE-Designs, die seitdem auch von anderen großen Akteuren übernommen wurden.
Im weiteren Kontext des Deep learning veranschaulichte DBRX den Trend zur Skalierung der Modellkapazität bei gleichzeitiger Verwaltung der Rechenbudgets. Seine Veröffentlichung unterstrich auch die Rolle spezialisierter Hardware wie Nvidias H100-GPUs und die Bedeutung von Hochbandbreiten-Verbindungen beim Training großer Modelle. Stand Anfang 2025 bleibt DBRX ein bemerkenswertes Beispiel für Open-Weight-MoE-Modelle, obwohl inzwischen neuere Modelle mit verbesserten Fähigkeiten entstanden sind.