DeepSeek V3 ist ein Large Language Model, das vom chinesischen KI-Unternehmen DeepSeek entwickelt und erstmals am 26. Dezember 2024 veröffentlicht wurde. Es basiert auf einer Transformer-Architektur mit einem Mixture-of-Experts-Design (MoE) und insgesamt 671 Milliarden Parametern, von denen 37 Milliarden pro Token aktiviert werden. Das Modell wurde mit 14,8 Billionen Tokens trainiert und ist für seinen kosteneffizienten Trainingsprozess bekannt, der Berichten zufolge nur 2,788 Millionen H800-GPU-Stunden benötigte.
DeepSeek V3 erschien kurz nach seiner Veröffentlichung auf öffentlichen LLM- und Medien-Bestenlisten, wobei Benchmark-Schnappschüsse eine konsistente Leistung über mehrere Varianten hinweg zeigten. Die Modellfamilie umfasst in diesen Schnappschüssen mindestens fünf Varianten, die unterschiedliche Konfigurations- oder Feinabstimmungszustände widerspiegeln, obwohl spezifische Details jeder Variante nicht öffentlich dokumentiert sind. Das Basismodell und seine instruktionsoptimierte Version wurden anhand standardmäßiger akademischer Benchmarks evaluiert.
Architektur und Training
DeepSeek V3 verwendet eine Deep-Learning-Architektur mit 61 Schichten von Transformer-Blöcken. Es integriert Multi-Head Latent Attention (MLA) für effiziente Inferenz und nutzt eine DeepSeekMoE-Struktur für Feed-Forward-Schichten, bei der jeder Token nur eine Teilmenge der Experten aktiviert. Das Modell verwendet einen Wortschatz von 128.000 Tokens und unterstützt eine Kontextlänge von 128K Tokens.
Das Training wurde mit einem Lernratenplan mit einer Spitzenlernrate von 2,4e-3 durchgeführt, kombiniert mit Gradienten-Clipping und Batch-Normalisierung-Techniken, die für großskaliges Training angepasst wurden. Der Datensatz umfasste 14,8 Billionen Tokens, hauptsächlich auf Englisch und Chinesisch, aus Webtexten, Büchern und anderen kuratierten Korpora. Der Trainingsprozess nutzte TSMC-gefertigte H800-GPUs, mit einem berichteten Kostenaufwand von etwa 5,6 Millionen US-Dollar für den finalen Trainingslauf.
Leistung und Benchmarks
Bei öffentlichen Benchmarks erzielte DeepSeek V3 bemerkenswerte Ergebnisse. Beim MMLU-Benchmark (Massive Multitask Language Understanding) erreichte es 88,5 % in einer 5-Shot-Einstellung. Beim MATH-500-Benchmark erzielte es 90,2 % in einer Zero-Shot-Einstellung. Das Modell schnitt auch bei Programmieraufgaben gut ab, mit 82,6 % bei HumanEval und 67,3 % beim anspruchsvolleren LiveCodeBench.
Im Vergleich zu zeitgenössischen Modellen war die Leistung von DeepSeek V3 wettbewerbsfähig mit führenden proprietären Systemen von OpenAI und Anthropic, während das Training deutlich günstiger war. Beim GPQA-Benchmark (Graduate-Level Google-Proof Q&A) erzielte es 59,1 % in einer Zero-Shot-Einstellung, und beim DROP-Benchmark erreichte es 91,6 % in einer 3-Shot-Einstellung.
Veröffentlichung und Varianten
Die Erstveröffentlichung am 26. Dezember 2024 umfasste das Basismodell und eine chatoptimierte Version, DeepSeek-V3-Chat. Beide wurden unter der MIT-Lizenz verfügbar gemacht, was kommerzielle Nutzung und Modifikation erlaubt. Die Modellgewichte wurden über Hugging Face und andere Plattformen verteilt, was eine breite Übernahme in der generativen KI-Community ermöglichte.
Öffentliche Benchmark-Schnappschüsse von Anfang 2025 zeigen mindestens fünf verschiedene Varianten von DeepSeek V3, die wahrscheinlich unterschiedliche Feinabstimmungsläufe oder Quantisierungsstufen darstellen. Diese Varianten sind auf Bestenlisten wie der LMSYS Chatbot Arena und der Open LLM Leaderboard erschienen, obwohl die genaue Konfiguration jeder Variante nicht offiziell dokumentiert ist. Stand Anfang 2025 wurden keine weiteren offiziellen Varianten über die Basis- und Chat-Version hinaus angekündigt.
Auswirkungen und Rezeption
Die Veröffentlichung von DeepSeek V3 erregte erhebliche Aufmerksamkeit in der Künstliche-Intelligenz-Community aufgrund seiner Kombination aus hoher Leistung und niedrigen Trainingskosten. Es zeigte, dass effiziente Trainingstechniken mit den Fähigkeiten von Modellen konkurrieren konnten, die mit erheblich größeren Budgets entwickelt wurden. Der Open-Source-Charakter des Modells unter der MIT-Lizenz trug zu seiner schnellen Integration in verschiedene Anwendungen und Forschungsprojekte bei.
Kritiker und Analysten merkten an, dass die Trainingseffizienz von DeepSeek V3 teilweise auf seiner MoE-Architektur beruht, die die Rechenkosten während der Inferenz reduziert. Allerdings erfordert die Abhängigkeit des Modells von einer großen Gesamtparameterzahl weiterhin erheblichen Speicher für die Bereitstellung. Das Modell löste auch Diskussionen über die Wettbewerbslandschaft des maschinellen Lernens aus, insbesondere über die Rolle chinesischer KI-Unternehmen bei der Förderung von Open-Source-Modellen.
Technische Details und Einschränkungen
DeepSeek V3 verwendet ein benutzerdefiniertes Positionskodierung-Schema und nutzt Multi-Head-Attention-Mechanismen. Es verwendet kein traditionelles Dropout in seinen Aufmerksamkeitsschichten, eine Designentscheidung, die die Trainingseffizienz verbessert. Die Inferenz des Modells unterstützt Top-p-Sampling und Temperaturskalierung für kontrollierte Generierung.
Trotz seiner Stärken hat DeepSeek V3 Einschränkungen. Es kann Verzerrungen aufweisen, die in seinen Trainingsdaten vorhanden sind, und seine Leistung bei nicht-englischen Sprachen außer Chinesisch ist weniger gründlich evaluiert. Der große Speicherbedarf des Modells begrenzt die Bereitstellung auf Verbraucherhardware und erfordert Modell-Pruning oder Quantisierung für den praktischen Einsatz in einigen Umgebungen. Stand Anfang 2025 wurde das Modell nicht mit einem Nachfolger aktualisiert, obwohl die laufende Forschung bei DeepSeek fortgesetzt wird.