Meta veröffentlichte Llama 3, eine Familie großer Sprachmodelle (LLMs), am 18. April 2024 als Teil seiner fortlaufenden Llama-Serie. Die Veröffentlichung umfasste zwei Modellgrößen: 8 Milliarden und 70 Milliarden Parameter, die beide auf etwa 15 Billionen Token Text aus öffentlich zugänglichen Quellen vortrainiert wurden. Instruktionsoptimierte Varianten wurden auf öffentlichen Instruktionsdatensätzen und über 10 Millionen von Menschen annotierten Beispielen feinabgestimmt. Meta positionierte Llama 3 als bedeutenden Schritt in Richtung Open-Weight-KI, wobei das 70B-Modell zum Zeitpunkt der Veröffentlichung mehrere kommerzielle Konkurrenten bei Standard-Benchmarks übertraf.
Die Llama-Serie begann im Februar 2023 mit Llama 1, das zunächst nur Forschern unter einer nicht-kommerziellen Lizenz zur Verfügung gestellt wurde. Nach einem unbefugten Leak über BitTorrent im März 2023 änderte Meta seine Strategie mit Llama 2 im Juli 2023 und bot Gewichte für eine breitere kommerzielle Nutzung unter einer kundenspezifischen Lizenz an. Llama 3 setzte diese Entwicklung fort und betonte Zugänglichkeit und Leistung. Die Veröffentlichung fiel mit Meta AI zusammen, einem auf Llama basierenden Assistenten, der über eine eigene Website verfügbar war und in Facebook und WhatsApp integriert wurde.
Modellarchitektur und Training
Llama-3-Modelle verwenden eine Standard-Transformer-Architektur mit Verbesserungen gegenüber früheren Versionen. Die 8B- und 70B-Modelle wurden mit 15 Billionen Token trainiert, einem Datensatz, der 75-mal größer ist als die Chinchilla-optimale Menge für die 8B-Größe (200 Milliarden Token). Trotz Überschreitung des optimalen Datenpunkts skalierte die Leistung weiterhin log-linear weiter, was konventionelle Skalierungsgesetze in Frage stellte. Meta berichtete, dass sich das 70B-Modell am Ende des Trainings noch verbesserte, das Team sich jedoch entschied, anzuhalten, um GPU-Ressourcen anderweitig einzusetzen.
Die Trainingsdaten wurden aus öffentlich zugänglichen Quellen kuratiert, mit Schwerpunkt auf Qualität und Vielfalt. Die Instruktions-Feinabstimmung verwendete eine Kombination aus öffentlichen Datensätzen und von Menschen annotierten Beispielen, was die Fähigkeit der Modelle verbesserte, komplexen Anweisungen zu folgen. Meta kündigte außerdem Pläne an, zukünftige Versionen mehrsprachig, multimodal und besser im Programmieren und logischen Denken zu machen, mit einem erweiterten Kontextfenster.
Leistung und Benchmarks
Im April 2024 zeigten Metas interne Tests, dass Llama 3 70B Gemini Pro 1.5 und Claude 3 Sonnet bei den meisten Benchmarks übertraf, einschließlich Aufgaben zum logischen Denken, Programmieren und allgemeinem Wissen. Das 8B-Modell wurde von Mark Zuckerberg als nahezu so leistungsfähig wie das größte Llama-2-Modell (70B) beschrieben, was erhebliche Effizienzgewinne demonstrierte. Diese Ergebnisse positionierten Llama 3 als wettbewerbsfähige Alternative zu proprietären Modellen von Unternehmen wie OpenAI, Anthropic und Google DeepMind.
Die Modelle wurden anhand standardmäßiger NLP-Benchmarks evaluiert, wobei die 70B-Variante zum damaligen Zeitpunkt State-of-the-Art-Ergebnisse unter Open-Weight-Modellen erzielte. Das beobachtete Skalierungsverhalten - die kontinuierliche Verbesserung über Chinchilla-optimale Daten hinaus - deutete darauf hin, dass größere Datensätze weitere Gewinne bringen könnten, was die anschließende Forschung in maschinellem Lernen und Deep Learning beeinflusste.
Veröffentlichung und Ökosystem
Llama 3 wurde unter einer kundenspezifischen Lizenz veröffentlicht, die kommerzielle Nutzung erlaubt, jedoch mit einer Richtlinie zur akzeptablen Nutzung, die bestimmte Anwendungen einschränkte, was zu Debatten darüber führte, ob es als Open Source qualifiziert war. Die Gewichte wurden zum Download bereitgestellt, und die Modelle wurden in verschiedene Plattformen integriert, darunter Amazon Web Services, Microsoft Azure, Google Cloud und Oracle Cloud Infrastructure. Spezialisierte Hardware-Anbieter wie Groq und SambaNova optimierten die Inferenz für Llama 3 und ermöglichten eine schnellere Bereitstellung.
Die Veröffentlichung löste eine Welle von feinabgestimmten Varianten und Tools aus, ähnlich dem Ökosystem, das sich um Llama 2 herum gebildet hatte. Entwickler nutzten Techniken wie Reinforcement Learning from AI Feedback (RLAIF) und Curriculum-Lernen, um die Modelle für spezifische Domänen anzupassen. Der Open-Weight-Ansatz stand im Gegensatz zu geschlossenen Modellen von Wettbewerbern und förderte Innovationen in generativen KI-Anwendungen.
Nachfolgende Entwicklungen
Llama 3.1 wurde am 23. Juli 2024 veröffentlicht und führte ein 405B-Parametermodell ein und erweiterte das Kontextfenster. Diese Version festigte Llamas Position in der KI-Landschaft weiter. Die Serie wurde mit Llama 4 im April 2025 fortgesetzt, und im April 2026 veröffentlichte Meta Superintelligence Labs Muse Spark als Ersatz. Die Entwicklung von Llama beeinflusste das breitere Feld, wobei Forscher Skalierungsgesetze und Trainingseffizienz untersuchten, wie in Arbeiten zu Transformer-Architekturen und Verlustfunktionen zu sehen ist.
Die Veröffentlichung hob auch die Rolle von groß angelegter Rechenleistung hervor, wobei Meta Partnerschaften mit Chipherstellern wie AMD, Intel und TSMC nutzte, um Modelle effizient zu trainieren. Der Erfolg von Llama 3 trug zu Diskussionen über die Zukunft der künstlichen Intelligenz und das Gleichgewicht zwischen offener und proprietärer Entwicklung bei.