LLaMA 3 ist eine Familie von großen Sprachmodellen, die von Meta AI am 18. April 2024 veröffentlicht wurde. Es ist die dritte Generation der Llama-Serie, die auf Llama 2 folgt, und umfasst zwei anfängliche Modellgrößen: 8 Milliarden und 70 Milliarden Parameter. Die Modelle wurden auf etwa 15 Billionen Tokens Text aus öffentlich zugänglichen Quellen vortrainiert, wobei instruktionsoptimierte Versionen auf öffentlichen Instruktionsdatensätzen und über 10 Millionen von Menschen annotierten Beispielen feinabgestimmt wurden. LLaMA 3 zeigte eine wettbewerbsfähige Leistung gegenüber proprietären Modellen wie Gemini Pro 1.5 und Claude 3 Sonnet bei vielen Benchmarks, und Meta kündigte Pläne an, es mehrsprachig, multimodal und besser bei Programmierung und logischem Denken zu machen.
Hintergrund
Die Entwicklung von LLaMA 3 erfolgte inmitten rascher Fortschritte in der generativen KI, nach dem Erfolg von OpenAIs ChatGPT und der Veröffentlichung früherer Llama-Modelle. Metas Chef-KI-Wissenschaftler Yann LeCun hatte erklärt, dass große Sprachmodelle am besten geeignet sind, um beim Schreiben zu helfen, was Metas Fokus auf praktische Anwendungen widerspiegelt. Die Llama-Serie begann im Februar 2023 mit dem ursprünglichen LLaMA, das zunächst nur Forschern unter einer nicht-kommerziellen Lizenz zur Verfügung stand. Nach einem unbefugten Leak der Gewichte über BitTorrent wurden spätere Versionen, einschließlich Llama 2, zugänglicher gemacht, wobei die kommerzielle Nutzung erlaubt wurde.
Modellarchitektur und Training
LLaMA 3 behält die Transformer-Architektur bei, die in früheren Llama-Modellen verwendet wurde, jedoch mit Verbesserungen bei Umfang und Qualität der Trainingsdaten. Die Modelle wurden auf 15 Billionen Tokens trainiert, deutlich mehr als die Chinchilla-optimale Menge für ihre Größen. Beispielsweise beträgt der Chinchilla-optimale Datensatz für das 8B-Modell 200 Milliarden Tokens, doch die Leistung skalierte weiterhin log-linear bis zum 75-fachen dieser Menge. Diese empirische Erkenntnis hob die Vorteile des Trainings auf größeren Datensätzen hervor, als zuvor als optimal angesehen wurde. Das 70B-Modell lernte am Ende des Trainings noch weiter, aber Meta entschied sich, anzuhalten, um GPU-Ressourcen anderswo zuzuweisen. Die Modelle wurden mit dem Adam-Optimierer und anderen in der Tiefenlernung üblichen Techniken trainiert.
Veröffentlichung und Verfügbarkeit
LLaMA 3 wurde am 18. April 2024 veröffentlicht, wobei die Gewichte sowohl für die Basis- als auch für die instruktionsoptimierten Versionen verfügbar waren. Im Gegensatz zum ursprünglichen LLaMA, das eine Einzelfallgenehmigung erforderte, wurde LLaMA 3 unter einer Lizenz verfügbar gemacht, die die kommerzielle Nutzung erlaubt, jedoch mit Nutzungsrichtlinien, die nach Ansicht einiger verhindern, dass es wirklich Open Source ist. Die Veröffentlichung umfasste eine eigene Website für Meta AI, einen Assistenten, der auf LLaMA 3 basiert, sowie die Integration in Facebook und WhatsApp. Meta kündigte auch zukünftige Pläne für größere Modelle und erweiterte Fähigkeiten an.
Leistung und Rezeption
In Metas internen Tests übertraf LLaMA 3 70B Google DeepMinds Gemini Pro 1.5 und Anthropics Claude 3 Sonnet bei den meisten Benchmarks. Das 8B-Modell wurde von Mark Zuckerberg als fast so leistungsfähig wie das größte Llama-2-Modell beschrieben. Die Veröffentlichung wurde in der KI-Gemeinschaft gut aufgenommen, wobei viele die offene Verfügbarkeit leistungsstarker Modelle lobten. Einige Kommentatoren merkten jedoch an, dass die Lizenzbeschränkungen bedeuteten, dass es nicht vollständig Open Source sei, ein Punkt, der auch von der Open Source Initiative aufgeworfen wurde. Der Erfolg von LLaMA 3 trug zur Verbreitung von Open-Weight-Modellen bei und beeinflusste nachfolgende Veröffentlichungen, einschließlich Llama 3.1 im Juli 2024 und Llama 4 im April 2025.
Auswirkungen und Vermächtnis
Die Veröffentlichung von LLaMA 3 verstärkte den Trend, dass Open-Weight-Modelle proprietäre Systeme herausfordern. Der Umfang der Trainingsdaten und die Leistung zeigten die Bedeutung der Datenmenge bei der Modellentwicklung. Die Verfügbarkeit des Modells auf Plattformen wie Hugging Face und über Cloud-Dienste wie AWS und Azure erleichterte die breite Nutzung. Im April 2026 veröffentlichte Meta Superintelligence Labs Muse Spark als Ersatz für Llama, was das Ende der Llama-Serie markierte. Dennoch bleibt LLaMA 3 ein bedeutender Meilenstein in der Entwicklung der künstlichen Intelligenz und des maschinellen Lernens.