Llama 3 ist eine Familie von Large Language Models, die von Meta AI entwickelt und am 18. April 2024 veröffentlicht wurde. Sie ist Teil der Llama-Serie, die im Februar 2023 begann, und stellt einen bedeutenden Fortschritt in der Leistungsfähigkeit von Modellen mit offenen Gewichten dar. Die ursprüngliche Veröffentlichung umfasste zwei Modellgrößen: 8 Milliarden (8B) und 70 Milliarden (70B) Parameter, jeweils mit Basis- und instruktionsabgestimmten Versionen. Llama-3-Modelle wurden auf etwa 15 Billionen Token Text aus öffentlich zugänglichen Quellen vortrainiert, wobei die instruktionsabgestimmten Varianten zusätzlich auf öffentlichen Instruktionsdatensätzen und über 10 Millionen von Menschen annotierten Beispielen feinabgestimmt wurden.
Llama 3 baut auf den architektonischen Prinzipien seiner Vorgänger auf, führt jedoch bemerkenswerte Verbesserungen beim Umfang der Trainingsdaten und bei der Leistung ein. Laut den Tests von Meta AI im April 2024 übertraf das 70B-Modell konkurrierende Modelle wie Gemini Pro 1.5 und Claude 3 Sonnet bei den meisten Benchmarks. Die Veröffentlichung markierte auch den Start von Meta AI, einem auf Llama basierenden KI-Assistenten, der über eine eigene Website verfügbar war und in Facebook und WhatsApp integriert wurde.
Hintergrund
Die Entwicklung von Llama 3 erfolgte vor dem Hintergrund rascher Fortschritte im Bereich der generativen KI, insbesondere nach der Veröffentlichung von ChatGPT Ende 2022. Der Erfolg von ChatGPT verstärkte das Interesse an großen Sprachmodellen und veranlasste Unternehmen, stark in die Skalierung und Verfeinerung dieser Systeme zu investieren. Metas Chef-KI-Wissenschaftler Yann LeCun hatte zuvor geäußert, dass große Sprachmodelle am besten geeignet seien, um beim Schreiben zu helfen, eine Perspektive, die das Design der Llama-Modelle beeinflusste.
Llama 3 spiegelt auch einen Wandel in Metas Ansatz zur Modellverteilung wider. Während das ursprüngliche Llama akademischen Forschern unter einer nicht-kommerziellen Lizenz vorbehalten war, wurden nachfolgende Versionen, einschließlich Llama 3, einem breiteren Publikum unter Lizenzen zugänglich gemacht, die eine kommerzielle Nutzung teilweise erlauben. Diese Offenheit hat Innovationen angeregt, aber auch Debatten über die Definition von „Open Source“ in der KI-Community ausgelöst.
Architektur und Training
Llama-3-Modelle verwenden eine Standard-Transformer (architecture)-Architektur, ähnlich wie frühere Llama-Versionen, jedoch mit Verbesserungen bei der Trainingsmethodik. Die Modelle wurden auf einem Datensatz von 15 Billionen Token trainiert, einer erheblichen Steigerung gegenüber den 1,4 Billionen Token, die für Llama 2 verwendet wurden. Dieser Umfang ermöglichte es den Modellen, über ein breites Spektrum von Aufgaben hinweg eine bessere Leistung zu erzielen.
Eine wichtige Erkenntnis aus dem Llama-3-Training betraf Skalierungsgesetze. Die Modelle zeigten empirisch, dass die Leistung auch dann log-linear weiter verbessert wird, wenn die Trainingsdaten die „Chinchilla-optimale“ Menge überschreiten. Beispielsweise beträgt der Chinchilla-optimale Datensatz für das 8B-Modell 200 Milliarden Token, aber die Leistung skalierte weiter bis zu den verwendeten 15 Billionen Token, was dem 75-fachen entspricht. Diese Beobachtung hat Auswirkungen auf zukünftige Modelltraining-Strategien.
In einem Interview mit Dwarkesh Patel bemerkte Metas CEO Mark Zuckerberg, dass die 8B-Version von Llama 3 fast so leistungsfähig war wie das größte Llama-2-Modell. Er erwähnte auch, dass das 70B-Modell am Ende seines Trainings mit 15 Billionen Token noch immer lernte, aber die Entscheidung getroffen wurde, das Training zu stoppen, um GPU-Ressourcen anderweitig einzusetzen.
Leistung und Benchmarks
Llama-3-Modelle erzielten zum Zeitpunkt der Veröffentlichung hochmoderne Ergebnisse bei vielen Benchmarks für natürliche Sprachverarbeitung. Insbesondere das 70B-Modell übertraf mehrere proprietäre Modelle, darunter Gemini Pro 1.5 und Claude 3 Sonnet, bei Aufgaben wie Reasoning, Codierung und allgemeinem Wissen. Das 8B-Modell lieferte trotz seiner geringeren Größe eine wettbewerbsfähige Leistung und eignet sich daher für den Einsatz auf weniger leistungsfähiger Hardware.
Die Bewertung von Meta AI zeigte, dass Llama 3 70B in Bereichen wie mathematischem Denken und Codegenerierung herausragte, während das 8B-Modell eine gute Balance aus Effizienz und Leistungsfähigkeit bot. Diese Ergebnisse positionierten Llama 3 als führendes Modell mit offenen Gewichten und forderten die Dominanz geschlossener Systeme heraus.
Verfügbarkeit und Ökosystem
Llama 3 wurde unter einer Lizenz veröffentlicht, die eine kommerzielle Nutzung erlaubt, mit einer Richtlinie zur akzeptablen Nutzung, die bestimmte Anwendungen einschränkt. Die Modelle sind zum Download auf Metas Website und über verschiedene Cloud-Plattformen verfügbar, darunter Amazon Web Services, Azure und Google Cloud. Diese Zugänglichkeit hat eine breite Akzeptanz in Forschung und Industrie ermöglicht.
Die Veröffentlichung von Llama 3 fiel auch mit dem Start von Meta AI zusammen, einem Assistenten, der die Fähigkeiten des Modells nutzt. Meta AI ist in Facebook, WhatsApp und eine eigene Website integriert und bietet den Nutzern konversationelle KI-Dienste. Das Ökosystem rund um Llama 3 umfasst Werkzeuge für Feinabstimmung, Quantisierung und Bereitstellung, die es Entwicklern ermöglichen, die Modelle für spezifische Anwendungsfälle anzupassen.
Vermächtnis und Zukunft
Llama 3 markierte einen Meilenstein in der Entwicklung großer Sprachmodelle mit offenen Gewichten und zeigte, dass solche Modelle mit proprietären Gegenstücken konkurrieren konnten. Sein Erfolg beeinflusste nachfolgende Entwicklungen, einschließlich Llama 3.1, das am 23. Juli 2024 veröffentlicht wurde und weitere Verbesserungen einführte. Die Llama-Serie wurde mit Llama 4 im April 2025 fortgesetzt, und im April 2026 veröffentlichte Meta Superintelligence Labs Muse Spark als Ersatz für Llama.
Die Wirkung von Llama 3 geht über technische Errungenschaften hinaus, da es zu Diskussionen über KI-Sicherheit, Zugänglichkeit und die Demokratisierung fortschrittlicher KI-Technologien beigetragen hat. Seine Natur mit offenen Gewichten hat es Forschern und Entwicklern weltweit ermöglicht, mit dem Modell zu experimentieren und darauf aufzubauen, und ein lebendiges Ökosystem der Innovation gefördert.