Meta Llama

Meta Llama ist eine Familie von großen Sprachmodellen (LLMs), die von Meta AI entwickelt und erstmals im Februar 2023 veröffentlicht wurde. Der Name „Llama“ dient als Backronym für „Large Language Model Meta AI“. Die Modelle sind darauf ausgelegt, für Forschung und kommerzielle Nutzung zugänglich zu sein, mit variierenden Parameteranzahlen von 1 Milliarde bis über 2 Billionen. Ursprünglich war Llama ein Basismodell, aber ab Llama 2 veröffentlichte Meta AI auch instruktionsfeinabgestimmte Versionen. Die neueste Version, Llama 4, wurde im April 2025 veröffentlicht, und im April 2026 führte Meta Superintelligence Labs Muse Spark als Ersatz für Llama ein.

Hintergrund

Die Entwicklung von Meta Llama erfolgte vor dem Hintergrund rascher Fortschritte bei großen Sprachmodellen. Nach der Veröffentlichung von Modellen wie GPT-3 konzentrierte sich die Forschung auf das Hochskalieren, was manchmal zu erheblichen Gewinnen bei emergenten Fähigkeiten führte. Der Start von ChatGPT und sein unerwarteter Erfolg erhöhten die öffentliche und industrielle Aufmerksamkeit für LLMs. Als Reaktion auf ChatGPT kommentierte Metas Chef-KI-Wissenschaftler Yann LeCun, dass große Sprachmodelle besonders nützlich seien, um bei Schreibaufgaben zu helfen, was eine vorsichtige, aber engagierte Haltung von Meta widerspiegelt.

Erste Veröffentlichung und Leak

Die erste Version von Llama, stilisiert als LLaMA und manchmal Llama 1 genannt, wurde am 24. Februar 2023 über einen Blogbeitrag und ein Papier angekündigt, das Training, Architektur und Leistung detailliert beschrieb. Der Inferenzcode wurde unter der Open-Source-Lizenz GPLv3 veröffentlicht, aber der Zugang zu den Modellgewichten war auf akademische Forscher und angeschlossene Organisationen beschränkt und wurde von Fall zu Fall gewährt. Das Modell wurde mit öffentlich verfügbaren Daten trainiert und kam in mehreren Größen, um unterschiedliche Hardware-Fähigkeiten zu berücksichtigen. Meta berichtete, dass das 13B-Parametermodell das viel größere GPT-3 (175B Parameter) bei den meisten NLP-Benchmarks übertraf, und das größte 65B-Modell war wettbewerbsfähig mit modernsten Modellen wie PaLM und Chinchilla.

Am 3. März 2023 wurde ein Torrent mit Llamas Gewichten auf 4chan geleakt und verbreitete sich in KI-Gemeinschaften. Meta reichte Unterlassungsaufforderungen gegen HuggingFace-Repositories und ein GitHub-Skript ein, unter Berufung auf unbefugte Verbreitung und Urheberrechtsverletzung. Die Reaktionen waren gemischt: Einige fürchteten Missbrauch, während andere die Zugänglichkeit feierten und sie mit der offenen Verbreitung von Stable Diffusion verglichen, die schnelle Innovationen anregte.

Llama 2

Am 18. Juli 2023 kündigte Meta in Partnerschaft mit Microsoft Llama 2 an, erhältlich in 7B-, 13B- und 70B-Parametergrößen. Die Architektur blieb weitgehend unverändert gegenüber Llama 1, aber die Trainingsdaten wurden um 40 % erhöht. Llama 2 umfasste sowohl Basismodelle als auch chatfeinabgestimmte Modelle, wobei die Gewichte für kommerzielle Nutzung unter einer Lizenz veröffentlicht wurden, die eine Richtlinie zur akzeptablen Nutzung auferlegte, was zu Streitigkeiten darüber führte, ob es als Open Source gilt. Die Open Source Initiative argumentierte, dass die Lizenzbeschränkungen verhindern, dass es wirklich Open Source ist.

Code Llama, eine Feinabstimmung von Llama 2 für Codegenerierung, wurde am 24. August 2023 in 7B-, 13B- und 34B-Versionen veröffentlicht, mit einer 70B-Version am 29. Januar 2024. Das Training umfasste zusätzliche 500B Tokens an Codedaten und 20B Tokens an Langkontextdaten, mit weiterer Feinabstimmung für Instruktionsbefolgung und Python-spezifische Modelle.

Llama 3

Am 18. April 2024 veröffentlichte Meta Llama 3 mit 8B- und 70B-Parametergrößen. Diese Modelle wurden mit etwa 15 Billionen Tokens aus öffentlich verfügbaren Quellen vortrainiert, wobei Instruktionsmodelle mit öffentlichen Instruktionsdatensätzen und über 10 Millionen menschlich annotierten Beispielen feinabgestimmt wurden. Metas Benchmarks zeigten, dass Llama 3 70B Gemini Pro 1.5 und Claude 3 Sonnet bei den meisten Tests übertraf. Meta kündigte Pläne für mehrsprachige und multimodale Fähigkeiten, verbessertes Codieren und Denken sowie ein größeres Kontextfenster an.

Llama 3 zeigte, dass die Leistung auch jenseits der Chinchilla-optimalen Trainingsdatenmenge weiterhin log-linear skaliert. Zum Beispiel beträgt der Chinchilla-optimale Datensatz für das 8B-Modell 200 Milliarden Tokens, aber die Leistung verbesserte sich bis zu 15 Billionen Tokens. Mark Zuckerberg bemerkte, dass die 8B-Version fast so leistungsfähig war wie das größte Llama 2, und das 70B-Modell lernte am Ende des Trainings noch weiter, das gestoppt wurde, um GPU-Ressourcen anderswo zuzuweisen.

Llama 3.1 wurde am 23. Juli 2024 mit weiteren Verbesserungen und erweiterten Kontextlängen veröffentlicht.

Llama 4 und Nachfolger

Llama 4 wurde im April 2025 veröffentlicht und setzte die Entwicklung der Modellfamilie mit erweiterten Fähigkeiten fort. Im April 2026 veröffentlichte Meta Superintelligence Labs Muse Spark als Ersatz für Llama, was einen Übergang zu einer neuen Generation von Modellen markierte.

Anwendungen und Ökosystem

Meta-Llama-Modelle wurden in verschiedene Produkte und Dienste integriert. Neben Llama 3 startete Meta Meta AI, einen auf Llama basierenden KI-Assistenten, der auf einer eigenen Website und Plattformen wie Facebook und WhatsApp verfügbar ist. Die Modelle werden auch von Drittanbieter-Entwicklern und Cloud-Anbietern genutzt, darunter Amazon Web Services, Microsoft Azure und Google Cloud, um Unternehmen LLM-Fähigkeiten anzubieten. Die offene Gewichtsnatur von Llama hat ein lebendiges Ökosystem von feinabgestimmten Varianten und Werkzeugen gefördert, ähnlich der Gemeinschaft um generative KI-Modelle.

Rezeption und Auswirkungen

Die Veröffentlichung von Llama-Modellen hatte erhebliche Auswirkungen auf die KI-Landschaft. Der Leak von Llama 1 demokratisierte den Zugang zu leistungsstarken LLMs und ermöglichte Forschung und Experimente außerhalb großer Unternehmen. Llama 2 und nachfolgende Versionen boten eine kommerziell tragfähige Alternative zu proprietären Modellen wie denen von OpenAI und Anthropic. Die Lizenzbedingungen haben jedoch Debatten über die Definition von Open Source ausgelöst, wobei Kritiker anmerken, dass die Richtlinie zur akzeptablen Nutzung bestimmte Anwendungen einschränkt. Trotzdem ist Llama zu einem Maßstab für offene Gewichtsmodelle geworden und beeinflusst die Entwicklung anderer Open-Source-Bemühungen in künstlicher Intelligenz.

Technische Architektur

Llama-Modelle basieren auf der Transformer-Architektur und nutzen Multi-Head-Attention und positionale Kodierung. Sie verwenden Techniken wie Schichtnormalisierung und Residualverbindungen, um das Training zu stabilisieren. Die Modelle werden mit SGD-Varianten wie Adam trainiert, mit Lernratenplänen und Gradienten-Clipping. Für die Inferenz werden häufig Top-k-Sampling und Top-p-Sampling verwendet, zusammen mit Temperaturskalierung. Die bei Llama 3 beobachteten Skalierungsgesetze haben die Forschung zu optimalen Trainingsdatengrößen informiert und zum breiteren Verständnis von Deep Learning und neuronalen Netzen beigetragen.

Zukünftige Richtungen

Mit der Einführung von Muse Spark im Jahr 2026 zielt Meta Superintelligence Labs darauf ab, die Grenzen der KI-Fähigkeiten zu erweitern, möglicherweise unter Einbeziehung von Fortschritten in maschinellem Lernen und generativer KI. Der Übergang von Llama zu Muse Spark deutet auf eine strategische Verschiebung hin zu leistungsfähigeren und effizienteren Modellen hin, die wahrscheinlich auf den Lehren aus Llamas Entwicklung aufbaut. Während sich das Feld weiterentwickelt, prägen Metas Beiträge weiterhin die Landschaft offener Gewichtsmodelle und balancieren Innovation mit Überlegungen zu Sicherheit und Zugänglichkeit aus.