Llama (stilisiert als LLaMA, mit „Large Language Model Meta AI“ als Backronym) ist eine Familie von Large Language Models (LLMs), die von Meta AI entwickelt wurde und erstmals im Februar 2023 veröffentlicht wurde. Die Modelle umfassen eine Größenordnung von 1 Milliarde bis 2 Billionen Parametern. Ursprünglich war die erste Version ein Basismodell, das nur Forschern unter einer nicht-kommerziellen Lizenz zur Verfügung stand, aber ab Llama 2 veröffentlichte Meta neben den Basismodellen auch instruktionsfeinabgestimmte Versionen mit breiterer Lizenzierung. Das unbefugte Durchsickern der Gewichte des ersten Modells im März 2023 über BitTorrent beschleunigte erheblich die Verbreitung von Open-Source-LLM-Abkömmlingen und -Werkzeugen.
Llama-Modelle basieren auf der Transformer (architecture)-Architektur, ähnlich wie andere zeitgenössische LLMs. Sie wurden in mehreren Versionen veröffentlicht, die jeweils Verbesserungen bei Skalierung, Trainingsdaten und Fähigkeiten einführten. Stand 2025 ist die neueste Version Llama 4, veröffentlicht im April 2025, und Meta hat Llama auch in seinen Meta-AI-Assistenten integriert.
Hintergrund
Nach der Veröffentlichung früherer großer Sprachmodelle wie GPT-3 lag ein wichtiger Forschungsschwerpunkt auf der Hochskalierung von Modellen, was in einigen Fällen zu erheblichen Fortschritten bei emergenten Fähigkeiten führte. Der Start von ChatGPT Ende 2022 und sein unerwarteter Erfolg erhöhten die öffentliche und industrielle Aufmerksamkeit für LLMs dramatisch. Als Reaktion darauf kommentierte Metas Chef-KI-Wissenschaftler Yann LeCun, dass große Sprachmodelle am besten geeignet seien, um beim Schreiben zu helfen, was eine vorsichtige Haltung im Vergleich zur aggressiven Bereitstellung anderer Technologieunternehmen widerspiegelt.
Erste Veröffentlichung
Die erste Version von Llama (manchmal als Llama 1 bezeichnet) wurde am 24. Februar 2023 über einen Blogbeitrag und ein Papier angekündigt, das Training, Architektur und Leistung detailliert beschrieb. Der Inferenzcode wurde unter der Open-Source-Lizenz GPLv3 veröffentlicht, aber der Zugang zu den Modellgewichten war hinter einem Bewerbungsprozess gesperrt, wobei der Zugang von Fall zu Fall an akademische Forscher, Regierungen, Zivilgesellschaft und industrielle Forschungslabore gewährt wurde. Das Modell wurde ausschließlich mit öffentlich verfügbaren Daten trainiert, mit verschiedenen Modellgrößen (7B, 13B, 33B und 65B Parameter), um unterschiedliche Hardware-Fähigkeiten zu berücksichtigen. Es war nur ein Basismodell, obwohl das Papier Beispiele für Instruktionsfeinabstimmung enthielt.
Meta berichtete, dass das 13B-Parameter-Modell das viel größere GPT-3 (175B Parameter) bei den meisten NLP-Benchmarks übertraf, und das größte 65B-Modell war wettbewerbsfähig mit modernsten Modellen wie PaLM und Chinchilla.
Leak und Folgen
Am 3. März 2023 wurde ein Torrent mit Llamas Gewichten hochgeladen, wobei ein Link auf dem 4chan-Imageboard geteilt und anschließend in Online-KI-Gemeinschaften verbreitet wurde. Am selben Tag wurde ein Pull-Request im offiziellen Llama-Repository eingereicht, der das Hinzufügen des Magnet-Links zur Dokumentation vorschlug. Am 4. März fügte ein weiterer Pull-Request Links zu HuggingFace-Repositories hinzu, die das Modell hosteten. Meta reichte am 6. März Takedown-Anfragen ein, die die Verbreitung als unbefugt charakterisierten, und HuggingFace kam nach. Am 20. März reichte Meta eine DMCA-Takedown gegen ein Repository ein, das ein Skript zum Herunterladen von Llama von einem Spiegel enthielt, und GitHub kam am nächsten Tag nach.
Die Reaktionen auf den Leak waren gemischt. Einige spekulierten, dass das Modell für böswillige Zwecke verwendet werden könnte, wie etwa ausgefeilteren Spam. Andere feierten die Zugänglichkeit und stellten fest, dass kleinere Versionen relativ kostengünstig laufen könnten, was möglicherweise weitere Forschung fördert. Kommentatoren wie Simon Willison verglichen Llama mit Stable Diffusion, einem offen verteilten Text-zu-Bild-Modell, das eine schnelle Werkzeugentwicklung anregte, und deuteten auf einen ähnlichen Effekt für LLMs hin.
Llama 2
Am 18. Juli 2023 kündigte Meta in Partnerschaft mit Microsoft Llama 2 an, die nächste Generation, mit Modellgrößen von 7B, 13B und 70B Parametern. Die Architektur blieb weitgehend unverändert gegenüber Llama 1, aber das Training verwendete 40% mehr Daten. Llama 2 umfasste sowohl Basismodelle als auch chatfeinabgestimmte Modelle, und alle Gewichte wurden für viele kommerzielle Nutzungen freigegeben. Da die Lizenz jedoch eine Richtlinie zur akzeptablen Nutzung enthält, wird sie von der Open Source Initiative nicht als Open Source betrachtet, und Metas Verwendung des Begriffs wurde bestritten.
Code Llama, eine Feinabstimmung von Llama 2 auf codespezifischen Datensätzen, wurde in Versionen veröffentlicht: 7B, 13B und 34B am 24. August 2023 und eine 70B-Version am 29. Januar 2024. Die Basismodelle wurden mit zusätzlichen 500B Tokens Codedaten trainiert, dann mit 20B Tokens Langkontextdaten, mit weiterer Instruktionsabstimmung auf 5B Tokens. Ein Python-spezifisches Modell wurde mit 100B Tokens Python-Code trainiert.
Llama 3
Am 18. April 2024 veröffentlichte Meta Llama 3 in zwei Größen: 8B und 70B Parameter. Die Modelle wurden mit etwa 15 Billionen Tokens aus öffentlich verfügbaren Quellen vortrainiert, wobei Instruktionsmodelle auf öffentlichen Instruktionsdatensätzen und über 10 Millionen menschlich annotierten Beispielen feinabgestimmt wurden. Metas Tests zeigten, dass Llama 3 70B Gemini Pro 1.5 und Claude 3 Sonnet bei den meisten Benchmarks übertraf. Meta kündigte Pläne an, Llama 3 mehrsprachig, multimodal, besser beim Programmieren und Denken zu machen und seinen Kontextfenster zu vergrößern.
In Bezug auf Skalierungsgesetze zeigten Llama-3-Modelle empirisch, dass die Leistung weiterhin log-linear skaliert, sogar über die Chinchilla-optimale Menge an Trainingsdaten hinaus. Zum Beispiel ist der Chinchilla-optimale Datensatz für Llama 3 8B 200 Milliarden Tokens, aber die Leistung verbesserte sich bis zu 15 Billionen Tokens (75-mal mehr). In einem Interview bemerkte Mark Zuckerberg, dass die 8B-Version fast so leistungsfähig war wie das größte Llama 2, und dass das 70B-Modell am Ende des Trainings noch lernte, das gestoppt wurde, um GPU-Ressourcen anderswo zuzuweisen.
Llama 3.1 wurde am 23. Juli 2024 veröffentlicht und führte ein 405B-Parameter-Modell ein, zusammen mit aktualisierten 8B- und 70B-Versionen, mit einem längeren Kontextfenster von 128K Tokens und verbesserter Mehrsprachigkeit.
Llama 4 und darüber hinaus
Llama 4 wurde im April 2025 veröffentlicht und verfügt über eine Mixture-of-Experts-Architektur mit Größen bis zu 2 Billionen Parametern. Es führte multimodale Fähigkeiten und verbessertes Denken ein. Im April 2026 veröffentlichte Meta Superintelligence Labs Muse Spark als Ersatz für Llama, was eine Verschiebung in Metas KI-Strategie signalisiert.
Auswirkungen und Ökosystem
Der Leak der Llama-1-Gewichte katalysierte ein lebendiges Open-Source-Ökosystem, mit zahlreichen Feinabstimmungen und Abkömmlingen. Er ermöglichte Forschern und Hobbyisten, mit LLMs ohne API-Kosten zu experimentieren, was zu Innovationen bei Quantisierung, effizienter Inferenz und lokaler Bereitstellung führte. Die Verfügbarkeit kleinerer Modelle wie 7B und 13B machte es machbar, LLMs auf Verbraucherhardware auszuführen, was den Zugang demokratisierte. Dies stand im Kontrast zu den geschlossenen Ansätzen anderer großer Labore wie OpenAI und Anthropic und beeinflusste nachfolgende Veröffentlichungen anderer Organisationen. Die Kontroverse über die Lizenzierung hob auch Spannungen zwischen Open-Source-Idealen und Unternehmenskontrolle hervor, eine Debatte, die in der KI-Gemeinschaft fortgesetzt wird.