Llama 2 ist eine Familie großer Sprachmodelle (LLMs), die von Meta AI im Juli 2023 entwickelt und veröffentlicht wurde. Es ist der Nachfolger des ursprünglichen Llama-Modells und wurde entwickelt, um zugänglicher und kommerziell nutzbarer zu sein als sein Vorgänger. Llama 2 umfasst Modelle mit 7, 13 und 70 Milliarden Parametern, die jeweils sowohl in einer Basisversion als auch in einer für Chat-Anwendungen feinabgestimmten Version erhältlich sind. Die Modelle werden mit Gewichten veröffentlicht, was eine breite Nutzung ermöglicht, jedoch unter einer Lizenz, die bestimmte Anwendungen einschränkt, was zu Debatten darüber führt, ob sie als Open Source gelten.
Die Architektur von Llama 2 folgt weitgehend der des ursprünglichen Llama, aber die Trainingsdaten wurden um 40 % erhöht. Diese Erweiterung zielte darauf ab, die Leistung und Generalisierung über verschiedene Aufgaben der natürlichen Sprachverarbeitung hinweg zu verbessern. Die Veröffentlichung von Llama 2 markierte einen bedeutenden Schritt in Metas Strategie, mit anderen LLM-Anbietern wie OpenAI und Google DeepMind zu konkurrieren, indem es eine leistungsstarke und dennoch zugängliche Alternative bot.
Hintergrund
Die Entwicklung von Llama 2 erfolgte vor dem Hintergrund rascher Fortschritte bei großen Sprachmodellen, insbesondere nach der Veröffentlichung von GPT-3 und der anschließenden Popularität von ChatGPT. Diese Modelle zeigten, dass die Skalierung neuronaler Netze zu erheblichen Verbesserungen der Fähigkeiten führen kann, was ein intensives Interesse an diesem Bereich weckte. Metas Chef-KI-Wissenschaftler Yann LeCun merkte an, dass LLMs besonders effektiv für Schreibhilfen sind, und positionierte Llama als Werkzeug für kreative und professionelle Schreibaufgaben.
Das ursprüngliche Llama, das im Februar 2023 veröffentlicht wurde, war zunächst nur Forschern unter einer nicht-kommerziellen Lizenz zugänglich. Seine Gewichte wurden jedoch im März 2023 online durchgesickert, was zu einer weit verbreiteten inoffiziellen Verteilung führte. Dieser Leak war zwar umstritten, verdeutlichte aber auch die Nachfrage nach zugänglichen LLMs und beeinflusste Metas Entscheidung, Llama 2 mit einer großzügigeren Lizenz zu veröffentlichen.
Versionen
Erste Veröffentlichung
Die erste Version von Llama, manchmal auch als Llama 1 bezeichnet, wurde am 24. Februar 2023 angekündigt. Sie wurde mit öffentlich verfügbaren Daten trainiert und war in Größen von 1 Milliarde bis 65 Milliarden Parametern erhältlich. Das 13B-Parametermodell übertraf das viel größere GPT-3 bei vielen Benchmarks, während das 65B-Modell mit modernsten Modellen wie PaLM und Chinchilla konkurrieren konnte. Der Zugang zu den Gewichten war auf akademische Forscher und Industrielabore beschränkt, aber der Inferenzcode wurde unter der Open-Source-Lizenz GPLv3 veröffentlicht.
#### Leak
Am 3. März 2023 wurde ein Torrent mit Llamas Gewichten auf 4chan hochgeladen, und Links verbreiteten sich schnell in Online-KI-Gemeinschaften. Meta reichte Unterlassungsaufforderungen bei HuggingFace und GitHub ein, aber der Leak hatte bereits eine weit verbreitete Nutzung ermöglicht. Kommentatoren verglichen die Situation mit der Veröffentlichung von Stable Diffusion und deuteten an, dass offener Zugang Innovation und Werkzeugentwicklung fördern könnte, trotz Bedenken hinsichtlich Missbrauch.
Llama 2
Llama 2 wurde am 18. Juli 2023 in Partnerschaft mit Microsoft angekündigt. Es wurde in drei Größen veröffentlicht: 7B, 13B und 70B Parameter. Die Architektur blieb ähnlich wie bei Llama 1, aber die Trainingsdaten wurden um 40 % erhöht. Im Gegensatz zu seinem Vorgänger wurden die Gewichte von Llama 2 für die kommerzielle Nutzung verfügbar gemacht, vorbehaltlich einer Richtlinie zur akzeptablen Nutzung. Diese Richtlinie verbietet bestimmte Anwendungen, was die Open Source Initiative dazu veranlasste, Metas Charakterisierung von Llama als Open Source anzufechten.
Llama 2 diente auch als Grundlage für Code Llama, eine spezialisierte Version, die für die Codegenerierung feinabgestimmt wurde. Code Llama wurde im August 2023 und Januar 2024 veröffentlicht, mit Versionen von 7B bis 70B Parametern, die mit zusätzlichen codespezifischen Datensätzen trainiert wurden.
Llama 3
Am 18. April 2024 veröffentlichte Meta Llama 3 mit 8B- und 70B-Parametergrößen. Diese Modelle wurden mit etwa 15 Billionen Tokens öffentlich verfügbaren Textes vortrainiert, mit Instruktions-Feinabstimmung auf über 10 Millionen von Menschen annotierten Beispielen. Llama 3 70B übertraf Gemini Pro 1.5 und Claude 3 Sonnet bei vielen Benchmarks. Die Modelle zeigten, dass die Leistung weiterhin verbessert wird, selbst wenn sie mit Daten trainiert werden, die weit über die Chinchilla-optimale Menge hinausgehen, wobei das 8B-Modell eine log-lineare Skalierung bis zu 15 Billionen Tokens aufwies.
Meta kündigte auch Pläne an, Llama 3 mehrsprachig und multimodal zu machen und seinen Kontextfenster zu vergrößern. Die neueste Version, Llama 4, wurde im April 2025 veröffentlicht, und im April 2026 führte Meta Superintelligence Labs Muse Spark als Ersatz für Llama ein.
Auswirkungen und Rezeption
Die Veröffentlichung von Llama 2 und nachfolgender Versionen hatte erhebliche Auswirkungen auf die KI-Landschaft. Durch die Bereitstellung offener Gewichte ermöglichte Meta Forschern und Entwicklern, Modelle für spezifische Anwendungen feinabzustimmen, was ein lebendiges Ökosystem von Werkzeugen und Derivaten förderte. Die Lizenzbedingungen haben jedoch Debatten über die Definition von Open Source ausgelöst, wobei Kritiker argumentieren, dass die Richtlinie zur akzeptablen Nutzung die Freiheit einschränkt.
Llama-Modelle wurden sowohl in der Wissenschaft als auch in der Industrie weit verbreitet übernommen, mit Anwendungen, die von Chatbots bis zur Codegenerierung reichen. Die Leistung der Modelle, insbesondere im Verhältnis zu ihrer Größe, hat sie für Organisationen mit begrenzten Rechenressourcen attraktiv gemacht. Ab 2025 bleibt Llama eine der bekanntesten Familien offener Gewichte unter den LLMs, die die Entwicklung nachfolgender Modelle beeinflusst und Diskussionen über KI-Zugänglichkeit und -Governance prägt.